Co jest lepsze, wydajniejsze? Opcje

[M@k]

Witam

Mam taki pytanko, co lepiej wybrać przy dość częstym liczeniu linii z pliku?
Nasuwają mi się te dwie metody:

1.
if($fh = fopen('file', 'r')) {
while($chunk = fread($fh, 8192)) {
$liczba_lini += substr_count($chunk, "\n");
}}

2.
$chunk = @shell_exec('wc -l file');
preg_match("/(.*?) \/home(.?)/",$chunk ,$czesc);
$liczba_lini = $czesc[1];

I teraz nie wiem która jest wydajniejsza, mniej obciążająca serwer pamięć itp

Wydaje mi się ze metoda druga, ale nie wiem jak to z częstym wychodzeniem z php czy to nie spowalnia i nie katuje serwera.

A może ktoś zna jeszcze inna metodę?

Z niecierpliwością czekam na odpowiedz i pozdrawiam

[lukaskolista]

[PHP] pobierz, plaintext 
<?php
count(file('plik.txt'));
?>
[PHP] pobierz, plaintext 

Ten post edytował lukaskolista 23.03.2011, 09:20:36

[M@k]

count(file('plik.txt'));

Czy ta metoda czasami nie zabiera najwięcej pamięci? ponieważ tworzy tablice
Odrzuciłem ją na samym początku i teraz nie wiem sam hmm

[nospor]

To nie możesz sprawdzić? Zarzuć każdy kod w pętli, zmierz czasy, sprawdź jak skacze pamięć i będziesz wszystko wiedział.

ps:
$liczba_lini += substr_count($chunk, "\n");
przecież fread czyta plik po linijce, więc wystarczy:
$liczba_lini++;

[redeemer]

Rozwiązanie wc -l wydaje mi się być najbardziej optymalne. Jedynym minusem jest, że na takim Windowsie nie zadziała.

@nospor:
Chyba chodziło Ci o fgets?

Ten post edytował redeemer 23.03.2011, 09:26:40

[nospor]

Chyba chodziło Ci o fgets?

http://pl.php.net/manual/en/function.fread.php

fread() reads up to length bytes from the file pointer referenced by handle. Reading stops as soon as one of the following conditions is met:
length bytes have been read
EOF (end of file) is reached

[redeemer]

EOF - End of file

[M@k]

Własnie robiłem testy i czasy są porównywalne, i nie wiem co wybrać.

Jeśli chodzi o drugą metodę to nie ma problemu bo to jest na Linux ale nie wiem jak to własnie jest z częstym wychodzeniem z php, czy to nie morduje serwera.


@nospor: twoje rozwiązanie jak słusznie zauważył @redeemer nie będzie działać.

[nospor]

EOF - End of file

LOL..... sorki, skupiłem się tylko na End of (IMG:style_emoticons/default/smile.gif)
No to zamień fread na fgets i po sprawie (IMG:style_emoticons/default/smile.gif)

Własnie robiłem testy i czasy są porównywalne, i nie wiem co wybrać.

Mógłbyś pokazać te testy? Znaczy jak je robiłeś, kod.

[M@k]

A cie proszę @nosper (IMG:style_emoticons/default/biggrin.gif)

$start = microtime(true);

Kod itp

print('czas wykonania: '.round((microtime(true) - $start), 5).' s');

[nospor]

Miałeś dać to w pętli np. 1000 razy i dla tej petli zmierzyć czas

[M@k]

Może zapytam inaczej czy użycie z trybu php funkcji powłoki jest wydajne.
Czy lepiej użyć wew. funkcji php?

Czyli co jest bardziej wydajne 1 czy 2 metoda.


@nosper zaraz sprawdzę (IMG:style_emoticons/default/wink.gif)

Ten post edytował M@k 23.03.2011, 09:48:31

[redeemer]

Wykonaj testy na dużych plikach, bo na małych faktycznie może nie być widać różnicy.

[M@k]

Hmm w sumie nie spodziewałem się tego hmm

1. czas wykonania: 1.58546 s
2. czas wykonania: 7.57901 s

Różnica jest kolosalna

Pętla 1000 razy na pliku ok 3 tys lini

Co o tym sądzicie?
Czy czasami 1 metoda nie jest w pamięci przetrzymywana?

[redeemer]

Mi wyszło zupełnie co innego. Pętla 100 razy, plik: dump sql, 3351 linii, ~59MB. Skrypt uruchamiany z konsoli.

fread: 4.02844
wc -l: 1.77387

[kiler129]

Wykonanie kodu powłoki będzie wydajniejsze dla 1 dużego pliku ale wolniejsze dla wielu małych plików. Używanie exec() w pętlach to mordęga dla kodu (szczególnie na systemach wbudowanych - kto widział jak działa panel www NAS`ów firmy WD wie o czym mowa (IMG:style_emoticons/default/biggrin.gif) ).