Forum PHP.pl

Ale jest, bo nie wywołany jest destruct na starym Exception wiec, gc nie może sprzątać, bo jak pamiętamy PHP zlicza referencje

Jeśli masz znaczną ilość faili, to może przed próbą pobrania zawartości strony odczytaj samą wartość nagłówka HTTP i sprawdzaj czy to nie 404. mam na myśli coś takiego, pobierasz tylko nagłówki odpowiedzi serwera i wyciągasz sam kod http odpowiedzi:

[PHP] pobierz, plaintext 
protected function _getHeaderResponseCode($url) {
  $handle  = curl_init($url);
  curl_setopt($handle, CURLOPT_RETURNTRANSFER, true);
  curl_setopt($handle, CURLOPT_NOBODY, 1);
  $response = curl_exec($handle);
  $httpCode = curl_getinfo($handle, CURLINFO_HTTP_CODE);
  return $httpCode;
}
 
// ...
 
if ($this->_getHeaderResponseCode($url) != 404) {
  $data = file_get_contents($url);
}
 
// ...
[PHP] pobierz, plaintext 

Darko, nie obraź się, ale wszystkie Twoje odpowiedzi w tym temacie (łącznie z powyższą) są idiotyczne. Sugerujesz teraz, żeby spowolnić cały crawler dwukrotnie tylko po to, żeby uniknąć wyjątku? Przecież wiadomo, że wąskim gardłem wszelkich webowych crawlerów jest czas odpowiedzi serwera zewnętrznego. Poczytaj ten temat i inne podobne tematy, żeby poznać konsolowe i crawlerowe zastosowanie PHP. Ubolewam nad tym, że przez całą noc crawluję zaledwie 20-30 tys. wyników, ale nieeee - spowolnię sobie to do 10-15 tys., żeby nie wyrzucać wyjątków. Yeah!

Jakbym już miał unikać wyjątków, to przecież mogę od razu użyć cURL-a, który wyjątków dla 404 nie wywala. Chciałem uprościć kod i nauczyć się czegoś więcej o zarządzaniu pamięcią w sytuacji wyrzucania wyjątków.

Ten post edytował SmokAnalog 9.02.2018, 23:53:21

To teraz Ty się nie obraź, bo już mnie lekko irytujesz swoją impertynencją w tym i nie tylko w tym temacie. Najpierw sam sobie tworzysz wyimaginowany problem i wprowadzasz ludzi, którzy chcą się wspólnie zmóżdzyć z Tobą w błąd, nie podając pełnego kodu, a jedynie jakieś wyrywki. Pewnie. Domyślamy się wszyscy, że masz swój error handler... Patrz! unset zwalnia pamięć! Eureka! Następnie drążysz temat zarządzania pamięcią, na które to dość specyficzne w PHP zarządzanie nie masz totalnie żadnego wpływu i głową muru nie przebijesz, by na końcu określić czyjąś wypowiedź jako idiotyczną. Świetnie. Bawmy się tak dalej.
Użyj curla i nie płacz, że wolno działa, albo, że skrypt zżera za dużo pamięci. Przez podejście takich ludzi, jak Ty, o społeczności skupionej wokół języka PHP jeszcze długo będzie się mówić źle i tylko źle.
Zamiast skupić się na użyteczności i przydatności kodu, a przede wszystkim na jego wartości biznesowej, lecisz na forum ze sztucznie stworzonym problemem, którego tak naprawdę nie ma.
Założę się, że nawet nie raczyłeś sprawdzić curlowego rozwiązania, ale z góry zakładasz, że będzie działało znacznie wolniej.
Poczytaj o curl_multi_init, curl_multi_exec, wykonywaniu jednoczesnym żądań korzystając z tzw. gniazd nieblokujących, asynchronicznie. Jakby to dobrze napisać, to ten Twój crawlerek będzie zapierdzielał jeszcze szybciej niż z kupą niepotrzebnych wyjątków i skopiowanym całym backtracem zupełnie niepotrzebnie. Jak znasz odrobinę języka C to polecam lekturę źródeł PHP, tam naprawdę więcej nauczysz się o zarządzaniu pamięcią, niż poprzez takie eksperymenty.
Zresztą - nawet jeśli ten crawler będzie ciut wolniejszy, to chyba lepiej troszkę wolniej, ale niech w ogóle działa i nie wali błędami niż crawler, który po prostu nie działa...
PHP jeszcze Cię wiele razy zaskoczy. Idiotyczne są takie pseudo problemy. Tyle z mojej strony, trzymaj się, buziaki, pozdrówki. ps. nie jesteś w stanie mnie obrazić.

Ten post edytował darko 10.02.2018, 02:38:35

No ciekawe jak przyśpieszysz w kodzie crawlera przysyłanie odpowiedzi ze źródła, na które nie masz wpływu. Coś tam Ci świta z zarządzaniem pamięci, ale sam się gubisz. Jeszcze przed chwilą mówiłeś, że PHP się nie nadaje do daemonów i crawlerów, co jest kompletną bzdurą.

Akurat unset w catch nie jest powszechnie znaną techniką, bo nie jest oczywistym faktem to co się dzieje z wyjątkami w pamięci.

Lepiej być impertynenckim niż niekompetentnym i wypowiadać się w tematach, o których się nie ma pojęcia, zamiast grzecznie czekać na odpowiedź kogoś, kto się zna.

A problem nie jest wyimaginowany. Bardzo często chce się zachować strukturę z wyjątkami i dobrze jest wiedzieć jak zaradzić zaśmiecaniu pamięci w pętli try..catch.

Najpierw mówiłeś coś innego, teraz mówisz coś innego, więc grzecznie przyznaj się do błędu zamiast teraz udawać eksperta w tym temacie.

Jeśli to za mało to mam kilka propozycji
* cURL zamiast file_get_contnets (w wielu wypadkach cURL jest szybsze, więcej rzeczy można ustawić)
* curl_multi - aby zwielokrotnić ilość pobieranych zasobów
* kilka procesów na raz

Prosty przykład:

[PHP] pobierz, plaintext 
<?php
 
for($i = 259010; $i<259310; $i++){
  $url = 'http://forum.php.pl/index.php?showtopic=' . $i;
  $html = file_get_contents($url);
  $usage =  memory_get_usage();
  $usageTrue =  memory_get_usage(true);
  echo date('H:i:s').'.'.gettimeofday()['usec'].' | ID: '.$i.' length: '.strlen($html).' | usage: '.$usage.' | usage(true) '.$usageTrue.PHP_EOL;
}
[PHP] pobierz, plaintext 

Test (obcięte wyniki do dwóch pierwszych i ostatnich)

[BASH] pobierz, plaintext 
$ time php file_get_contents.php
 
13:48:46.202671 | ID: 259010 length: 221566 | usage: 592840 | usage(true) 2097152
13:48:46.291102 | ID: 259011 length: 40984 | usage: 414280 | usage(true) 2097152
..
13:49:54.433896 | ID: 259308 length: 38852 | usage: 410184 | usage(true) 2097152
13:49:54.573305 | ID: 259309 length: 76766 | usage: 447048 | usage(true) 2097152
 
real    1m8.822s
user    0m0.193s
sys     0m0.284s
[BASH] pobierz, plaintext 

Wersja na curl:

[PHP] pobierz, plaintext 
<?php
 
for($i = 259010; $i<259310; $i++){
  $url = 'http://forum.php.pl/index.php?showtopic=' . $i;
 
  $ch = curl_init();
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 3);
  curl_setopt($ch, CURLOPT_HEADER, 0);
  $html = curl_exec($ch);
  curl_close($ch);
 
  $usage =  memory_get_usage();
  $usageTrue =  memory_get_usage(true);
  echo date('H:i:s').'.'.gettimeofday()['usec'].' | ID: '.$i.' length: '.strlen($html).' | usage: '.$usage.' | usage(true) '.$usageTrue.PHP_EOL;
}
 
[PHP] pobierz, plaintext 

[BASH] pobierz, plaintext 
$  time php curl.php 
 
13:50:54.645658 | ID: 259010 length: 221568 | usage: 594096 | usage(true) 2097152
13:50:54.875325 | ID: 259011 length: 40984 | usage: 415536 | usage(true) 2097152
 
13:51:41.684053 | ID: 259308 length: 38852 | usage: 411440 | usage(true) 2097152
13:51:41.888811 | ID: 259309 length: 76766 | usage: 448304 | usage(true) 2097152
 
real    0m48.066s
user    0m0.227s
sys     0m0.270s
[BASH] pobierz, plaintext 

A bez curl_setopt($ch, CURLOPT_HEADER, 0); trwało porównywalnie do wersji z file_get_contents:

[BASH] pobierz, plaintext 
real	0m56.110s
user	0m0.176s
sys	 0m0.185s
[BASH] pobierz, plaintext 

Wersja z curl_multi

[PHP] pobierz, plaintext 
<?php
 
$urls = [];
for($i = 259010; $i<259310; $i++){
  $urls[] = $i;
}
 
$ch_multi = curl_multi_init();
$ch_arrr = [];
 
$options = [
  CURLOPT_RETURNTRANSFER =>  true,
  CURLOPT_FOLLOWLOCATION =>  true,
  CURLOPT_MAXREDIRS => 3,
  CURLOPT_HEADER => 0,
  CURLOPT_CONNECTTIMEOUT => 3,
];
 
for ($i = 0; $i < 2; $i++){
  $ch = curl_init();
  $options[CURLOPT_URL] = 'http://forum.php.pl/index.php?showtopic='.$urls[$i];
  curl_setopt_array($ch, $options);
  curl_multi_add_handle($ch_multi, $ch);
}
 
do {
  while (($execrun = curl_multi_exec($ch_multi, $running)) == CURLM_CALL_MULTI_PERFORM);
    if($execrun != CURLM_OK){
      break;
    }
 
    while ($done = curl_multi_info_read($ch_multi)) {
      $html = curl_multi_getcontent($done['handle']);
 
      $usage =  memory_get_usage();
      $usageTrue =  memory_get_usage(true);
      echo date('H:i:s').'.'.gettimeofday()['usec'].' | ID: '.$urls[$i].' length: '.strlen($html).' | usage: '.$usage.' | usage(true) '.$usageTrue.PHP_EOL;
 
      ++$i;
      if (!empty($urls[$i])) {
        $ch = curl_init();
        $options[CURLOPT_URL] = 'http://forum.php.pl/index.php?showtopic='.$urls[$i];
        curl_setopt_array($ch, $options);
        curl_multi_add_handle($ch_multi, $ch);
      }
      curl_multi_remove_handle($ch_multi, $done['handle']);
    }
} while ($running);
 
curl_multi_close($ch_multi);
[PHP] pobierz, plaintext 

[BASH] pobierz, plaintext 
$  time php curl_multi.php 
13:55:01.296270 | ID: 259011 length: 40987 | usage: 442440 | usage(true) 2097152
13:55:01.425666 | ID: 259012 length: 41189 | usage: 444104 | usage(true) 2097152
 
13:55:33.281197 | ID: 259308 length: 76766 | usage: 518152 | usage(true) 2097152
13:55:33.370113 | ID: 259309 length: 38852 | usage: 518112 | usage(true) 2097152
 
real    0m32.255s
user    0m20.641s
sys     0m11.609s
[BASH] pobierz, plaintext 

Podsumowanie
* file_get_contents: 1m8.822s
* curl: 0m48.066s
* curl_multi: 0m32.255s

Ten post edytował vokiel 10.02.2018, 13:59:38

Błędu? Jakiego błędu? Ja podtrzymuję to, co napisałem. Do napisania wydajnego crawlera ludzie wybierają inne niż php narzędzia: perl, python, javę, a nawet basha czy node.js. Rozumiem, że Ty jesteś z tych, co uważają, że programowanie zaczyna się w momencie napisania pierwszej linii kodu. Dla mnie programowanie to najpierw dogłębna analiza problemu i dobranie optymalnego (czyt. najlepszego) narzędzia do danej sytuacji, a nie pisanie w tym, w czym wydaje Ci się, że umiesz to zrobić i jakoś to będzie. Jak widać, jakoś to nie będzie. Jakoś to nie jakość, a forum jest od rozwiązywania problemów, a nie od ich mnożenia. Vokiel już Ci podał na tacy kilka możliwych rozwiązań, ale pewnie i tak będziesz się upierał przy swoim, że po co, że na co tak itd. Kończę tę jałową przepychankę, bo pojawiają się z Twojej strony argumenty z półki ad personam, co nigdy dla poważnej rozmowy niczego dobrego nie wróżyło. Ponownie pozdrawiam Cię i mimo wszystko życzę Ci powodzenia i owocnej nauki. Miłego dnia.

Panowie, nie ma się co tak napinać. Każdy z Was wnosi konkrety do dyskusji nawet jeśli zdania są podzielone. Sam z ciekawością czytam wypowiedzi jednego i drugiego. Można się spierać ale trzymajmy poziom, osobiste wycieczki są daremne. Nie jesteście zapewne nastolatkami więc powinniście podejść do dyskusji na odpowiednim poziomie. Każda wypowiedź jest cenna i tego się trzymajmy. Żaden z Was chyba nie pisze po to żeby dogryźć drugiemu. Nie ma co być uszczypliwymi.