[PHP] Wyciek pamięci Opcje

[SmokAnalog]

Witajcie,

nie do końca wiem jak w PHP narazić się na wyciek pamięci, ale chyba właśnie padłem jego ofiarą. Mam skrypt konsolowy, który czyta po kolei strony z zewnętrznego serwera i zawsze po około 40-50-ciu tysiącach iteracji otrzymuję błąd w stylu:

PHP Fatal error: Allowed memory size of 536870912 bytes exhausted (tried to allocate 421888 bytes) in ... on line 36

A to mój kod (uprościłem dla przykładu):

[PHP] pobierz, plaintext 
for ($id = $initialId;; $id += 1) {
    echo 'Trying #' . $id . ': ';
 
    try {
        $html = file_get_contents('http://domena.com/page/' . $id);
 
        // ...
    } catch (Exception $exception) {
        echo 'FAIL';
    }
}
[PHP] pobierz, plaintext 

Linia 36. to:

[PHP] pobierz, plaintext 
$html = file_get_contents('http://domena.com/page/' . $id);
[PHP] pobierz, plaintext 

Czy po kroku iteracji zawartość $html dalej jest trzymana w pamięci? Jakoś nie chce mi się w to wierzyć.

Ten post edytował SmokAnalog 4.02.2018, 13:09:52

[SmokAnalog]

Darko, nie obraź się, ale wszystkie Twoje odpowiedzi w tym temacie (łącznie z powyższą) są idiotyczne. Sugerujesz teraz, żeby spowolnić cały crawler dwukrotnie tylko po to, żeby uniknąć wyjątku? Przecież wiadomo, że wąskim gardłem wszelkich webowych crawlerów jest czas odpowiedzi serwera zewnętrznego. Poczytaj ten temat i inne podobne tematy, żeby poznać konsolowe i crawlerowe zastosowanie PHP. Ubolewam nad tym, że przez całą noc crawluję zaledwie 20-30 tys. wyników, ale nieeee - spowolnię sobie to do 10-15 tys., żeby nie wyrzucać wyjątków. Yeah!

Jakbym już miał unikać wyjątków, to przecież mogę od razu użyć cURL-a, który wyjątków dla 404 nie wywala. Chciałem uprościć kod i nauczyć się czegoś więcej o zarządzaniu pamięcią w sytuacji wyrzucania wyjątków.

Ten post edytował SmokAnalog 9.02.2018, 23:53:21