[PHP] Wyciek pamięci Opcje

[SmokAnalog]

Witajcie,

nie do końca wiem jak w PHP narazić się na wyciek pamięci, ale chyba właśnie padłem jego ofiarą. Mam skrypt konsolowy, który czyta po kolei strony z zewnętrznego serwera i zawsze po około 40-50-ciu tysiącach iteracji otrzymuję błąd w stylu:

PHP Fatal error: Allowed memory size of 536870912 bytes exhausted (tried to allocate 421888 bytes) in ... on line 36

A to mój kod (uprościłem dla przykładu):

[PHP] pobierz, plaintext 
for ($id = $initialId;; $id += 1) {
    echo 'Trying #' . $id . ': ';
 
    try {
        $html = file_get_contents('http://domena.com/page/' . $id);
 
        // ...
    } catch (Exception $exception) {
        echo 'FAIL';
    }
}
[PHP] pobierz, plaintext 

Linia 36. to:

[PHP] pobierz, plaintext 
$html = file_get_contents('http://domena.com/page/' . $id);
[PHP] pobierz, plaintext 

Czy po kroku iteracji zawartość $html dalej jest trzymana w pamięci? Jakoś nie chce mi się w to wierzyć.

Ten post edytował SmokAnalog 4.02.2018, 13:09:52

[com]

przy

[PHP] pobierz, plaintext 
<?php
set_error_handler(function ($severity, $message, $file, $line) {
    if (!(error_reporting() & $severity)) {
        // This error code is not included in error_reporting
        return;
    }
 
    throw new ErrorException($message, 0, $severity, $file, $line);
});
 
$n = 0;
 
while (true) {
    try {
        $content = file_get_contents('http://forum.php.pl/test.php');
    } catch (Exception $e) {
        echo "FAIL" . PHP_EOL;
        unset($e);
    }
    echo $n++ . ' ' . memory_get_usage() . PHP_EOL;
}
[PHP] pobierz, plaintext 

Kod

582 366144
FAIL
583 366144
FAIL
584 366144
FAIL
585 366144
FAIL
586 366144
FAIL
587 366144
FAIL
588 366144

Ten parametr w zasadzie nic nie zmienia, tylko mamy trochę większe zużycie ale ono nie rośnie dzięki temu że kasujemy referencje do poprzedniego.

It is because exceptions include a backtrace, containing all the arguments given to the error handling closure. The fifth argument of ErrorException given is $context, an array containing all local variables, including the previous $e.

Pytanie jeszcze o co chodzi z tym parametrem w memory_get_usage, bo wg dokumentacji jest to:

W źródle dokładnie to wygląda tak:

Kod

if (real_usage) {
        return AG(mm_heap)->real_size;
} else {
        size_t usage = AG(mm_heap)->size;
        return usage;
}

Ten post edytował com 6.02.2018, 20:05:26

[SmokAnalog]

Ten parametr w zasadzie nic nie zmienia, tylko mamy trochę większe zużycie ale ono nie rośnie dzięki temu że kasujemy referencje do poprzedniego.

Jak się dokładniej przyjrzałem, to ten parametr z true zwraca o wiele większą ilość pamięci (true: 2 MB, false: niecałe 400 KB).

Daję Ci punkciki Pomógł, bo rzeczywiście naprowadziłeś mnie na rozwiązanie problemu, a właściwie udowodniłeś to, co sam podejrzewałem. No to teraz już wiem jak sprawić, żeby mój crawler się nie dławił (IMG:style_emoticons/default/biggrin.gif)