[PHP] pętla foreach itp..., duże zużycie pamięci... Opcje

[Kazimir]

Witam,
problem polega na tym, iż php alokuje w apachu zasoby do czasu zakonczenia pętli. W szybkim tempie przyrasta ilość zajętej pamięci. Jak można rozwiązać ten problem? Jest możliwość zwalniania zasobów po zakończeniu każdej iteracji? Czy powodem może być duża ilość zmiennych? Czy zastąpienie ich przez array() coś tu pomoże?

Dzięki za informacje

Ten post edytował Kazimir 2.07.2008, 00:33:34

[Cysiaczek]

Tak, jest taka możliwość. Po prostu wykonaj unset(). Jak konkretnie? Nie ma kodu, nie ma konkretnej podpowiedzi.

Pozdrawiam

[Kazimir]

sam kod działa bez problemu wiec nie podaje całości (nie mam w tej chwili do niego dostępu), więc proszę o nie szukanie literówek tylko skupienie sie na temacie - 100% zajęcie pamięci po przetworzeniu ok 2000 linków... deklarowałem unset tak jak poniżej. Możliwe, że coś skopałem...

[PHP] pobierz, plaintext 
<?php
include('simple_html_dom.php');
 
//załadowanie 400,000 linkow
$linki = file('xyz.txt');
 
for ($licznik=0;licznik>=10000;$licznik++){
 
$dom = pobranie strony ('$linki[$licznik]')
 
//parsowanie
$zmienna..
.
.
ok 30 zmiennych
.
.
 
//zapisa do pliku zmiennych do 
$F = fopen('plik.csv','a');
fwrite($F,"$zmienna1;$zmienna2....");
fclose($F);
 
//dla wszystkich zmiennych
unset($zmienna);
}
 
?>
[PHP] pobierz, plaintext 

Dzieki za informacje

Ten post edytował Cysiaczek 1.07.2008, 07:03:20

Powód edycji: poprawiem bbcode (cysiaczek)

[cbagov]

Musisz dzielic na pakiety a nie pchac cala kupe linkow na raz. Najlepiej robic to przy zapisie od razu z odpowiednia klasyfikacja. Inaczej mozesz sie pozegnac z odpowiednim czasem wykonania oraz pamiecia.

[dr_bonzo]

Kazimir: bez calego kodu trudno cokolwiek powiedziec, nie wiem czego w srodku uzywasz, bo moze nie mozna zwolnic pamieci ktora uzywasz, albo inaczej uzyc funkcji php, albo.... memory_get_usage() i sprawdzasz co sie nie zwalnia itp.

[Kazimir]

kod poniżej... wychodzi na to ze zasoby nie są zwalniane :/... parsowanie 1000 stron -> 640MB pamięci... dzięki za wszelkie informacje... btw. pierwsze kroki z php :P ... także prosze o wyrozumiałość :)

[PHP] pobierz, plaintext 
<?php
include('./simple_html_dom.php');
 
$i=0;
while ($i<365000) {
$linki=file("./pliki/plik.$i"); 
 
foreach ($linki as &$value) {
	$link = substr($value,0,-1);
	$dom = file_get_dom("$link");
foreach($dom->find('table[class=kodywynik] tr') as $node){
	$item = trim($node->find('td',0)->plaintext);
	$podziel = explode("r\n", $item);
	$miasto = substr($podziel[0],13);
	$gmina = substr($podziel[1],7);
	$powiat = substr($podziel[2],8);
	$wojewodztwo = substr($podziel[3],13);
	}
 
if ($miasto=="") continue;
 
$re = $dom->find('#wynik_g2s b', 0)->plaintext;
$ok = $dom->find('#wynik_g2s b', 1)->plaintext;
$ap = $dom->find('#wynik_g2s b', 2)->plaintext;
 
 
$adresr = $dom->find('#adres', 0)->plaintext;
$adreso = $dom->find('#adres', 1)->plaintext;
$adresa = $dom->find('#adres', 2)->plaintext;
 
unset($dom);
 
 
 
$daner = explode("r\n", $adresr);
unset($adresr);
$ulicar = substr($daner[1],12);
$kodr = substr($daner[2],16,6);
if ($kodr=="	  ") $kodr="";
$mir = substr($daner[2],38);
$telr1 = substr($daner[3],18);
$telr2 = substr($daner[4],18);
$faxr = substr($daner[5],17);
$nrkontar = substr($daner[7],19);
$bankobslugujacyr = substr($daner[8],18);
 
 
$daneo = explode("r\n", $adreso);
unset($adreso);
$ulicao = substr($daneo[1],12);
$kodo = substr($daneo[2],16,6);
$mio = substr($daneo[2],38);
if ($kodo=="	  ") $kodo="";
$telo1 = substr($daneo[3],18);
$telo2 = substr($daneo[4],18);
$faxo = substr($daneo[5],17);
$nrkontao = substr($daneo[7],19);
$bankobslugujacyo = substr($daneo[8],18);
 
 
$danea = explode("r\n", $adresa);
unset($adresa);
$ulicaa = substr($danea[1],12);
$koda = substr($danea[2],16,6);
$mia = substr($danea[2],38);
if ($koda=="	  ") $koda="";
$tela1 = substr($danea[3],18);
$tela2 = substr($danea[4],18);
$faxa = substr($danea[5],17);
$nrkontaa = substr($danea[7],19);
$bankobslugujacya = substr($danea[8],18);
 
 
$F = fopen("t1.csv","a");
fwrite($F,"'$miasto';'$gmina';'$powiat';'$wojewodztwo';
'$re';'$ulicar';'$kodr';'$mir';'$telr1';'$telr2';'$faxr';'$nrkontar';
'$bankobslugujacyr'\n'$miasto';'$gmina';'$powiat';'$wojewodztwo';
'$ok';'$ulicao';'$kodo';'$mio';'$telo1';'$telo2';'$faxo';'$nrkontao';
'$bankobslugujacyo'\n'$miasto';'$gmina';'$powiat';'$wojewodztwo';'$ap';
'$ulicaa';'$koda';'$mia';'$tela1';'$tela2';'$faxa';'$nrkontaa';'$bankobslugujacya'\n");
fclose($F);
 
unset($link);
unset($node, $item, $podziel);
unset($daner, $daneo, $danea);
unset($miasto, $gmina, $powiat, $wojewodztwo, $re,
 $ulicar, $kodr, $mir, $telr1, $telr2, $faxr, $nrkontar, 
$bankobslugujacyr, $ok, $ulicao, $kodo, $mio, $telo1, 
$telo2, $faxo, $nrkontao, $bankobslugujacyo, $ap, $ulicaa,
 $koda, $mia, $tela1, $tela2, $faxa, $nrkontaa, $bankobslugujacya);
unset($F);
echo memory_get_usage().'<br>';
}
unset($value); 
$i=$i+1000;
}
 
?>
[PHP] pobierz, plaintext 

Ten post edytował Kazimir 2.07.2008, 00:19:35