[PHP]Optymalizacja wykonania skryptu odpytującego wiele stron Opcje

[dugem_grubi]

Witajcie,

mam skrypt, w którym chcę odpytywać strony o podanym URL. Działa to w pętli, która otwiera URL wyciąga jakieś tam dane i tak w kółko.

Skrypt działa fajnie na moim lokalnym serwerze, ale po przegraniu go na serwer z hostingiem i zwiększeniu liczby URL okazało się, że przy 20 linkach skrypt już się nie kończy. Podejrzewam, że ubija go hostingowa firma na timeout. Pytanie jak można rozwiązać ten problem.

Na razie pierwsze co przychodzi mi do głowy do zapisywanie lity todo tj. urli do odpytania np do bazy i zrobienie skryptu z crontaba, który co np 10 minut wykonywałby tę operację paczkami np. po 20.

Może ktoś dać jakąś inną wskazówkę?

Stronkę pobieram następująco:

[PHP] pobierz, plaintext 
$stronka = file_get_html($link);    	
[PHP] pobierz, plaintext 

[wNogachSpisz]

__sleep -> serialize -> file_put_content
file_get_content -> unserialize -> __wakeup

[dugem_grubi]

Czy sleep i wakeup nie spowodują, że będzie się skrypt dłużej wykonywał a tym samym i tak nie rozwiązuje to mojego problemu?

Może dodam jeszcze jeden komentarz. Ja wykonuję ten plik po uplodzie pliku, który parsuję i stąd mowa o timeout.

Pytanie może z innej strony czy lepiej robić to po stronie serwera tak, by nawet user nie musiał czekać na pojawienie się strony wynikowej?