[PHP]Optymalizacja wykonania skryptu odpytującego wiele stron Opcje

[dugem_grubi]

Witajcie,

mam skrypt, w którym chcę odpytywać strony o podanym URL. Działa to w pętli, która otwiera URL wyciąga jakieś tam dane i tak w kółko.

Skrypt działa fajnie na moim lokalnym serwerze, ale po przegraniu go na serwer z hostingiem i zwiększeniu liczby URL okazało się, że przy 20 linkach skrypt już się nie kończy. Podejrzewam, że ubija go hostingowa firma na timeout. Pytanie jak można rozwiązać ten problem.

Na razie pierwsze co przychodzi mi do głowy do zapisywanie lity todo tj. urli do odpytania np do bazy i zrobienie skryptu z crontaba, który co np 10 minut wykonywałby tę operację paczkami np. po 20.

Może ktoś dać jakąś inną wskazówkę?

Stronkę pobieram następująco:

[PHP] pobierz, plaintext 
$stronka = file_get_html($link);    	
[PHP] pobierz, plaintext