[PHP][cURL] Opcje

[masterix]

Witam,

Aktualnie piszę skrypt, który pobiera bardzo dużo danych z innego serwisu. Problem w tym, że za pomocą cURL'a idzie to dość wolno i zwykle po ok. godzinie skrypt przestaje pracować. Czy idzie jakoś przyśpieszyć pobieranie samych treści stron ( nie wiem, może poprzez ominięcie niektórych rzeczy od razu, jak jakieś nagłówki, wykorzystanie fsockopen zamiast cURL etc ) ?

pzdr.

[doseo]

Ja w tym wypadku proponowałbym użycie 2 procesów. Pierwszy pobierałby strony których adresy znalazł by w bazie i wrzucał do bazy albo pliku a drugi zajmował by się przetwarzaniem tych stron i wrzucaniem nowych adresów do plików. Pozwoliło by to na częściowe uniknięcie przestojów.