Forum PHP.pl

Witam,

Aktualnie piszę skrypt, który pobiera bardzo dużo danych z innego serwisu. Problem w tym, że za pomocą cURL'a idzie to dość wolno i zwykle po ok. godzinie skrypt przestaje pracować. Czy idzie jakoś przyśpieszyć pobieranie samych treści stron ( nie wiem, może poprzez ominięcie niektórych rzeczy od razu, jak jakieś nagłówki, wykorzystanie fsockopen zamiast cURL etc ) ?

pzdr.

Zależy co pobierasz... W jaki sposób i jaki efekt chcesz osiągnąć. Napisz trochę więcej informacji.

Ten post edytował Blastereq 8.05.2007, 16:07:31

Pobieram stronę na której są linki. Szukam tych linków za pomocą preg_match_all i odwiedzam każdy z nich, pobierając stronę a na niej wyszukuję konkretne informacje tekstowe. Używam do tego preg_match.

pzdr.

Ja w tym wypadku proponowałbym użycie 2 procesów. Pierwszy pobierałby strony których adresy znalazł by w bazie i wrzucał do bazy albo pliku a drugi zajmował by się przetwarzaniem tych stron i wrzucaniem nowych adresów do plików. Pozwoliło by to na częściowe uniknięcie przestojów.