[inne]Pobranie dużej ilości danych z zewnętrznej strony Opcje

[Kuba707]

Witam.
Chciałbym sobie napisać taką stronę, która by się codziennie aktualizowała, to znaczy ta strona wchodziłaby na stronę jakąś xyz.com i tam pobierała odpowiednie dane. Tyle, że te dane na tej stronie mają paginację, musiałbym w pętli zrobić request ze strony xyz.com/?page=$i. Stron może być z 300. No i pytanie jak podejść do tego tematu. Jak zrobię w PHP pętlę 300 requestów to... nie orientuje się co i jak, ale to trochę dużo i może się coś nie udać. Jakieś sugestie jak to zrobić?

Ten post edytował Kuba707 22.04.2014, 10:35:01

[sajegib]

Musisz w cronie ustawić zadanie dla skryptu, który sprawdzi ile jest stron, później przeleci przez wszystkie strony spaginowane i pobierze wszystko co potrzebuejsz do bazy czy pliku .txt (IMG:style_emoticons/default/wink.gif)
Musisz poszukać w google, tam jest wszystko...
pomocne frazy:
-cURL
-CRON
-simple_html_dom // przyda sie, taka klasa do parsowania html

Cron też jest dobrym wyjściem jeśli uzywasz linucha, możesz też skorzystać z interpretera php w konsoli, (zajrzyj w google)

Ten post edytował sajegib 22.04.2014, 10:49:03