[inne]Pobranie dużej ilości danych z zewnętrznej strony Opcje

[Kuba707]

Witam.
Chciałbym sobie napisać taką stronę, która by się codziennie aktualizowała, to znaczy ta strona wchodziłaby na stronę jakąś xyz.com i tam pobierała odpowiednie dane. Tyle, że te dane na tej stronie mają paginację, musiałbym w pętli zrobić request ze strony xyz.com/?page=$i. Stron może być z 300. No i pytanie jak podejść do tego tematu. Jak zrobię w PHP pętlę 300 requestów to... nie orientuje się co i jak, ale to trochę dużo i może się coś nie udać. Jakieś sugestie jak to zrobić?

Ten post edytował Kuba707 22.04.2014, 10:35:01

[sajegib]

Odpalić z konsoli, nie z przeglądarki, dodatkowo musisz pamiętać, że wiele stron jest zabezpieczonych przed tego typu działaniami

[Kuba707]

Ale jak z konsoli?
Chcę zrobić stronę która by raz dziennie pobierała informacje z innej strony i wyświetlała je lepiej (posortowanie, filtry itp itd). Nie ma żadnego API do pobierania więc muszę najzwyczajniej czytać treść strony i to rozbijać. Problem jest taki, że strona z której pobieram ma paginację i musiałbym to rzucić w pętlę (aktualnie jest 300 stron). Nie jest to jakiś poważny projekt. Chodzi o czytanie rynku steama. Nie ma tam żadnych filtrów ani nic i szukanie jest niewygodne. W ramach praktyki chciałem sobie coś takiego napisać . Jedyne co mi przychodzi na myśl to może jakiś CRON raz dziennie, który jak się odpali to te 300 stron niech przeleci, ale też nie na raz ale w jakiś paczkach. Tyle że z CRONem też nigdy nic nie robiłem ale wiem że służy do planowanych zadań. Wiem, że da się zaplanować np codziennie zadanie o godzinie X. Ale czy to wszystko?

Ten post edytował Kuba707 22.04.2014, 10:43:46

[sajegib]

Musisz w cronie ustawić zadanie dla skryptu, który sprawdzi ile jest stron, później przeleci przez wszystkie strony spaginowane i pobierze wszystko co potrzebuejsz do bazy czy pliku .txt
Musisz poszukać w google, tam jest wszystko...
pomocne frazy:
-cURL
-CRON
-simple_html_dom // przyda sie, taka klasa do parsowania html

Cron też jest dobrym wyjściem jeśli uzywasz linucha, możesz też skorzystać z interpretera php w konsoli, (zajrzyj w google)

Ten post edytował sajegib 22.04.2014, 10:49:03