[inne]Pobranie dużej ilości danych z zewnętrznej strony |
[inne]Pobranie dużej ilości danych z zewnętrznej strony |
22.04.2014, 10:34:42
Post
#1
|
|
Grupa: Zarejestrowani Postów: 94 Pomógł: 0 Dołączył: 20.03.2010 Ostrzeżenie: (0%) |
Witam.
Chciałbym sobie napisać taką stronę, która by się codziennie aktualizowała, to znaczy ta strona wchodziłaby na stronę jakąś xyz.com i tam pobierała odpowiednie dane. Tyle, że te dane na tej stronie mają paginację, musiałbym w pętli zrobić request ze strony xyz.com/?page=$i. Stron może być z 300. No i pytanie jak podejść do tego tematu. Jak zrobię w PHP pętlę 300 requestów to... nie orientuje się co i jak, ale to trochę dużo i może się coś nie udać. Jakieś sugestie jak to zrobić? Ten post edytował Kuba707 22.04.2014, 10:35:01 |
|
|
22.04.2014, 10:36:44
Post
#2
|
|
Grupa: Zarejestrowani Postów: 352 Pomógł: 59 Dołączył: 16.01.2013 Ostrzeżenie: (0%) |
Odpalić z konsoli, nie z przeglądarki, dodatkowo musisz pamiętać, że wiele stron jest zabezpieczonych przed tego typu działaniami
|
|
|
22.04.2014, 10:42:56
Post
#3
|
|
Grupa: Zarejestrowani Postów: 94 Pomógł: 0 Dołączył: 20.03.2010 Ostrzeżenie: (0%) |
Ale jak z konsoli?
Chcę zrobić stronę która by raz dziennie pobierała informacje z innej strony i wyświetlała je lepiej (posortowanie, filtry itp itd). Nie ma żadnego API do pobierania więc muszę najzwyczajniej czytać treść strony i to rozbijać. Problem jest taki, że strona z której pobieram ma paginację i musiałbym to rzucić w pętlę (aktualnie jest 300 stron). Nie jest to jakiś poważny projekt. Chodzi o czytanie rynku steama. Nie ma tam żadnych filtrów ani nic i szukanie jest niewygodne. W ramach praktyki chciałem sobie coś takiego napisać . Jedyne co mi przychodzi na myśl to może jakiś CRON raz dziennie, który jak się odpali to te 300 stron niech przeleci, ale też nie na raz ale w jakiś paczkach. Tyle że z CRONem też nigdy nic nie robiłem ale wiem że służy do planowanych zadań. Wiem, że da się zaplanować np codziennie zadanie o godzinie X. Ale czy to wszystko? Ten post edytował Kuba707 22.04.2014, 10:43:46 |
|
|
22.04.2014, 10:48:34
Post
#4
|
|
Grupa: Zarejestrowani Postów: 352 Pomógł: 59 Dołączył: 16.01.2013 Ostrzeżenie: (0%) |
Musisz w cronie ustawić zadanie dla skryptu, który sprawdzi ile jest stron, później przeleci przez wszystkie strony spaginowane i pobierze wszystko co potrzebuejsz do bazy czy pliku .txt
Musisz poszukać w google, tam jest wszystko... pomocne frazy: -cURL -CRON -simple_html_dom // przyda sie, taka klasa do parsowania html Cron też jest dobrym wyjściem jeśli uzywasz linucha, możesz też skorzystać z interpretera php w konsoli, (zajrzyj w google) Ten post edytował sajegib 22.04.2014, 10:49:03 |
|
|
Wersja Lo-Fi | Aktualny czas: 27.04.2024 - 12:07 |