[PHP|CURL] pobieranie wszystkiego z podstrony, pobieranie danych po kliknięciu "pokaz więcej" |
[PHP|CURL] pobieranie wszystkiego z podstrony, pobieranie danych po kliknięciu "pokaz więcej" |
2.06.2019, 13:03:10
Post
#1
|
|
Grupa: Zarejestrowani Postów: 66 Pomógł: 1 Dołączył: 4.05.2019 Skąd: PHP5.6 Ostrzeżenie: (0%) |
Hej hej, zastanawiam się w jaki sposób przeskoczyć "ścianę" z którą w myślach męczę się od kilku dni...
Za pomocą cURL'a pobieram dane ze strony, problem polega na tym że strona wyświetla jedynie 20 wyników z ~200 i trzeba kliknąć "pokaż/wczytaj więcej" na stronie, aby pokazała kolejne 20 wyników (w sumie 40). Za pomocą cURL potrafię pobrać jedynie 20 pierwszych wyników i nie mam zielonego pojęcia w jaki sposób rozwiązać problem z pobieraniem wszystkiego - w sensie wszystkiego po kliknięciu "pokaż/wczytaj więcej". Czy możecie mnie naprowadzić na odpowiednie tory rozwiązania tego problemu? W jaki sposób mogę to rozwiązać? za pomocą czego? jak się za to zabrać? czego się douczyć? Ten post edytował phpuser88 2.06.2019, 13:04:35 |
|
|
2.06.2019, 13:08:42
Post
#2
|
|
Grupa: Zarejestrowani Postów: 6 365 Pomógł: 1114 Dołączył: 30.08.2006 Ostrzeżenie: (0%) |
Sprawdź w przeglądarce gdzie leci żądanie jak klikasz więcej bo może wystarczy odpytac ten adres bezpośrednio.
-------------------- |
|
|
2.06.2019, 13:52:57
Post
#3
|
|
Grupa: Zarejestrowani Postów: 66 Pomógł: 1 Dołączył: 4.05.2019 Skąd: PHP5.6 Ostrzeżenie: (0%) |
Dobry pomysł, niestety request zawsze zawiera losowy token za pomocą którego wczytywana jest kolejna porcja danych... tu chyba muszę dodać, że request odbywa się automatycznie bez "kliknięcia", jedynie za pomocą "zjechania myszką w dół" i gdy pierwsza porcja danych zostanie pokazana, to kolejna wczytuje się automatycznie.
edit: zapytanie leci metodą POST za każdym razem z losowym ID do stałego źródła, które samo w sobie tworzy kolejne losowe ID Ten post edytował phpuser88 2.06.2019, 14:04:51 |
|
|
2.06.2019, 16:08:21
Post
#4
|
|
Grupa: Zarejestrowani Postów: 1 270 Pomógł: 184 Dołączył: 7.10.2012 Skąd: Warszawa Ostrzeżenie: (0%) |
Nie znam szczegolow odnosnie www itd. ale od biedy mozesz uzyc selenium i jakos moze w tym kierunku spróbować, nie wiem dokladnie na jakie potrzeby to potrzebujesz zdecyduj sie czy trzeba kliknac czy zescrollowac bo raz piszesz tak a raz tak
|
|
|
2.06.2019, 18:05:48
Post
#5
|
|
Grupa: Zarejestrowani Postów: 66 Pomógł: 1 Dołączył: 4.05.2019 Skąd: PHP5.6 Ostrzeżenie: (0%) |
Chciałbym pobierać zdjęcia z insta, problem w tym, że jednorazowo mogę pobrać jedynie kilkanaście sztuk, a po następną "partię danych" muszę "zjechać myszką w dół" i tu pojawia się problem, ponieważ mam idealny skrypt cURL'a, który pobiera zdjęcia, ale skrypt pobierze tylko "jednorazowo wczytane zdjęcia" tj. z jednego, pierwszego wczytania. Za cholerę nie mogę tego problemu przeskoczyć i myślę nad zleceniem, ale też nie wiem na ile powinienem wycenić takie zlecenie? Istnieje kilka zagranicznych stron w internecie, które poradziły sobie z tym problemem bez użycia API, które swoją drogą nie jest "łatwo dostępne" w przypadku insta. Za kolejne sugestie odnośnie rozwiązania problemu jak i wycenę będę wdzięczny. Od ręki mogę dać 200zł jeśli ktoś zarzuci (PM) działającym kodem, który po uruchomieniu dobierze się do linków wszystkich zdjęć z tagu #gadern (615 zdjęć)
@rad11 Selenium w wersji dodatku do Chrome posiada bardzo ubogą funkcjonalność, ale dzięki za komentarz. Ten post edytował phpuser88 2.06.2019, 18:10:11 |
|
|
2.06.2019, 20:17:24
Post
#6
|
|
Grupa: Zarejestrowani Postów: 1 270 Pomógł: 184 Dołączył: 7.10.2012 Skąd: Warszawa Ostrzeżenie: (0%) |
Co masz na myslu o API, moim zdaniem powiniennes tego uzyc z tego co kiedys korzystalem z ich api nie widzialem problemu?
|
|
|
4.06.2019, 18:20:02
Post
#7
|
|
Grupa: Zarejestrowani Postów: 66 Pomógł: 1 Dołączył: 4.05.2019 Skąd: PHP5.6 Ostrzeżenie: (0%) |
Nie udostępniają swojego API do testów. Nie rozgryze tego sam bez pomocy, a tej jak widać brak... Kompletnie nie wiem jak się za to zabrać... jestem skłonny zapłacić za gotowca 500 zł.
|
|
|
4.06.2019, 20:07:26
Post
#8
|
|
Grupa: Zarejestrowani Postów: 8 068 Pomógł: 1414 Dołączył: 26.10.2005 Ostrzeżenie: (0%) |
Poczekam aż podbijesz do 1000 i podeślę Ci link gdzie jest odpowiedź na twój problem
|
|
|
4.06.2019, 23:07:12
Post
#9
|
|
Grupa: Zarejestrowani Postów: 66 Pomógł: 1 Dołączył: 4.05.2019 Skąd: PHP5.6 Ostrzeżenie: (0%) |
Niestety nie dobije do 1000 jeszcze w tym tygodniu wystawie zlecenie. Skoro 200 było za mało, to 500 powinno być już okej, a to moje wszystkie oszczędności, które chętnie oddam za rozwiązanie mojego problemu w życiowym projekcie. Widziałem na Githubie gotowe rozwiązanie w formie bota, ale to kombajn, a ja średnio znam się na programowaniu by znaleźć i wyciągnąć tą konkretną funkcje, a następnie delikatnie obrobić żeby współgrała z moim prostym kodem. O ile projekt na Githubie działa, to dla specjalisty nie powinno być większego problemu. Może spróbujesz swoim sił?
|
|
|
5.06.2019, 21:14:22
Post
#10
|
|
Grupa: Zarejestrowani Postów: 8 068 Pomógł: 1414 Dołączył: 26.10.2005 Ostrzeżenie: (0%) |
Nie mam czasu na takie pierdoły
Masz tu na zachętę: https://www.instagram.com/explore/tags/gadern/?__a=1 Przeanalizuj sobie output. Tu masz jeszcze coś do poczytania: https://stackoverflow.com/questions/4926533...query-to-get-da I jeszcze dla Pythona: https://medium.com/@h4t0n/instagram-data-sc...ng-550c5f2fb6f1 A to mój nr. konta 04 1140 2004 0000 3202 7624 1061 |
|
|
6.06.2019, 09:01:31
Post
#11
|
|
Grupa: Zarejestrowani Postów: 66 Pomógł: 1 Dołączył: 4.05.2019 Skąd: PHP5.6 Ostrzeżenie: (0%) |
Widzialem to juz wczesniej i mialem testowac w ten weekend, ale dzieki formie w jakiej mi to przedstawiles, przetestowalem od razu. Jest to dalekie od gotowca, ale bardzo pomocne, bo wreszcie moge isc dalej. Podeslij mi dane, a chetnie odwdziecze sie obiadem za pomoc
Dzieki! |
|
|
6.06.2019, 10:39:51
Post
#12
|
|
Grupa: Zarejestrowani Postów: 8 068 Pomógł: 1414 Dołączył: 26.10.2005 Ostrzeżenie: (0%) |
Toć napisałem nr. konta innych danych nie potrzeba
|
|
|
Wersja Lo-Fi | Aktualny czas: 26.04.2024 - 04:28 |