[PHP|CURL] pobieranie wszystkiego z podstrony, pobieranie danych po kliknięciu "pokaz więcej" Opcje

[phpuser88]

Hej hej, zastanawiam się w jaki sposób przeskoczyć "ścianę" z którą w myślach męczę się od kilku dni...
Za pomocą cURL'a pobieram dane ze strony, problem polega na tym że strona wyświetla jedynie 20 wyników z ~200 i trzeba kliknąć "pokaż/wczytaj więcej" na stronie, aby pokazała kolejne 20 wyników (w sumie 40). Za pomocą cURL potrafię pobrać jedynie 20 pierwszych wyników i nie mam zielonego pojęcia w jaki sposób rozwiązać problem z pobieraniem wszystkiego - w sensie wszystkiego po kliknięciu "pokaż/wczytaj więcej".
Czy możecie mnie naprowadzić na odpowiednie tory rozwiązania tego problemu? W jaki sposób mogę to rozwiązać? za pomocą czego? jak się za to zabrać? czego się douczyć?

Ten post edytował phpuser88 2.06.2019, 13:04:35

[viking]

Sprawdź w przeglądarce gdzie leci żądanie jak klikasz więcej bo może wystarczy odpytac ten adres bezpośrednio.

[phpuser88]

Dobry pomysł, niestety request zawsze zawiera losowy token za pomocą którego wczytywana jest kolejna porcja danych... tu chyba muszę dodać, że request odbywa się automatycznie bez "kliknięcia", jedynie za pomocą "zjechania myszką w dół" i gdy pierwsza porcja danych zostanie pokazana, to kolejna wczytuje się automatycznie.

edit: zapytanie leci metodą POST za każdym razem z losowym ID do stałego źródła, które samo w sobie tworzy kolejne losowe ID

Ten post edytował phpuser88 2.06.2019, 14:04:51

[rad11]

Nie znam szczegolow odnosnie www itd. ale od biedy mozesz uzyc selenium i jakos moze w tym kierunku spróbować, nie wiem dokladnie na jakie potrzeby to potrzebujesz zdecyduj sie czy trzeba kliknac czy zescrollowac bo raz piszesz tak a raz tak

[phpuser88]

Chciałbym pobierać zdjęcia z insta, problem w tym, że jednorazowo mogę pobrać jedynie kilkanaście sztuk, a po następną "partię danych" muszę "zjechać myszką w dół" i tu pojawia się problem, ponieważ mam idealny skrypt cURL'a, który pobiera zdjęcia, ale skrypt pobierze tylko "jednorazowo wczytane zdjęcia" tj. z jednego, pierwszego wczytania. Za cholerę nie mogę tego problemu przeskoczyć i myślę nad zleceniem, ale też nie wiem na ile powinienem wycenić takie zlecenie? Istnieje kilka zagranicznych stron w internecie, które poradziły sobie z tym problemem bez użycia API, które swoją drogą nie jest "łatwo dostępne" w przypadku insta. Za kolejne sugestie odnośnie rozwiązania problemu jak i wycenę będę wdzięczny. Od ręki mogę dać 200zł jeśli ktoś zarzuci (PM) działającym kodem, który po uruchomieniu dobierze się do linków wszystkich zdjęć z tagu #gadern (615 zdjęć)

@rad11 Selenium w wersji dodatku do Chrome posiada bardzo ubogą funkcjonalność, ale dzięki za komentarz.

Ten post edytował phpuser88 2.06.2019, 18:10:11

[rad11]

Co masz na myslu o API, moim zdaniem powiniennes tego uzyc z tego co kiedys korzystalem z ich api nie widzialem problemu?

[phpuser88]

Nie udostępniają swojego API do testów. Nie rozgryze tego sam bez pomocy, a tej jak widać brak... Kompletnie nie wiem jak się za to zabrać... jestem skłonny zapłacić za gotowca 500 zł.

[Pyton_000]

Poczekam aż podbijesz do 1000 i podeślę Ci link gdzie jest odpowiedź na twój problem

[phpuser88]

Niestety nie dobije do 1000 jeszcze w tym tygodniu wystawie zlecenie. Skoro 200 było za mało, to 500 powinno być już okej, a to moje wszystkie oszczędności, które chętnie oddam za rozwiązanie mojego problemu w życiowym projekcie. Widziałem na Githubie gotowe rozwiązanie w formie bota, ale to kombajn, a ja średnio znam się na programowaniu by znaleźć i wyciągnąć tą konkretną funkcje, a następnie delikatnie obrobić żeby współgrała z moim prostym kodem. O ile projekt na Githubie działa, to dla specjalisty nie powinno być większego problemu. Może spróbujesz swoim sił?

[Pyton_000]

Nie mam czasu na takie pierdoły

Masz tu na zachętę: https://www.instagram.com/explore/tags/gadern/?__a=1

Przeanalizuj sobie output.

Tu masz jeszcze coś do poczytania: https://stackoverflow.com/questions/4926533...query-to-get-da

I jeszcze dla Pythona: https://medium.com/@h4t0n/instagram-data-sc...ng-550c5f2fb6f1


A to mój nr. konta 04 1140 2004 0000 3202 7624 1061

[phpuser88]

Widzialem to juz wczesniej i mialem testowac w ten weekend, ale dzieki formie w jakiej mi to przedstawiles, przetestowalem od razu. Jest to dalekie od gotowca, ale bardzo pomocne, bo wreszcie moge isc dalej. Podeslij mi dane, a chetnie odwdziecze sie obiadem za pomoc
Dzieki!

[Pyton_000]

Toć napisałem nr. konta innych danych nie potrzeba