[PHP]Jak zasymulować wejście na witryne z danego ip (ip serwera), cURL Opcje

[nitro11]

Witam,

Chcę pobrać za pomocą cURL ocenę ze strony http://www.filmweb.pl/serial/4400-2004-122684.

Problem polega na tym, ze często dla pierwszego wejścia z danego ip
pojawia się reklama, którą można opuścić klikając link 'przejdz do filmweb'.

Za pomocą cURL, wyciągam ten link, gdyż skrypt na serwerze ciągle dostaję stronę z reklamą.
Jednak po wejściu na ten link za pomocą cURL, dalej wyświetla mi się ta reklama.

Byłem, przekonany, że wyświetla się ona tylko dla danego ip, które po raz pierwszy odwiedziło
stronę i ewentualnie nie kliknęło linka 'przejdz...' ale jednak mimo pobrania tego linka
i ponownego połączenie dalej mam reklamę.

EDIT

Zauważyłem, że sytuacja nie zależy tyle od IP co od przeglądarki, bo na każdej za pierwszym
razem dostaje reklamę a za 2 odświeżeniem właściwa stronę, więc tak jakby User Agent był istotny,
ale dodałem, takiego jak mam w przeglądarce, która już nie wyświetla reklamy (dane z Live Headers),
jednak nic to nie zmieniło.

Może chodzi o cookie?

Ale i tak jes ustawiam w cURL:

[PHP] pobierz, plaintext 
curl_setopt($ch_e, CURLOPT_COOKIEFILE, dirname(__FILE__) . '/cookie.txt');
curl_setopt($ch_e, CURLOPT_COOKIEJAR, dirname(__FILE__) . '/cookie.txt');
[PHP] pobierz, plaintext 

Ten post edytował nitro11 10.09.2010, 04:24:09

[krzysiej]

jakis czas temu zrobilem bota w konsoli w php ktory zywcem przechodził od filmu do filmu parsował stronke i wrzucał do bazy wszystko co znalazł wlasnie na filmwebie, tez mialem problem z reklamą ale wystarczyło ze w surlu ustawilem, cookiefile i cookiejar dokladnie tak jak piszesz nie potrzebne było zadne ip ani useragent.
edit zawsze mozesz uzyc adresów w formacie: http://filmweb.pl/Film?id=xxxxx gdzie xxxxx to jakas liczba

Ten post edytował krzysiej 10.09.2010, 09:20:07

[nitro11]

A możesz sprawdzić, czy teraz Ci to działa?
Mi też kiedyś działało, ale teraz przestało.
Zauważyłem też że:

[PHP] pobierz, plaintext 
curl_setopt($ch_e, CURLOPT_COOKIEFILE,  'cookie/cookie.txt');
curl_setopt($ch_e, CURLOPT_COOKIEJAR, 'cookie/cookie2.txt');
[PHP] pobierz, plaintext 

Wcale nie tworzy na serwerze w tym katalogu żadnych plików !?
A moze to musi być jakoś inaczej zapisane, w stylu home/www/public/ ... ?

[sazian]

jak dobrze pamiętam to te pliki trzeba samemu utworzyć a cURL tylko do nich zapisuje

[nitro11]

No i gra gitara (IMG:style_emoticons/default/smile.gif)

[krzysiej]

jak dobrze pamiętam to te pliki trzeba samemu utworzyć a cURL tylko do nich zapisuje

jesli plik cookie.txt nie istnieje curl tworzy go automatycznie, musi jedynie istniec folder, w tym przypadku folder cookie