udawanie przeglądarki? Opcje

[bulczas]

witam,
czy jest możliwość żeby skrypt udawał przeglądarke, wczytywał strone o określonej porze (danej godzinie) i klikał na link na owej stronie?

pzdr

[LBO]

Przyda Ci się cURL" title="Zobacz w manualu php" target="_manual i szukaj CURLOPT_USERAGENT

[no_face]

Z gory przepraszam za odswierzenie tematu, ale po co tworzyc nowy jak jest ich juz 4.

Chcialbym sie dowiedziec czy idzie w 100% udawac przegladarke uzywajac funkcji curl, dzialajac na tym samy ip (np stawiajac sobie serverek na kompie i z niego dzialac). Czy wystarczy przekazac CURLOPT_USERAGENT, czy jednak jest potrzebny caly zestaw zmiennych, prosze mi troszeczke to zobrazowac.

[LBO]

Wszystko mozna... cała sieć opiera sie na nagłówkach, a ich obsługa jest całkiem prosta...

edit:
zmonitoruj kiedys, jakie nagłówki wysyła np Firefox (są do tego narzędzia) i wszystko będziesz wiedział.

Ten post edytował LBO 26.07.2006, 14:05:42

[Vogel]

Z gory przepraszam za odswierzenie tematu, ale po co tworzyc nowy jak jest ich juz 4.

Chcialbym sie dowiedziec czy idzie w 100% udawac przegladarke uzywajac funkcji curl, dzialajac na tym samy ip (np stawiajac sobie serverek na kompie i z niego dzialac). Czy wystarczy przekazac CURLOPT_USERAGENT, czy jednak jest potrzebny caly zestaw zmiennych, prosze mi troszeczke to zobrazowac.

zerknij co wysyla twa przegladarka i zrob to samo:
http://pgl.yoyo.org/http/browser-headers.php (tylko uwazaj na kompresje gzip w Accept-Encoding ;D bo mozesz sie zdziwic)

[no_face]

Wczesniej jeszcze przed napisaniem posta wyzej, wgralem plugina do ff ktory mialmi pokazac te sprawy, niestety niedziala. Wchodzac na podana strone otrzymuje takie naglowki:

Accept:
Accept-Charset:
Accept-Encoding:
Accept-Language:
Connection:
Host:
Keep-Alive:
Referer:
User-Agent:

Domyslam sie, ze host, referer w tym przypadku nie sa potrzebne. Cala reszte procz user-agent podpiac za pomoca opcji CURLOPT_HTTPHEADER. Czy to wystarczy by udawac przegladarke na 100% ?

[Ludvik]

Accept-Encoding jeszcze zastąp specjalną opcją. Jeżeli wyślesz samodzielnie nagłówek, to nie daj boże, jak dostaniesz zakodowaną odpowiedź. Przy odkodowywaniu sypały mi się trochę funkcje gzip...

[no_face]

Zgodnie z Waszymi wskazowkami na podstawie naglowkow ktore otrzymalem ze strony podanej wyzej.

Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Charset: ISO-8859-2,utf-8;q=0.7,*;q=0.7
Accept-Encoding: gzip,deflate
Accept-Language: pl,en-us;q=0.7,en;q=0.3
Connection: keep-alive
Host: pgl.yoyo.org
Keep-Alive: 300
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; pl; rv:1.8.0.4) Gecko/20060508 Firefox/1.5.0.4

Napisalem kilka linijek kodu:

Kod

$header = 'Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5';
$header .= 'Accept-Charset: ISO-8859-2,utf-8;q=0.7,*;q=0.7';
$header .= 'Accept-Language: pl,en-us;q=0.7,en;q=0.3';
$header .= 'Connection: keep-alive';
$header .= 'Host: rownoznaczny_z_url_curla';
$header .= 'Keep-Alive: 300';

curl_setopt($c, CURLOPT_URL, "http://strona.pl");
curl_setopt($c, CURL_POST, 1);
curl_setopt($c, CURLOPT_POSTFIELDS, "post_data");
curl_setopt($c, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($c, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
curl_setopt($c, CURLOPT_ENCODING , "gzip,deflate");
curl_setopt($c, CURLOPT_HTTPHEADER, $header);

Chcialbym sie zorientowac, czy poprawnie to sklecilem i czy o to chodzilo. I jeszcze jedno czy pomiedzy np: Connection: keep-alive ma byc spacja, czy tabulator, czy to bez znaczenia.

[Ludvik]

Na pewno nie tak:

[PHP] pobierz, plaintext 
<?php
$header = 'Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5';
$header .= 'Accept-Charset: ISO-8859-2,utf-8;q=0.7,*;q=0.7';
$header .= 'Accept-Language: pl,en-us;q=0.7,en;q=0.3';
$header .= 'Connection: keep-alive';
$header .= 'Host: rownoznaczny_z_url_curla';
$header .= 'Keep-Alive: 300';
?>
[PHP] pobierz, plaintext 

Raczej tak:

[PHP] pobierz, plaintext 
<?php
$header = array();
$header[] = 'Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5';
$header[] = 'Accept-Charset: ISO-8859-2,utf-8;q=0.7,*;q=0.7';
$header[] = 'Accept-Language: pl,en-us;q=0.7,en;q=0.3';
$header[] = 'Connection: keep-alive';
$header[] = 'Host: rownoznaczny_z_url_curla';
$header[] = 'Keep-Alive: 300';
?>
[PHP] pobierz, plaintext 

Poza tym powinno być:

[PHP] pobierz, plaintext 
<?php
curl_setopt($c, CURLOPT_ENCODING , '');
?>
[PHP] pobierz, plaintext 

[no_face]

Po prostu polaczylem ze soba ciagi znakow, myslalem ze takie rozwiazanie moglo byc dobre.

Piszac:

Kod

curl_setopt($c, CURLOPT_ENCODING , "gzip,deflate");

Stososowalem sie do tego co wyzej napisales, by zastapic kodowanie specjalna opcja, nie myslalem ze trzeba ja wylaczyc, piszac tak:

Kod

curl_setopt($c, CURLOPT_ENCODING , '');

Wiec przy takich ustawieniach nie idzie rozpoznac czy to wchodzi sie czysto przez przegladarke czy nie?

Dziekuje za wszystkie informacje i czas poswiecony.