Curl, Basedir, i ominięcie, ale jak i po co Opcje

[ahold]

Witam,

(IMG:http://curl.haxx.se/ds-curlicon.png)

W naszym Curlowaniu, posunąłem się do etapu pobierania strony.

Niestety okazało się iż używa ona Header Location, jako przekierowania między poszczególnymi stronami.

Myślę że super, ja też tak robię... i zacząłem dobierać się do opcji follow redirect.

Niestety okazało się że wymaga ona basedir otwartego.



Zacząłem zagłębiać się w dokumentację, i wyszło że jeżeli w header location ktoś wpisze file://xxx/xxx/xxx/tt.php to curl pobierze i wklei źródło tego skryptu...



Bo wcześniej myślałem, spokojnie, basedir... co to dla mnie, zaraz postawie Dedyka z debianem, i po sprawie.
Ale teraz widzę że curl staje się faktycznie niebezpieczny...

Czy nie da się jakoś obejść tego ?
Proponowali jakiś kod, na php.net ale niestety nie działa... niby nie wykłada się składnią, ale strony nie pobiera...


Nie ma ktoś gotowca który pobiera strony z header location ?
(dać po znajomości w ramach redystrybucji kodu).

Zakładamy że mogę mieć open basedir, ale i tak szkoda mi dedyka...

Wszystkie rozwiązania jakie tu omawiamy, tyczą się dedyków, dedyków, dedyków nie mówimy o dzielonych hostingach i problem nie leży w tym że basedir to problem w zmianie.

nano /etc/apache2/php5/php.ini
ctrl + w
basedir
enter
#
ctrl + o
/etc/init.d/apache2 restart

To nie jest dla mnie problem... to ma działać, ale bezpiecznie (IMG:style_emoticons/default/winksmiley.jpg) Wiadomo że do celu, ale nie po trupach..

[erix]

Czy nie da się jakoś obejść tego ?
Proponowali jakiś kod, na php.net ale niestety nie działa... niby nie wykłada się składnią, ale strony nie pobiera...


Nie ma ktoś gotowca który pobiera strony z header location ?
(dać po znajomości w ramach redystrybucji kodu).

Musisz użyć czegoś, co jest klientem protokołu HTTP przez fsockopen. Była kiedyś taka klasa, co się nazywała Snoopy.

[ahold]

Przepraszam erix, nie chciał bym żeby wyszło że zlałem na twoją odpowiedz, ale od rana dalej walczę z tym "ichnim redirektem opisanym na php.net".

Zacytuje, kod:

[PHP] pobierz, plaintext 
function curl_redir_exec($ch)
{
global $kukis;
global $przegladarka;
 
static $curl_loops = 0;
static $curl_max_loops = 20;
if ($curl_loops++>= $curl_max_loops)
{
$curl_loops = 0;
return FALSE;
}
 curl_setopt($ch, CURLOPT_COOKIEFILE, "$kukis");
 curl_setopt($ch, CURLOPT_COOKIEJAR, "$kukis");
 curl_setopt($ch, CURLOPT_USERAGENT, "$przegladarka");
 curl_setopt($ch, CURLOPT_REFERER, 'http://onet.pl/');
 
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$data = curl_exec($ch);
 
list($header, $data) = explode("\n\n", $data, 2);
 
$http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
if ($http_code == 301 || $http_code == 302)
{
$matches = array();
preg_match('/Location:(.*?)\n/', $header, $matches);
$url = @parse_url(trim(array_pop($matches)));
if (!$url)
{
//couldn't process the url to redirect to
$curl_loops = 0;
return $data;
}
$last_url = parse_url(curl_getinfo($ch, CURLINFO_EFFECTIVE_URL));
if (!$url['scheme'])
$url['scheme'] = $last_url['scheme'];
if (!$url['host'])
$url['host'] = $last_url['host'];
if (!$url['path'])
$url['path'] = $last_url['path'];
$new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . ($url['query']?'?'.$url['query']:'');
curl_setopt($ch, CURLOPT_URL, $new_url);
return curl_redir_exec($ch);
} else {
$curl_loops=0;
return $data;
}
}
[PHP] pobierz, plaintext 

Powyższy kod, zwraca poszatkowaną stronę... tzn 50 % strony, albo i mniej...

Metodą prób i błędów, z return $data doszedłem gdzie gubi poprawność.

[PHP] pobierz, plaintext 
list($header, $data) = explode("\n\n", $data, 2);
[PHP] pobierz, plaintext 

Przed tym, kod jest poprawny.
Po tym, kod jest posiekany.

To jest na pewno związane z nagłówkami i podwójnym \n\n.
Może zmieniła się standaryzacja przez te lata, i już niema \n\n a np \n\n\n czyli trzy entery... czy ktoś coś pomoże ?

[zegarek84]

odpowiedź jest taka, że wystarczy, iż w kodzie będziesz miał 2 entery i już "kiszka" ;p - znajdź pozycję tych 2 pierwszych enterów po czym wytnij ten nagłówek - jeśli nie będzie przekierowania zwróć treść będącą za tymi enterami do końca...

[gg1985]

Wygląda na to, że mam dokładnie ten sam problem, jednak nie rozumiem tego rozwiązania powyżej, może ktoś napisać jaśniej?

EDYCJA:

Już sobie poradziłem. (IMG:style_emoticons/default/smile.gif)

[Wicepsik]

Mógłbyś napisać w jaki sposób poradziłeś sobie z tym problemem? Też trochę siedzę nad tym i nie mogę wymyślić nic...

Ten post edytował Wicepsik 12.11.2009, 15:58:01

[gg1985]

hehe, zamiast \n\n trzeba \n\r albo \r\n już nie pamiętam (IMG:style_emoticons/default/smile.gif)