[cURL] ściąga starą stronę Opcje

[bingo289]

Czołem. Ściągam pewną stronę curlem do późniejszego parsowania. Mam problem tego typu, że strona pobrana przez curla jest dużo starsza od tej widocznej w jakiejkolwiek przeglądarce - wygląda to tak, jakby u mnie na komputerze ta strona jednokrotnie zapisywała się w jakimś cache'u, a potem była z niego za każdym razem odczytywana, mimo że wysyłam do funkcji polecenie by tego nie robiła.

[PHP] pobierz, plaintext 
function fetchURL($url){
	$ch = curl_init();
	curl_setopt($ch, CURLOPT_URL, $url);
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
	curl_setopt($ch, CURLOPT_BINARYTRANSFER, true);
	curl_setopt($ch, CURLOPT_TIMEOUT, 20);
	curl_setopt($ch, CURLOPT_FRESH_CONNECT, true);
	curl_setopt($ch, CURLOPT_FORBID_REUSE , true);
 
	$feedData = curl_exec($ch);
	curl_close($ch); 
	return $feedData;
}
[PHP] pobierz, plaintext 

Ten post edytował bingo289 12.01.2015, 22:05:52

[markuz]

strona pobrana przez curla jest dużo starsza od tej widocznej w jakiejkolwiek przeglądarce

Piszesz to na podstawie porównania źródła HTML czy wyglądu?

[bingo289]

Kod i treść się różnią. Po prostu w PHP nie mogę obrobić najnowszej strony, którą widzę w przeglądarce.

[markuz]

To wejdź w narzędzia dev chrome/firefox (firebug) i wyślij takie same nagłówki jakie wysyłasz z przeglądarki - być może strona broni się przed niechcianym ruchem w ten sposób. Jak to nie zadziała to podepnij pod curl-a ciasteczka.

[bingo289]

Przesyłanie nagłówków nic nie daje. Zauważyłem, że w zależności od tego czy jako url wpiszę stronę *.pl/ czy *.pl/index.php czy *.pl/index.php?t=0 to za każdym przypadku dostaję wersję strony z inną datą.

Ten post edytował bingo289 13.01.2015, 06:45:32

[markuz]

Ale w cURL`u nie ma czegoś takiego jak cache. Pokaż poprawione zapytanie z dodanymi nagłówkami i ciasteczkami.

[bingo289]

Podpięcie ciasteczek nic nie dało. Problem rozwiązałem włączając samą opcję POST:

[PHP] pobierz, plaintext 
curl_setopt($ch, CURLOPT_POST, true); 
[PHP] pobierz, plaintext 

Teraz funkcja pobiera najnowszą wersję strony