[PHP]CURL - przestał działać Opcje

[casperii]

Panowie przestał mi działać kod, zastanawiam się, czy hosting z którego odpalam php , mógł się "wkurzyć" i coś mi zablokować, bo stwierdzili, że curl zżera im duże zasoby serwera :|

o to kod:

[PHP] pobierz, plaintext 
$username = 'user';
$password = 'haslo';
 
$loginUrl = 'adres strony';
$headers = array(
	'User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.1; pl; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16',
	'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
	'Accept-Language: pl,en-us;q=0.7,en;q=0.3',
	'Accept-Charset: ISO-8859-2,utf-8;q=0.7,*;q=0.7'
	);
$cookie_file = './cookies/cookies.txt';
 
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $loginUrl);
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_POST, true);
curl_setopt($ch, CURLOPT_POSTFIELDS, 'username='.$username.'&password='.$password);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
 
echo curl_exec($ch);
[PHP] pobierz, plaintext 

powyższe pokazuje pustą stronę, bezpośredni link działa.

jak zakomentuje:

[PHP] pobierz, plaintext 
curl_setopt($ch, CURLOPT_POST, true);
curl_setopt($ch, CURLOPT_POSTFIELDS, 'username='.$username.'&password='.$password);
[PHP] pobierz, plaintext 

to wyświetla formularz logowania.

Ten post edytował casperii 22.07.2017, 10:45:04

[nospor]

Tyle czasu na forum to juz moglbys ogarniac ze "przestal dzialac" to z reguly nam nic nie mowi.
CIezko napisac jak dzialal wczesniej a jak dziala teraz? Co sie dzialo wczesniej a co sie dzieje teraz?

Z twojego haotycznego opisu na chwile obecna wnioskuje, ze stronka na ktora wysylasz dane, cos zmienila u siebie i w momencie gdy wyslesz poprawne dane formularza to ona przekierowuje gdzies indziej i temu teraz nie widzisz juz formularza bo przeciez dane wyslales.

[casperii]

@nospor strona nic nie zmieniła, podałem wyżej kod jak wyglądał wcześniej , który działał.

Metodą prób i błędów doszedłem do czegoś takiego:

[PHP] pobierz, plaintext 
$username = 'user';
$password = 'haslo';
 
$loginUrl = 'adres strony';
$headers = array(
	'User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.1; pl; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16',
	'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
	'Accept-Language: pl,en-us;q=0.7,en;q=0.3',
	'Accept-Charset: ISO-8859-2,utf-8;q=0.7,*;q=0.7'
	);
$cookie_file = './cookies/cookies.txt';
 
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $loginUrl);
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_POST, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);
//curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);
curl_setopt($ch, CURLOPT_POSTFIELDS, 'username='.$username.'&password='.$password);
 
$store = curl_exec($ch);
echo $store;
[PHP] pobierz, plaintext 

wyświetla mi:

HTTP/1.1 302 Found Date: Sat, 22 Jul 2017 11:38:33 GMT Server: Apache Expires: Thu, 19 Nov 1981 08:52:00 GMT Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0 Pragma: no-cache Status: 302 Location: https://adresstrony.pl/token=5cf15dw751e5a2f97022b7b7f99ead Content-Length: 0 Content-Type: text/html; charset=UTF-8

Natomiast odkomentowanie

[PHP] pobierz, plaintext 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); 
[PHP] pobierz, plaintext 

zwraca mi pustą stronę. Dziwne to , że printowanie pokazało Location https , skoro ja podałem w urlu http. Chociaż logować się można przez http i https.

[nospor]

Na stronie masz przekierowanie z http na https.
Jesli to nie ty jestes autorem strony na ktore robisz curl, to nie jestes wstanie stwierdzic czy cos zmienili czy nie

[casperii]

Problem rozwiązany, wystarczyło dodać.:

[PHP] pobierz, plaintext 
curl_setopt($ch, CURLOPT_AUTOREFERER, true);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 120);
curl_setopt($ch, CURLOPT_TIMEOUT, 120);
curl_setopt($ch, CURLOPT_MAXREDIRS, 10);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 1);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 1);
[PHP] pobierz, plaintext 

@nospor a czy CURL jest mocno obciążający serwer?
Na chwilę obecną pobieram w pętli 20 podstron co 10 minut.
Czy jest jakaś komenda zwalniająca zasoby serwera po wykonanym curlu ? coś w stylu disconnect ?

[Neutral]

Chodzi ci o: curl_close, curl_pause, curl_reset?

Ten post edytował Neutral 23.07.2017, 13:10:46