Skrypt w CRON i przeglądarce Opcje

[arpi]

Witajcie
mam skrypt który za pomocą CURL loguje sie do hurtowni a następnie w pętli przetwarza każdą stronę i wyciągam z niej potrzebne dane (ceny/ilosci produktów).
Otóż mam taki problem.
Gdy odpalam skrypt w przeglądarce to działa dobrze, wykonuje się kilka godzin (przetwarza 6000 produktów) i jest ok.
Natomiast jak uruchamia się poprzez CRON to kończy się po kilku minutach (przetwarza tylko 100-150 produktów)

Macie jakieś pomysły co może być przyczyną ?

ustawienia:
serwer mydevil
max_execution_time = 25000


na wszelki wypadek wrzucam część skryptu, może coś tu potrzeba dorzucić ?
w logach z błędami php nic nie znalazłem.

Testuje to ponad tydzień z różnymi kombinacjami i już nie mam pomysłów

[PHP] pobierz, plaintext 
<?php
 
require('../simplehtmldom/simple_html_dom.php');
 
 
//logowanie + zapis cookies
$username = 'user';
$password = 'pass';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://xxxxx.pl/logowanie.php');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, 'login='.$username.'&haslo='.$password);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_ENCODING, 'gzip, deflate');
curl_setopt($ch, CURLOPT_COOKIEJAR, 'cookies.txt');
$output = curl_exec($ch);
if (curl_errno($ch)) {
    echo 'Błąd #' . curl_errno($ch) . ': ' . curl_error($ch);
}
$info = curl_getinfo($ch);
curl_close($ch);
 
 
$numery_id = fopen("id.csv", "r") or exit("Blad!");
while(!feof($numery_id))
{
	$numer_id = trim(fgets($numery_id));
 
	$file = fopen("temp.html", "w");
    $ch2 = curl_init();
    curl_setopt($ch2, CURLOPT_URL, 'https://xxxxx.pl/produkt.php?pid='.$numer_id);
    curl_setopt($ch2, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch2, CURLOPT_CUSTOMREQUEST, 'GET');
    curl_setopt($ch2, CURLOPT_ENCODING, 'gzip, deflate');
    curl_setopt($ch2, CURLOPT_COOKIEFILE, 'cookies.txt');
    curl_setopt($ch2, CURLOPT_FILE, $file);
 
    $output = curl_exec($ch2);
	if (curl_errno($ch2)) {
		echo 'Błąd #' . curl_errno($ch2) . ': ' . curl_error($ch2);
	}
    $info = curl_getinfo($ch2);
    curl_close($ch2);
    fclose($file);
 
	//pobrana strona wrzucona do biblioteki simplehtmldom celem wyjecia potrzebnych danych z drzewa DOM 
	$html = file_get_html("temp.html");
	if($html){
		//odczyt z drzewa DOM potrzebnych danych i zapis do Mysql....
	}
 
[PHP] pobierz, plaintext 

[Tomplus]

Pierwsze co to zobacz logi dla cron'a. Pewnie jest informacja o wcześniejszym zakończeniu.

Drugie, jeżeli strona hurtowni jest w twoim zasięgu, lub jeżeli jest to strona firmy którą współpracujecie biznesowo, to może warto użyć jakieś proste API do pobierania danych?

[Robertus]

A jak odpalasz to cronem?
Lokalnie przez komendę typu: /usr/bin/php /sciezka/plik.php
Czy np. curlem przez domenę: curl https://jakasstrona.pl/plik.php

W pierwszym przypadku ten php może używać zupełnie inne ustawienia php.ini niż odpalanie przez stronę w przeglądarce i dlatego ci się wykonuje np. przez domyślne 30 lub 60 sekund.

Ten post edytował Robertus 16.04.2023, 10:58:02

[arpi]

odpalam wg pierwszej metody /usr/bin/php /sciezka/plik.php

wczoraj potestowałem jeszcze inne kombinacje i jak na razie działa.
Otóż ten CURL z logowaniem co jest na poczatku skryptu wsadziłem do pętli aby się logował co 100 przetworzonych produktów.

coś z tymi cookies-ami było nie tak.