Forum PHP.pl > [php][MySQL] Duże zadanie w CRONIE podzielone na cześci

Pomoc - Szukaj - Użytkownicy - Kalendarz

Pełna wersja: [php][MySQL] Duże zadanie w CRONIE podzielone na cześci

luis2luis

10.03.2020, 12:36:20

Potrzebuje przetworzyć duży plik xml.
Wykonuje go przeważnie w paczkach po 5000 pozycji w pętli skrypt uruchamiam 5-6 razy. żeby cały plik przerobić. .

Obecnie robie to tak, że skrypt uruchamiam przez przeglądarkę z parametrem "odswiezaj": www.domena.pl/skrypt.php?odswiezaj=30

[PHP] pobierz, plaintext 
<html>
<head>
	<title>skrypt</title>
	<? if (!empty($_GET['odswiezaj'])) { ?>
	<meta http-equiv="refresh" content="<?=(int)$_GET['odswiezaj']?>">
	<? } ?>
 
</head>
<body>
 
  //tutaj jest cała operacja przetworzenia xml. 
 
  //zapisuje w bazie numer ostatniej operacji. 
  //przy nastepnym wywołaniu zaczynam od operacji np 5001 itd.
  //czyli przy tym następnym wywołaniu po prostu sprawdzam kolejne pozycje pętli $q++; i jezeli $q > $last_op czyli 5001 wtedy leci operacja zawarta w pętli
 
 
<body></html>
[PHP] pobierz, plaintext

I teraz pytanie. Wywołuje skrypt w CRON wtedy ta operacja odświeżania nie funkcjonuje.
Zamiast tego kolejne wywołanie zrobić za pomoca kolejnego wywołania crona czy na końcu wywołania przekierowanie header("Location: skrypt.php"); które wywołą jeszcze raz ten skrypt. ?

Jak wykonuje się takie operacje cykliczne na CRONIE niestety nie mam w tym doświadczenia. Problemem jest, że skrypt będzie się cały czas wykonywał, a potrzebuje raz na dwa dni max. Jednak wywołań będzie z 5-6 więc jedno uruchomienie skryptu raczej odpada.

vokiel

10.03.2020, 15:53:00

Jest dużo możliwych rozwiązań, np:
1. Uruchom w cron curl/wget tego skryptu przeglądarkowego.
2. Wyłącz limit pamięci i uruchom raz w cron.
3. Nie wczytuj całego pliku tylko obsługuj go strumieniowo (o ile struktura pozwala).
4. Uruchom w cron skrypt, wylicz ile jest iteracji do wykonania i ze skryptu głównego uruchamiaj wątki dla każdej iteracji.
5. Uruchamiaj skrypt w cronie co zadany czas, w skrypcie sprawdzaj czy jest aktualnie uruchomiony (jeśli tak to nie kontynuuj), na zakończenie zapisuj w którym momencie skrypt przestał przerabiać dane - przy kolejnym uruchomieniu wystartuj od tego momentu.

Pyton_000

11.03.2020, 22:11:02

Jak duży plik?

javafxdev

12.03.2020, 17:14:40

Wygląda na mały 5k*6 razy w pętli obrabiany

Pyton_000

12.03.2020, 20:48:26

To nie jest odpowiedź. bo 20 zpozycji może ważyć 10GB a 10000 pozycji 10MB więc ilośc pozycji to nie wyznacznik.

Powiem generalnie tak. Jeśli to ma być odpalane cyklicznie co jakiś czas i plik nie waży powiedzmy więcej niż 200MB to puściłbym to za jednym przebiegiem w cronie w nocy i sobie głowy nie zawracał. Pomieli 2h ale zrobi.

javafxdev

12.03.2020, 21:09:12

jakby dał ten plik do ściągnięcia to byśmy popatrzyli, a tak możemy sobie wróżyć.

LowiczakPL

16.03.2020, 15:39:46

Cytat(luis2luis @ 10.03.2020, 12:36:20 )

I teraz pytanie. Wywołuje skrypt w CRON wtedy ta operacja odświeżania nie funkcjonuje.

Wyrzuć z pliku kod HTML, zostaw tylko kod PHP odpowiedzialny za operacje na pliku XML

w CRON ustaw sobie 6 wywołań w odstępie 30 minut co 2 dni, od 00 do 6:00

Cytat

*/30 0-6 */2 * *

Inne parametru CRON jak nie masz doświadczenia ustawisz sobie raczej bez problemu tu https://crontab.guru/

To jest wersja lo-fi głównej zawartości. Aby zobaczyć pełną wersję z większą zawartością, obrazkami i formatowaniem proszę kliknij tutaj.