Witaj Gościu! ( Zaloguj | Rejestruj )

Forum PHP.pl

 
Reply to this topicStart new topic
> [php][MySQL] Duże zadanie w CRONIE podzielone na cześci
luis2luis
post 10.03.2020, 12:36:20
Post #1





Grupa: Zarejestrowani
Postów: 131
Pomógł: 0
Dołączył: 25.11.2015

Ostrzeżenie: (0%)
-----


Potrzebuje przetworzyć duży plik xml.
Wykonuje go przeważnie w paczkach po 5000 pozycji w pętli skrypt uruchamiam 5-6 razy. żeby cały plik przerobić. .


Obecnie robie to tak, że skrypt uruchamiam przez przeglądarkę z parametrem "odswiezaj": www.domena.pl/skrypt.php?odswiezaj=30


  1. <html>
  2. <head>
  3. <title>skrypt</title>
  4. <? if (!empty($_GET['odswiezaj'])) { ?>
  5. <meta http-equiv="refresh" content="<?=(int)$_GET['odswiezaj']?>">
  6. <? } ?>
  7.  
  8. </head>
  9. <body>
  10.  
  11. //tutaj jest cała operacja przetworzenia xml.
  12.  
  13. //zapisuje w bazie numer ostatniej operacji.
  14. //przy nastepnym wywołaniu zaczynam od operacji np 5001 itd.
  15. //czyli przy tym następnym wywołaniu po prostu sprawdzam kolejne pozycje pętli $q++; i jezeli $q > $last_op czyli 5001 wtedy leci operacja zawarta w pętli
  16.  
  17.  
  18. <body></html>


I teraz pytanie. Wywołuje skrypt w CRON wtedy ta operacja odświeżania nie funkcjonuje.
Zamiast tego kolejne wywołanie zrobić za pomoca kolejnego wywołania crona czy na końcu wywołania przekierowanie header("Location: skrypt.php"); które wywołą jeszcze raz ten skrypt. ?



Jak wykonuje się takie operacje cykliczne na CRONIE niestety nie mam w tym doświadczenia. Problemem jest, że skrypt będzie się cały czas wykonywał, a potrzebuje raz na dwa dni max. Jednak wywołań będzie z 5-6 więc jedno uruchomienie skryptu raczej odpada.

Ten post edytował luis2luis 10.03.2020, 13:47:48
Go to the top of the page
+Quote Post
vokiel
post 10.03.2020, 15:53:00
Post #2





Grupa: Zarejestrowani
Postów: 2 484
Pomógł: 418
Dołączył: 12.03.2007

Ostrzeżenie: (0%)
-----


Jest dużo możliwych rozwiązań, np:
1. Uruchom w cron curl/wget tego skryptu przeglądarkowego.
2. Wyłącz limit pamięci i uruchom raz w cron.
3. Nie wczytuj całego pliku tylko obsługuj go strumieniowo (o ile struktura pozwala).
4. Uruchom w cron skrypt, wylicz ile jest iteracji do wykonania i ze skryptu głównego uruchamiaj wątki dla każdej iteracji.
5. Uruchamiaj skrypt w cronie co zadany czas, w skrypcie sprawdzaj czy jest aktualnie uruchomiony (jeśli tak to nie kontynuuj), na zakończenie zapisuj w którym momencie skrypt przestał przerabiać dane - przy kolejnym uruchomieniu wystartuj od tego momentu.


--------------------
Go to the top of the page
+Quote Post
Pyton_000
post 11.03.2020, 22:11:02
Post #3





Grupa: Zarejestrowani
Postów: 7 896
Pomógł: 1386
Dołączył: 26.10.2005

Ostrzeżenie: (0%)
-----


Jak duży plik?
Go to the top of the page
+Quote Post
javafxdev
post 12.03.2020, 17:14:40
Post #4





Grupa: Zarejestrowani
Postów: 90
Pomógł: 7
Dołączył: 27.10.2015

Ostrzeżenie: (0%)
-----


Wygląda na mały 5k*6 razy w pętli obrabiany
Go to the top of the page
+Quote Post
Pyton_000
post 12.03.2020, 20:48:26
Post #5





Grupa: Zarejestrowani
Postów: 7 896
Pomógł: 1386
Dołączył: 26.10.2005

Ostrzeżenie: (0%)
-----


To nie jest odpowiedź. bo 20 zpozycji może ważyć 10GB a 10000 pozycji 10MB więc ilośc pozycji to nie wyznacznik.

Powiem generalnie tak. Jeśli to ma być odpalane cyklicznie co jakiś czas i plik nie waży powiedzmy więcej niż 200MB to puściłbym to za jednym przebiegiem w cronie w nocy i sobie głowy nie zawracał. Pomieli 2h ale zrobi.
Go to the top of the page
+Quote Post
javafxdev
post 12.03.2020, 21:09:12
Post #6





Grupa: Zarejestrowani
Postów: 90
Pomógł: 7
Dołączył: 27.10.2015

Ostrzeżenie: (0%)
-----


jakby dał ten plik do ściągnięcia to byśmy popatrzyli, a tak możemy sobie wróżyć.
Go to the top of the page
+Quote Post
LowiczakPL
post 16.03.2020, 15:39:46
Post #7





Grupa: Zarejestrowani
Postów: 337
Pomógł: 25
Dołączył: 3.01.2016
Skąd: Łowicz

Ostrzeżenie: (0%)
-----


Cytat(luis2luis @ 10.03.2020, 12:36:20 ) *
I teraz pytanie. Wywołuje skrypt w CRON wtedy ta operacja odświeżania nie funkcjonuje.


Wyrzuć z pliku kod HTML, zostaw tylko kod PHP odpowiedzialny za operacje na pliku XML

w CRON ustaw sobie 6 wywołań w odstępie 30 minut co 2 dni, od 00 do 6:00

Cytat
*/30 0-6 */2 * *


Inne parametru CRON jak nie masz doświadczenia ustawisz sobie raczej bez problemu tu https://crontab.guru/

Ten post edytował LowiczakPL 16.03.2020, 15:41:29


--------------------
Szukam zleceń Symfony, Laravel, Back-End, Front-End, PHP, MySQL ...
Go to the top of the page
+Quote Post

Reply to this topicStart new topic
1 Użytkowników czyta ten temat (1 Gości i 0 Anonimowych użytkowników)
0 Zarejestrowanych:

 



RSS Wersja Lo-Fi Aktualny czas: 5.04.2020 - 01:49