Witaj Gościu! ( Zaloguj | Rejestruj )

Forum PHP.pl

> [php][MySQL] Duże zadanie w CRONIE podzielone na cześci
luis2luis
post
Post #1





Grupa: Zarejestrowani
Postów: 190
Pomógł: 0
Dołączył: 25.11.2015

Ostrzeżenie: (0%)
-----

Potrzebuje przetworzyć duży plik xml.
Wykonuje go przeważnie w paczkach po 5000 pozycji w pętli skrypt uruchamiam 5-6 razy. żeby cały plik przerobić. .


Obecnie robie to tak, że skrypt uruchamiam przez przeglądarkę z parametrem "odswiezaj": www.domena.pl/skrypt.php?odswiezaj=30


[PHP] pobierz, plaintext 
  1. <html>
  2. <head>
  3. 	<title>skrypt</title>
  4. 	<? if (!empty($_GET['odswiezaj'])) { ?>
  5. 	<meta http-equiv="refresh" content="<?=(int)$_GET['odswiezaj']?>">
  6. 	<? } ?>
  7.  
  8. </head>
  9. <body>
  10.  
  11.   //tutaj jest cała operacja przetworzenia xml. 
  12.  
  13.   //zapisuje w bazie numer ostatniej operacji. 
  14.   //przy nastepnym wywołaniu zaczynam od operacji np 5001 itd.
  15.   //czyli przy tym następnym wywołaniu po prostu sprawdzam kolejne pozycje pętli $q++; i jezeli $q > $last_op czyli 5001 wtedy leci operacja zawarta w pętli
  16.  
  17.  
  18. <body></html>
[PHP] pobierz, plaintext


I teraz pytanie. Wywołuje skrypt w CRON wtedy ta operacja odświeżania nie funkcjonuje.
Zamiast tego kolejne wywołanie zrobić za pomoca kolejnego wywołania crona czy na końcu wywołania przekierowanie header("Location: skrypt.php"); które wywołą jeszcze raz ten skrypt. ?



Jak wykonuje się takie operacje cykliczne na CRONIE niestety nie mam w tym doświadczenia. Problemem jest, że skrypt będzie się cały czas wykonywał, a potrzebuje raz na dwa dni max. Jednak wywołań będzie z 5-6 więc jedno uruchomienie skryptu raczej odpada.

Ten post edytował luis2luis 10.03.2020, 13:47:48
Go to the top of the page
+Quote Post
 
 Start new topic
Odpowiedzi
vokiel
post
Post #2





Grupa: Zarejestrowani
Postów: 2 592
Pomógł: 445
Dołączył: 12.03.2007

Ostrzeżenie: (0%)
-----

Jest dużo możliwych rozwiązań, np:
1. Uruchom w cron curl/wget tego skryptu przeglądarkowego.
2. Wyłącz limit pamięci i uruchom raz w cron.
3. Nie wczytuj całego pliku tylko obsługuj go strumieniowo (o ile struktura pozwala).
4. Uruchom w cron skrypt, wylicz ile jest iteracji do wykonania i ze skryptu głównego uruchamiaj wątki dla każdej iteracji.
5. Uruchamiaj skrypt w cronie co zadany czas, w skrypcie sprawdzaj czy jest aktualnie uruchomiony (jeśli tak to nie kontynuuj), na zakończenie zapisuj w którym momencie skrypt przestał przerabiać dane - przy kolejnym uruchomieniu wystartuj od tego momentu.
Go to the top of the page
+Quote Post

Posty w temacie
- luis2luis   [php][MySQL] Duże zadanie w CRONIE podzielone na cześci   10.03.2020, 12:36:20
- - vokiel   Jest dużo możliwych rozwiązań, np: 1. Uruchom w cr...   10.03.2020, 15:53:00
- - Pyton_000   Jak duży plik?   11.03.2020, 22:11:02
- - javafxdev   Wygląda na mały 5k*6 razy w pętli obrabiany   12.03.2020, 17:14:40
- - Pyton_000   To nie jest odpowiedź. bo 20 zpozycji może ważyć 1...   12.03.2020, 20:48:26
- - javafxdev   jakby dał ten plik do ściągnięcia to byśmy popatrz...   12.03.2020, 21:09:12
- - LowiczakPL   Cytat(luis2luis @ 10.03.2020, 12:36:2...   16.03.2020, 15:39:46

« Następny starszy · PHP · Następny nowszy »
 

Reply to this topicStart new topic
2 Użytkowników czyta ten temat (2 Gości i 0 Anonimowych użytkowników)
0 Zarejestrowanych:

 

Tryb wyświetlania: Przełącz na: Standardowy · Przełącz na: Linearny+ · Drzewo

Śledź ten temat · Wyślij temat na e-mail · Wydrukuj ten temat · Subskrybuj to forum

RSS Aktualny czas: 28.12.2025 - 18:36
Powered By IP.Board © 2025  IPS, Inc.
All changes by PHP.pl Administrators
Hosting zapewnia NQ.pl hosting, trac, svn