Witaj Gościu! ( Zaloguj | Rejestruj )

Forum PHP.pl

> TIME OUT lub CPU LIMIT skryptu, aktualizacja stanów magazynowych prestashop
tom3k21
post
Post #1





Grupa: Zarejestrowani
Postów: 3
Pomógł: 0
Dołączył: 6.05.2014

Ostrzeżenie: (0%)
-----

Witam wszystkich (IMG:style_emoticons/default/smile.gif)
Mam nadzieje że jest ktoś w stanie mi pomóc rozwiązać problem ze skryptem do aktualizacji stanów magazynowych.
Otóż sklep stoi na home.pl i tutaj jest problem... (od administatorów jedyne czego się dowiedziałem to żeby przenieść na inny pakiet hostingowy (IMG:style_emoticons/default/tongue.gif) ot tak pomocni są)... a mianowicie mają ustawione limity CPU (ok rozumie) ale także max_execution_time na ok 5min którego zmienić nie można :/ ale do sedna...

Moje wypociny ponizej i jako że jestem laikiem w programowaniu to nie bardzo wiem jak go zoptymalizować lub podzielić na części aby wykonywały się jedna po drugiej (np podzielic plik xml i jeden po drugim parsowac, plik zawiera około 10 000 produktów ~10mb). 

[PHP] pobierz, plaintext 
  1. <?php
  2. set_time_limit(0); 
  3. //error_reporting(E_ALL);
  4. header('Content-type: text/html; charset=utf8');
  5. include 'import_config.php';
  6. include 'import_functions.php';	
  7. ?>
  8. <body>
  9.  
  10. <div id="information"></div>
  11.  
  12. <?php
  13.  
  14. $xmlfile = 'import/plik.xml';
  15.  
  16. if($xml = simplexml_load_file($xmlfile)){
  17. 	echo "<br>Załadowano poprawnie plik XML<br>";
  18. } else {
  19. 	echo "<br><span style='color:red'>Nie załadowano pliku XML, operacja została przerwana</span><br>";
  20. 	exit;
  21. }
  22.  
  23. $total = mysql_result(mysql_query('SELECT COUNT(id_product) FROM ps_product'), 0);
  24.  
  25. $row2 = $productid = $instock = array();
  26.  
  27. foreach($xml->offers->offer as $entry)
  28. {
  29. 	$productid[] = $entry->id;
  30. 	if(!empty($entry->instock)){
  31. 			$instock[] = $entry->instock;
  32. 		} else {
  33. 			$instock[] = '0';
  34. 		}
  35.  
  36. }
  37.  
  38. $query= mysql_query("SELECT `id_product`, `reference` FROM `ps_product`");
  39. $row = mysql_fetch_assoc($query);
  40. while($row = mysql_fetch_assoc($query)){
  41. 	$row2[] = $row;
  42. }
  43.  
  44. $niezmienione = $nieaktywne = $zaktualizowane = 0;
  45. for($i = 0; $i <= $total; $i++){
  46. 		$reference = $row2[$i]['reference'];
  47. 		$productid2 = array_search($reference, $productid);
  48. 		if(isset($reference) == $productid2){		
  49. 			$id_produktu =  mysql_result(mysql_query("SELECT id_product FROM ps_product WHERE reference = '".$reference."'"), 0);
  50. 			if(!empty($instock[$productid2])){$stock2 = $instock[$productid2];} else { $stock2 = 0; }
  51. 			@mysql_query("UPDATE ps_stock_available SET `quantity` = '".$stock2."'  WHERE `id_product` = '".$id_produktu."'");	
  52. 			if( $stock2 > 0){ $active = 1; } else { $active = 0; }
  53. 			@mysql_query("UPDATE ps_product_shop SET `active` = '".$active."'  WHERE `id_product` = '".$id_produktu."'");
  54. 			$zaktualizowane++;
  55. 			//echo $row2[$i]['reference']. ' znaleziony ze stanem magazynowym '. $stock2 .'<br>';
  56. 		} else {
  57. 			$instock2 = '0';
  58. 			if((int)$reference){
  59. 				@mysql_query("UPDATE ps_stock_available SET `quantity` = '".$instock2."'  WHERE `id_product` = '".$id_produktu."'");
  60. 				@mysql_query("UPDATE ps_product_shop SET `active` = '".$instock2."'  WHERE `id_product` = '".$id_produktu."'");
  61. 				$nieaktywne++;
  62. 				//echo $row2[$i]['reference']. ' <span style="color:red">nie znaleziony! Zmieniono stan magazynowy na '. $instock2 .'</span><br>';
  63. 			} else {
  64. 				$niezmienione++;
  65. 				//echo $row2[$i]['reference']. ' <span style="color:green">Stan nie zmieniony</span><br>';
  66. 			}
  67. 		}
  68. 		 echo '<script language="javascript">
  69. 		document.getElementById("information").innerHTML="'.$i.' / '.$total.'<br>Produkty zaktualizowane: '.$zaktualizowane.'<br>Produkty niezmienione: '.$niezmienione.'<br>Nieaktywne produkty: '.$nieaktywne.'";
  70. 		</script>';
  71. 		echo str_repeat(' ',1024*64);
  72. 		flush();
  73. }
  74. echo '<script language="javascript">document.getElementById("information").innerHTML="Aktualizacja zakonczona<br>Produkty zaktualizowane: '.$zaktualizowane.'<br>Produkty niezmienione: '.$niezmienione.'<br>Nieaktywne produkty: '.$nieaktywne.'"</script>';
  75.  
  76. mysql_close($con2);
  77. unlink($xmlfile);
  78. ?>
  79. </body>
[PHP] pobierz, plaintext


Fragment XML:
[XML] pobierz, plaintext 
  1. <?xml version="1.0" encoding="UTF-8"?><!DOCTYPE nokaut SYSTEM "http://www.nokaut.pl/integracja/nokaut.dtd">
  2. -<nokaut ver="7.2" generator="Comarch ERP e-Sklep">-<offers>-<offer><id>23270</id><name>PEDAŁY DO ROWERKA JD BUG TC04G czarne </name><description> PEDAŁY DO ROWERKA JD BUG TC04G czarne Zestaw do rowerków - mechanizm do rowerków biegowych. kompatybilny z modelami Nanny i Billy. </description><price>89.41</price><weight>1.000</weight><category>Dla dzieci / Sport dla dzieci / Rowery biegowe</category><producer>Smj</producer><property name="Dostępne kolory">Czarny</property><instock>3</instock></offer></offers></nokaut>
[XML] pobierz, plaintext


pokrótce:
skrypt pobiera xml przy pomocy simpleXML oraz laczy sie z baza danych gdzie wcześniej zostały zaimportowane produkty z numerem ID wpisanym do tabelki `reference` i jeśli produkt istnieje zarówno w DB jak i XML jego stan magazynowy zostaje uzupelniony odpowiednią liczbą, natomiast jeśli produkt znajduje się w bazie danych ale nie w XMLu to jego stan określa się jako 0. całość opiera się na metodzie array_search() czyli przeszukuje określonego wyrażenia w całej tablicy trzymającej numery ID produktów z XML'a. I pewnie dlatego nieraz otrzymuje komunikat CPU LIMIT jednak nie wymyśliłem jakiegoś innego sposobu aby to sprawdzać.

Za każdą sugestie podpowiedź, przykład, rzut okiem na kod będę bardzo wdzięczny (IMG:style_emoticons/default/smile.gif)
Go to the top of the page
+Quote Post
 
 Start new topic
Odpowiedzi
tom3k21
post
Post #2





Grupa: Zarejestrowani
Postów: 3
Pomógł: 0
Dołączył: 6.05.2014

Ostrzeżenie: (0%)
-----

+plusik dla każdego za dobre chęci i rady (IMG:style_emoticons/default/smile.gif)

Udało mi się to dopracowac (tak przynajmniej mysle) nie jest idealnie poniewaz wykorzystałem petelke for aby robiła się ograniczona ilosc produktów a nastepnie GETem pobierało na czym się zakończył poprzedni proces ale działa. Ale przez to za każdym nowym wywołaniem skryptu musi on tworzyć od nowa całą tablice z pliku xml i kontynuować od wyznaczonego miejsca (wykorzystałem XMLreader ale czy poprawnie?).

Jeszcze mam takie pytanie:
Czy jakbym chciał ten skrypt wrzucic do CRONa aby robił się automatycznie to nie bedzie problemu z takim przekazywaniem zmiennych GETem?
[PHP] pobierz, plaintext 
  1. print '<meta http-equiv="Refresh" content="0; url='.$_SERVER['PHP_SELF'].'?x='.($x+1).'&file='.$plik.'&updated='.$zaktualizowane.'&inactive='.$nieaktywne.'&dontexist='.$niezmienione.'">';
[PHP] pobierz, plaintext


jako że nigdy nie korzystałem z CRONa to niestety nie wiem i prosiłbym tylko o jeszcze taką drobną podpowiedz (IMG:style_emoticons/default/smile.gif)

Kodzik dla zainteresowanych:
[PHP] pobierz, plaintext 
  1. $plik = 'tmp_xml';
  2. if(isset($_GET['file'])){
  3. 	$xmlfile = 'import/'.$_GET['file'].'.xml';
  4. } else {
  5. 	$xmlfile = 'import/'.$plik.'.xml';
  6. 	$xmlurl = 'URL_DO_PLIKU';
  7.  
  8. 	$downxml = file_get_contents($xmlurl);
  9. 	file_put_contents($xmlfile, $downxml); 
  10. }
  11.  
  12. $total = mysql_result(mysql_query('SELECT COUNT(id_product) FROM ps_product'), 0);
  13.  
  14. $xml = new XMLReader();
  15. if($xml->open($xmlfile)){
  16. 	echo "<br>Załadowano poprawnie plik XML<br>";
  17. } else {
  18. 	echo "<br><span style='color:red'>Nie załadowano pliku XML, operacja została przerwana</span><br>";
  19. 	exit;
  20. }
  21. $productid = $instock = array();
  22. while ($xml->read() && $xml->name !== "offer");
  23. do {
  24. 	$node = new SimpleXMLElement($xml->readOuterXML());
  25. 	$productid[] = $node->id;
  26. 	if($node->instock){
  27. 		$instock[] = $node->instock;
  28. 	} else {
  29. 		$instock[] = '0';
  30. 	}
  31. } while ($xml->next('offer'));
  32.  
  33. $query= mysql_query("SELECT `id_product`, `reference` FROM `ps_product`");
  34. while($row = mysql_fetch_assoc($query)){
  35. 	$row2[] = $row;
  36. }
  37.  
  38.  
  39. if(isset($_GET['x']) && isset($_GET['updated']) && isset($_GET['inactive']) && isset($_GET['dontexist'])){
  40.     $x = $_GET['x'];
  41. 	$zaktualizowane = $_GET['updated'];
  42. 	$nieaktywne = $_GET['inactive'];
  43. 	$niezmienione = $_GET['dontexist'];
  44. } else {
  45.     $x = $niezmienione = $nieaktywne = $zaktualizowane = 0;
  46. }
  47. $limit = $x+1000;
  48. for($i = $x; $i <= $limit; $i++){
  49. 		$reference = $row2[$i]['reference'];
  50. 		$productid2 = array_search($reference, $productid);
  51. 		$id_produktu =  mysql_result(mysql_query("SELECT id_product FROM ps_product WHERE reference = '".$reference."'"), 0);
  52. 		if(false !== $productid2){		
  53. 			if(!empty($instock[$productid2])){$stock2 = $instock[$productid2];} else { $stock2 = 0; }
  54. 			@mysql_query("UPDATE ps_stock_available SET `quantity` = '".$stock2."'  WHERE `id_product` = '".$id_produktu."'");	
  55. 			if( $stock2 > 0){ $active = 1; } else { $active = 0; }
  56. 			@mysql_query("UPDATE ps_product_shop SET `active` = '".$active."'  WHERE `id_product` = '".$id_produktu."'");
  57. 			$zaktualizowane++;
  58. 			//echo $reference. ' znaleziony ze stanem magazynowym '. $stock2 .'<br>';
  59. 		} else {
  60. 			$instock2 = '0';
  61. 			if((int)$reference){
  62. 				@mysql_query("UPDATE ps_stock_available SET `quantity` = '".$instock2."'  WHERE `id_product` = '".$id_produktu."'");
  63. 				@mysql_query("UPDATE ps_product_shop SET `active` = '".$instock2."'  WHERE `id_product` = '".$id_produktu."'");
  64. 				$nieaktywne++;
  65. 				//echo $reference. ' <span style="color:red">nie znaleziony! Zmieniono stan magazynowy na '. $instock2 .'</span><br>';
  66. 			} else {
  67. 				$niezmienione++;
  68. 				//echo $reference. ' <span style="color:green">Stan nie zmieniony</span><br>';
  69. 			}
  70. 		}
  71.  
  72. 		echo '<script language="javascript">
  73. 		document.getElementById("information").innerHTML="'.$x.' / '.$total.'<br>Produkty zaktualizowane: '.$zaktualizowane.'<br>Produkty niezmienione: '.$niezmienione.'<br>Nieaktywne produkty: '.$nieaktywne.'";
  74. 		</script>';
  75. 		echo str_repeat(' ',1024*64);
  76. 		flush();
  77.  
  78. 		if($i==$total){
  79. 			echo '<script language="javascript">document.getElementById("information").innerHTML="Aktualizacja zakończona<br>Produkty zaktualizowane: '.$zaktualizowane.'<br>Produkty niezmienione: '.$niezmienione.'<br>Nieaktywne produkty: '.$nieaktywne.'"</script>';
  80. 			if(unlink($xmlfile)){
  81. 				echo "Usunięto plik XML";
  82. 			} else {
  83. 				echo "<span style='color:red'>Nie udało się usunąć pliku XML, usuń go samodzielnie: </span>". $xmlfile;
  84. 			}
  85. 			exit;
  86. 		} elseif($i==$limit){
  87. 			print '<meta http-equiv="Refresh" content="0; url='.$_SERVER['PHP_SELF'].'?x='.($x+1).'&file='.$plik.'&updated='.$zaktualizowane.'&inactive='.$nieaktywne.'&dontexist='.$niezmienione.'">';
  88. 			//print '<a href="'.$_SERVER['PHP_SELF'].'?x='.($x+1).'&file='.$plik.'&updated='.$zaktualizowane.'&inactive='.$nieaktywne.'&dontexist='.$niezmienione.'">Kontynuuj import od: .'$x'.</a>';
  89. 			exit;
  90. 		}
  91. 		$x++;
  92. }
[PHP] pobierz, plaintext


----- EDIT

Ok trochę poszperałem i już wiem że głupie pytanie zadałem bo przecież oczywiste ze meta i headers jest dla przegladarki i CRON to pominie :/
Jednak jakby ktoś mógł mi pokazać jak zamienić ten meta tag i GET na CURL byłbym ogromnie wdzięczny, ponieważ gdzieś wynalazłem iż tym da rade wykonać to co stworzyłem jako zadanie crona

Pozdrawiam

Ten post edytował tom3k21 7.05.2014, 11:07:14
Go to the top of the page
+Quote Post

Posty w temacie
- tom3k21   TIME OUT lub CPU LIMIT skryptu   6.05.2014, 15:26:32
- - sazian   nie pchaj całej bazy do zmiennych wrzuć sobie ws...   6.05.2014, 19:29:25
- - tom3k21   dzieki za rade jednak nie moge wykorzystac tej pet...   6.05.2014, 21:22:43
- - Pyton_000   zamiast simplexml_load_file który pakuje całego XM...   6.05.2014, 21:35:46
- - tom3k21   +plusik dla każdego za dobre chęci i rady Udało ...   7.05.2014, 09:13:07

« Następny starszy · PHP · Następny nowszy »
 

Reply to this topicStart new topic
1 Użytkowników czyta ten temat (1 Gości i 0 Anonimowych użytkowników)
0 Zarejestrowanych:

 

Tryb wyświetlania: Przełącz na: Standardowy · Przełącz na: Linearny+ · Drzewo

Śledź ten temat · Wyślij temat na e-mail · Wydrukuj ten temat · Subskrybuj to forum

RSS Aktualny czas: 10.10.2025 - 17:57
Powered By IP.Board © 2025  IPS, Inc.
All changes by PHP.pl Administrators
Hosting zapewnia NQ.pl hosting, trac, svn