Witaj Gościu! ( Zaloguj | Rejestruj )

Forum PHP.pl

> TIME OUT lub CPU LIMIT skryptu, aktualizacja stanów magazynowych prestashop
tom3k21
post
Post #1





Grupa: Zarejestrowani
Postów: 3
Pomógł: 0
Dołączył: 6.05.2014

Ostrzeżenie: (0%)
-----

Witam wszystkich smile.gif
Mam nadzieje że jest ktoś w stanie mi pomóc rozwiązać problem ze skryptem do aktualizacji stanów magazynowych.
Otóż sklep stoi na home.pl i tutaj jest problem... (od administatorów jedyne czego się dowiedziałem to żeby przenieść na inny pakiet hostingowy tongue.gif ot tak pomocni są)... a mianowicie mają ustawione limity CPU (ok rozumie) ale także max_execution_time na ok 5min którego zmienić nie można :/ ale do sedna...

Moje wypociny ponizej i jako że jestem laikiem w programowaniu to nie bardzo wiem jak go zoptymalizować lub podzielić na części aby wykonywały się jedna po drugiej (np podzielic plik xml i jeden po drugim parsowac, plik zawiera około 10 000 produktów ~10mb). 

[PHP] pobierz, plaintext 
  1. <?php
  2. set_time_limit(0); 
  3. //error_reporting(E_ALL);
  4. header('Content-type: text/html; charset=utf8');
  5. include 'import_config.php';
  6. include 'import_functions.php';	
  7. ?>
  8. <body>
  9.  
  10. <div id="information"></div>
  11.  
  12. <?php
  13.  
  14. $xmlfile = 'import/plik.xml';
  15.  
  16. if($xml = simplexml_load_file($xmlfile)){
  17. 	echo "<br>Załadowano poprawnie plik XML<br>";
  18. } else {
  19. 	echo "<br><span style='color:red'>Nie załadowano pliku XML, operacja została przerwana</span><br>";
  20. 	exit;
  21. }
  22.  
  23. $total = mysql_result(mysql_query('SELECT COUNT(id_product) FROM ps_product'), 0);
  24.  
  25. $row2 = $productid = $instock = array();
  26.  
  27. foreach($xml->offers->offer as $entry)
  28. {
  29. 	$productid[] = $entry->id;
  30. 	if(!empty($entry->instock)){
  31. 			$instock[] = $entry->instock;
  32. 		} else {
  33. 			$instock[] = '0';
  34. 		}
  35.  
  36. }
  37.  
  38. $query= mysql_query("SELECT `id_product`, `reference` FROM `ps_product`");
  39. $row = mysql_fetch_assoc($query);
  40. while($row = mysql_fetch_assoc($query)){
  41. 	$row2[] = $row;
  42. }
  43.  
  44. $niezmienione = $nieaktywne = $zaktualizowane = 0;
  45. for($i = 0; $i <= $total; $i++){
  46. 		$reference = $row2[$i]['reference'];
  47. 		$productid2 = array_search($reference, $productid);
  48. 		if(isset($reference) == $productid2){		
  49. 			$id_produktu =  mysql_result(mysql_query("SELECT id_product FROM ps_product WHERE reference = '".$reference."'"), 0);
  50. 			if(!empty($instock[$productid2])){$stock2 = $instock[$productid2];} else { $stock2 = 0; }
  51. 			@mysql_query("UPDATE ps_stock_available SET `quantity` = '".$stock2."'  WHERE `id_product` = '".$id_produktu."'");	
  52. 			if( $stock2 > 0){ $active = 1; } else { $active = 0; }
  53. 			@mysql_query("UPDATE ps_product_shop SET `active` = '".$active."'  WHERE `id_product` = '".$id_produktu."'");
  54. 			$zaktualizowane++;
  55. 			//echo $row2[$i]['reference']. ' znaleziony ze stanem magazynowym '. $stock2 .'<br>';
  56. 		} else {
  57. 			$instock2 = '0';
  58. 			if((int)$reference){
  59. 				@mysql_query("UPDATE ps_stock_available SET `quantity` = '".$instock2."'  WHERE `id_product` = '".$id_produktu."'");
  60. 				@mysql_query("UPDATE ps_product_shop SET `active` = '".$instock2."'  WHERE `id_product` = '".$id_produktu."'");
  61. 				$nieaktywne++;
  62. 				//echo $row2[$i]['reference']. ' <span style="color:red">nie znaleziony! Zmieniono stan magazynowy na '. $instock2 .'</span><br>';
  63. 			} else {
  64. 				$niezmienione++;
  65. 				//echo $row2[$i]['reference']. ' <span style="color:green">Stan nie zmieniony</span><br>';
  66. 			}
  67. 		}
  68. 		 echo '<script language="javascript">
  69. 		document.getElementById("information").innerHTML="'.$i.' / '.$total.'<br>Produkty zaktualizowane: '.$zaktualizowane.'<br>Produkty niezmienione: '.$niezmienione.'<br>Nieaktywne produkty: '.$nieaktywne.'";
  70. 		</script>';
  71. 		echo str_repeat(' ',1024*64);
  72. 		flush();
  73. }
  74. echo '<script language="javascript">document.getElementById("information").innerHTML="Aktualizacja zakonczona<br>Produkty zaktualizowane: '.$zaktualizowane.'<br>Produkty niezmienione: '.$niezmienione.'<br>Nieaktywne produkty: '.$nieaktywne.'"</script>';
  75.  
  76. mysql_close($con2);
  77. unlink($xmlfile);
  78. ?>
  79. </body>
[PHP] pobierz, plaintext


Fragment XML:
[XML] pobierz, plaintext 
  1. <?xml version="1.0" encoding="UTF-8"?><!DOCTYPE nokaut SYSTEM "http://www.nokaut.pl/integracja/nokaut.dtd">
  2. -<nokaut ver="7.2" generator="Comarch ERP e-Sklep">-<offers>-<offer><id>23270</id><name>PEDAŁY DO ROWERKA JD BUG TC04G czarne </name><description> PEDAŁY DO ROWERKA JD BUG TC04G czarne Zestaw do rowerków - mechanizm do rowerków biegowych. kompatybilny z modelami Nanny i Billy. </description><price>89.41</price><weight>1.000</weight><category>Dla dzieci / Sport dla dzieci / Rowery biegowe</category><producer>Smj</producer><property name="Dostępne kolory">Czarny</property><instock>3</instock></offer></offers></nokaut>
[XML] pobierz, plaintext


pokrótce:
skrypt pobiera xml przy pomocy simpleXML oraz laczy sie z baza danych gdzie wcześniej zostały zaimportowane produkty z numerem ID wpisanym do tabelki `reference` i jeśli produkt istnieje zarówno w DB jak i XML jego stan magazynowy zostaje uzupelniony odpowiednią liczbą, natomiast jeśli produkt znajduje się w bazie danych ale nie w XMLu to jego stan określa się jako 0. całość opiera się na metodzie array_search() czyli przeszukuje określonego wyrażenia w całej tablicy trzymającej numery ID produktów z XML'a. I pewnie dlatego nieraz otrzymuje komunikat CPU LIMIT jednak nie wymyśliłem jakiegoś innego sposobu aby to sprawdzać.

Za każdą sugestie podpowiedź, przykład, rzut okiem na kod będę bardzo wdzięczny smile.gif
Go to the top of the page
+Quote Post
 
 Start new topic
Odpowiedzi (1 - 4)
sazian
post
Post #2





Grupa: Zarejestrowani
Postów: 1 045
Pomógł: 141
Dołączył: 19.09.2006
Skąd: B-tów

Ostrzeżenie: (0%)
-----

nie pchaj całej bazy do zmiennych

wrzuć sobie wszystko w tą pętle z linii 27

czyli w w uproszczeniu 
[PHP] pobierz, plaintext 
  1. $i=0;
  2. $j=0;
  3. foreach($xml->offers->offer as $entry)
  4. {
  5.      mysql_query("UPDATE ps_stock_available SET `quantity` = '".((int)$entry->instock)."'  WHERE `id_product` in ("SELECT id_product FROM ps_product WHERE reference = '".$entry->id."'")");
  6. $j+=mysql_affected_rows();
  7. $i++;
  8.  
  9. }
  10. echo 'wiersze:'.$i.' zmieniono: '.$j;
  11.  
[PHP] pobierz, plaintext


pisane z palca i nie analizowałem dokładnie twojego kodu więc mogą być błędy

----
edit:
co to za potworek if(isset($reference) == $productid2)

isset daje w wyniku boolean, a $productid2 zawiera int więc takie porównanie większego sensu niema

Ten post edytował sazian 6.05.2014, 19:32:23
Go to the top of the page
+Quote Post
tom3k21
post
Post #3





Grupa: Zarejestrowani
Postów: 3
Pomógł: 0
Dołączył: 6.05.2014

Ostrzeżenie: (0%)
-----

dzieki za rade jednak nie moge wykorzystac tej petelki poniewaz plik xml nie zawiera wszystkich importowanych produktów (w pliku xml hurtowni jeśli produkt jest niedostepny (0 stan) jest usuwany), dlatego muszę dokonac sprawdzenia na podstawie numerów ID (tabela: reference) już zapisanych w bazie danych.
Na razie rozwiazałem to właśnie przy pomocy array_search() dzięki której wyszukuje czy dany numer ID produktu jest w pliku XML (tablica utworzona w petli linia 27) i bazie danych

ten 'potworek' tworzący warunek choc sensu nie ma dzięki niemu jakoś to działa wmiarę poprawnie smile.gif

może masz jakiś pomysł jak ominąć tworzenie tablicy z pliku xml i dopiero w petli while dokonac sprawdzenia czy dany numer ID istnieje właśnie w pliku xml pomijając array_serach()?
Go to the top of the page
+Quote Post
Pyton_000
post
Post #4





Grupa: Zarejestrowani
Postów: 8 068
Pomógł: 1414
Dołączył: 26.10.2005

Ostrzeżenie: (0%)
-----

zamiast simplexml_load_file który pakuje całego XML do pamięci zainteresuj sie XMLRead który czyta strumieniowo, dzięki temu zaoszczędzisz masę pamięci.

Kolejnym krokiem może być (o ile często robisz importy stanów) dodanie kolumny flagi. Podczas rozpoczęcia importu ustawiasz flagi na 0 dla wszystkich.
Potem przy aktualizacji konkretnego stanu w bazie z XML zmieniasz stan flagi na 1
A na koniec dla każdego prod gdzie flaga === 0 robisz stock na 0
[PHP] pobierz, plaintext 
  1. if(isset($reference) == $productid2)
[PHP] pobierz, plaintext

wystarczy 
[PHP] pobierz, plaintext 
  1. if(false !== $productid2)
[PHP] pobierz, plaintext
Go to the top of the page
+Quote Post
tom3k21
post
Post #5





Grupa: Zarejestrowani
Postów: 3
Pomógł: 0
Dołączył: 6.05.2014

Ostrzeżenie: (0%)
-----

+plusik dla każdego za dobre chęci i rady smile.gif

Udało mi się to dopracowac (tak przynajmniej mysle) nie jest idealnie poniewaz wykorzystałem petelke for aby robiła się ograniczona ilosc produktów a nastepnie GETem pobierało na czym się zakończył poprzedni proces ale działa. Ale przez to za każdym nowym wywołaniem skryptu musi on tworzyć od nowa całą tablice z pliku xml i kontynuować od wyznaczonego miejsca (wykorzystałem XMLreader ale czy poprawnie?).

Jeszcze mam takie pytanie:
Czy jakbym chciał ten skrypt wrzucic do CRONa aby robił się automatycznie to nie bedzie problemu z takim przekazywaniem zmiennych GETem?
[PHP] pobierz, plaintext 
  1. print '<meta http-equiv="Refresh" content="0; url='.$_SERVER['PHP_SELF'].'?x='.($x+1).'&file='.$plik.'&updated='.$zaktualizowane.'&inactive='.$nieaktywne.'&dontexist='.$niezmienione.'">';
[PHP] pobierz, plaintext


jako że nigdy nie korzystałem z CRONa to niestety nie wiem i prosiłbym tylko o jeszcze taką drobną podpowiedz smile.gif

Kodzik dla zainteresowanych:
[PHP] pobierz, plaintext 
  1. $plik = 'tmp_xml';
  2. if(isset($_GET['file'])){
  3. 	$xmlfile = 'import/'.$_GET['file'].'.xml';
  4. } else {
  5. 	$xmlfile = 'import/'.$plik.'.xml';
  6. 	$xmlurl = 'URL_DO_PLIKU';
  7.  
  8. 	$downxml = file_get_contents($xmlurl);
  9. 	file_put_contents($xmlfile, $downxml); 
  10. }
  11.  
  12. $total = mysql_result(mysql_query('SELECT COUNT(id_product) FROM ps_product'), 0);
  13.  
  14. $xml = new XMLReader();
  15. if($xml->open($xmlfile)){
  16. 	echo "<br>Załadowano poprawnie plik XML<br>";
  17. } else {
  18. 	echo "<br><span style='color:red'>Nie załadowano pliku XML, operacja została przerwana</span><br>";
  19. 	exit;
  20. }
  21. $productid = $instock = array();
  22. while ($xml->read() && $xml->name !== "offer");
  23. do {
  24. 	$node = new SimpleXMLElement($xml->readOuterXML());
  25. 	$productid[] = $node->id;
  26. 	if($node->instock){
  27. 		$instock[] = $node->instock;
  28. 	} else {
  29. 		$instock[] = '0';
  30. 	}
  31. } while ($xml->next('offer'));
  32.  
  33. $query= mysql_query("SELECT `id_product`, `reference` FROM `ps_product`");
  34. while($row = mysql_fetch_assoc($query)){
  35. 	$row2[] = $row;
  36. }
  37.  
  38.  
  39. if(isset($_GET['x']) && isset($_GET['updated']) && isset($_GET['inactive']) && isset($_GET['dontexist'])){
  40.     $x = $_GET['x'];
  41. 	$zaktualizowane = $_GET['updated'];
  42. 	$nieaktywne = $_GET['inactive'];
  43. 	$niezmienione = $_GET['dontexist'];
  44. } else {
  45.     $x = $niezmienione = $nieaktywne = $zaktualizowane = 0;
  46. }
  47. $limit = $x+1000;
  48. for($i = $x; $i <= $limit; $i++){
  49. 		$reference = $row2[$i]['reference'];
  50. 		$productid2 = array_search($reference, $productid);
  51. 		$id_produktu =  mysql_result(mysql_query("SELECT id_product FROM ps_product WHERE reference = '".$reference."'"), 0);
  52. 		if(false !== $productid2){		
  53. 			if(!empty($instock[$productid2])){$stock2 = $instock[$productid2];} else { $stock2 = 0; }
  54. 			@mysql_query("UPDATE ps_stock_available SET `quantity` = '".$stock2."'  WHERE `id_product` = '".$id_produktu."'");	
  55. 			if( $stock2 > 0){ $active = 1; } else { $active = 0; }
  56. 			@mysql_query("UPDATE ps_product_shop SET `active` = '".$active."'  WHERE `id_product` = '".$id_produktu."'");
  57. 			$zaktualizowane++;
  58. 			//echo $reference. ' znaleziony ze stanem magazynowym '. $stock2 .'<br>';
  59. 		} else {
  60. 			$instock2 = '0';
  61. 			if((int)$reference){
  62. 				@mysql_query("UPDATE ps_stock_available SET `quantity` = '".$instock2."'  WHERE `id_product` = '".$id_produktu."'");
  63. 				@mysql_query("UPDATE ps_product_shop SET `active` = '".$instock2."'  WHERE `id_product` = '".$id_produktu."'");
  64. 				$nieaktywne++;
  65. 				//echo $reference. ' <span style="color:red">nie znaleziony! Zmieniono stan magazynowy na '. $instock2 .'</span><br>';
  66. 			} else {
  67. 				$niezmienione++;
  68. 				//echo $reference. ' <span style="color:green">Stan nie zmieniony</span><br>';
  69. 			}
  70. 		}
  71.  
  72. 		echo '<script language="javascript">
  73. 		document.getElementById("information").innerHTML="'.$x.' / '.$total.'<br>Produkty zaktualizowane: '.$zaktualizowane.'<br>Produkty niezmienione: '.$niezmienione.'<br>Nieaktywne produkty: '.$nieaktywne.'";
  74. 		</script>';
  75. 		echo str_repeat(' ',1024*64);
  76. 		flush();
  77.  
  78. 		if($i==$total){
  79. 			echo '<script language="javascript">document.getElementById("information").innerHTML="Aktualizacja zakończona<br>Produkty zaktualizowane: '.$zaktualizowane.'<br>Produkty niezmienione: '.$niezmienione.'<br>Nieaktywne produkty: '.$nieaktywne.'"</script>';
  80. 			if(unlink($xmlfile)){
  81. 				echo "Usunięto plik XML";
  82. 			} else {
  83. 				echo "<span style='color:red'>Nie udało się usunąć pliku XML, usuń go samodzielnie: </span>". $xmlfile;
  84. 			}
  85. 			exit;
  86. 		} elseif($i==$limit){
  87. 			print '<meta http-equiv="Refresh" content="0; url='.$_SERVER['PHP_SELF'].'?x='.($x+1).'&file='.$plik.'&updated='.$zaktualizowane.'&inactive='.$nieaktywne.'&dontexist='.$niezmienione.'">';
  88. 			//print '<a href="'.$_SERVER['PHP_SELF'].'?x='.($x+1).'&file='.$plik.'&updated='.$zaktualizowane.'&inactive='.$nieaktywne.'&dontexist='.$niezmienione.'">Kontynuuj import od: .'$x'.</a>';
  89. 			exit;
  90. 		}
  91. 		$x++;
  92. }
[PHP] pobierz, plaintext


----- EDIT

Ok trochę poszperałem i już wiem że głupie pytanie zadałem bo przecież oczywiste ze meta i headers jest dla przegladarki i CRON to pominie :/
Jednak jakby ktoś mógł mi pokazać jak zamienić ten meta tag i GET na CURL byłbym ogromnie wdzięczny, ponieważ gdzieś wynalazłem iż tym da rade wykonać to co stworzyłem jako zadanie crona

Pozdrawiam

Ten post edytował tom3k21 7.05.2014, 11:07:14
Go to the top of the page
+Quote Post
« Następny starszy · PHP · Następny nowszy »
 

Reply to this topicStart new topic
1 Użytkowników czyta ten temat (1 Gości i 0 Anonimowych użytkowników)
0 Zarejestrowanych:

 

Tryb wyświetlania: Przełącz na: Standardowy · Linearny+ · Przełącz na: Drzewo

Śledź ten temat · Wyślij temat na e-mail · Wydrukuj ten temat · Subskrybuj to forum

RSS Aktualny czas: 19.08.2025 - 08:56
Powered By IP.Board © 2025  IPS, Inc.
All changes by PHP.pl Administrators
Hosting zapewnia NQ.pl hosting, trac, svn