[php/xml] Przszpieszenie kodu aktualizacji xml, Hurtownia azymut Opcje

[einter-project]

Witam

Napisałem integracje z azymut.pl, niestety sama aktualizacja cen trwa kilka godzin. Czy można jeszcze zoptymalizować kod aby aktualizacja trwała krócej?

Tabela z produktami ma 91 026 rekordów i waży 78,6 MB


Plik xml waży 4,9M i ma 76960 linii.

Struktura pliku:

<?xml version="1.0" encoding="ISO-8859-2"?>

<!DOCTYPE prices SYSTEM "http://services.azymut.pl/oferta/price.dtd">
<prices updated="2011-12-16 17:45:38">
<book indeks="00124700100KV" cena="15.41" vat="23" detal="24.61" />
<book indeks="00130100101KA" cena="10.06" vat="23" detal="16.49" />
<book indeks="00151500101KS" cena="8.25" vat="5" detal="11.55" />
<book indeks="00171000105KS" cena="30.8" vat="5" detal="42.0" />
<book indeks="00195900101KS" cena="9.75" vat="5" detal="13.65" />
<book indeks="00204500101KS" cena="15.0" vat="5" detal="21.0" />
<book indeks="00226800101KS" cena="9.75" vat="5" detal="13.65" />

.........


<book indeks="8DB70601415KS" cena="14.93" vat="5" detal="20.9" />
<book indeks="8DB70701415KS" cena="22.43" vat="5" detal="31.4" />
<book indeks="8DB70801415KS" cena="22.43" vat="5" detal="31.4" />
<book indeks="8DB70901415KS" cena="22.43" vat="5" detal="31.4" />
<book indeks="8DB73101415KS" cena="16.43" vat="5" detal="23.0" />
<book indeks="8DB73201415KS" cena="16.43" vat="5" detal="23.0" />
<book indeks="9PA00301415KS" cena="13.61" vat="5" detal="285.8" />
<book indeks="9PA00401415KS" cena="15.0" vat="5" detal="21.0" />
<book indeks="9PB00101415KS" cena="13.5" vat="5" detal="18.9" />
<book indeks="9PB00201415KS" cena="13.5" vat="5" detal="18.9" />
</prices>

Kod php do obsługi pliku:

[PHP] pobierz, plaintext 
<?php
$reader = new XMLReader();
$reader->open('ceny4.xml');
 
$counter = 0;
while($reader->read()) {
     if($reader->nodeType == XMLReader::ELEMENT && $reader->name == 'book') {
		 $indeks = $reader->getAttribute('indeks');
		 $vat = $reader->getAttribute('vat');
		 $detal = $reader->getAttribute('detal');
		 $kplD = $reader->getAttribute('kplD');
 
 
 
 
		 $mysql->exec("UPDATE `shop_product` SET `product_price_update`=now(), `product_price_netto`='".$detal."', `product_komplet`='".$kplD."', `product_vat`='".$vat."' 
	                   WHERE `product_number_catalog_producer`='".$indeks."'");
 
		 print $indeks.' - '.$vat.' - '.$detal.' - '.$kplD.'<br>';
 
         $counter++;
     }
}
$reader->close();
?>
[PHP] pobierz, plaintext 

Aktualizacja bazy oparta jest o klasę obsługującą PDO

Bardzo prosiłbym o uwagi.

// Edit
Puściłem aktualizacje o 2011-12-16 18:28:15 i do godziny 2011-12-16 19:23:01 zaktualizował 6 448.

Ten post edytował einter-project 16.12.2011, 19:49:28

[destroyerr]

Powinieneś zacząć od pomierzenia czasów, wtedy wiedziałbyś który kawałek kodu opóźnia cały skrypt, tak trzeba gdybać.
Winne mogą być indeksy na tabeli - rozwiązaniem może być ich wyłączenie na czas aktualizacji. Możesz też skorzystać z transakcji i aktualizować rekordy po kilka "w paczce", coś jak tutaj. W chwili obecnej aktualizujesz wszystkie rekordy, nawet te które się nie zmieniły.
Ostatnia możliwość, to przygotowanie pliku sql i wrzucenie go do bazy (np. przez konsolę).

[einter-project]

Pobawiłem się trochę skryptem i na pewno to wina PDO że tak wolno działa.

Mam teraz do was pytanie które zapytanie będzie bardziej wydajne, najmniej obciąży serwer i które byście zastosowali na takiej dużej bazie:
Opcja 1

[PHP] pobierz, plaintext 
<?php
 
$reader = new XMLReader();
$reader->open('ceny4.xml');
 
 
 
$connection = @mysql_connect(DB_SERVER, DB_SERVER_USERNAME, DB_SERVER_PASSWORD)
// w przypadku niepowodznie wyświetlamy komunikat
or die('Brak połączenia z serwerem MySQL.<br />Błąd: '.mysql_error());
 
// nawiązujemy połączenie z bazą danych
$db = @mysql_select_db(DB_DATABASE, $connection)
// w przypadku niepowodzenia wyświetlamy komunikat
or die('Nie mogę połączyć się z bazą danych<br />Błąd: '.mysql_error());
 
$counter = 0;
while($reader->read()) {
     if($reader->nodeType == XMLReader::ELEMENT && $reader->name == 'book') {
		 $indeks = $reader->getAttribute('indeks');
		 $vat = $reader->getAttribute('vat');
		 $detal = $reader->getAttribute('detal');
		 $kplD = $reader->getAttribute('kplD');
 
 
		 mysql_query("UPDATE `shop_product` SET `product_price_update`=now(), `product_price_netto`='".$detal."', `product_komplet`='".$kplD."', `product_vat`='".$vat."' 
	                   WHERE `product_number_catalog_producer`='".$indeks."'");
 
		 print $counter.' - '.$indeks.' - '.$vat.' - '.$detal.' - '.$kplD.'<br>';
 
         $counter++;
     }
}
$reader->close();
 
mysql_close($connection); 
 
?>
[PHP] pobierz, plaintext 

Opcja 2

[PHP] pobierz, plaintext 
 
$reader = new XMLReader();
$reader->open('ceny4.xml');
 
$counter = 0;
while($reader->read()) {
     if($reader->nodeType == XMLReader::ELEMENT && $reader->name == 'book') {
		 $indeks = $reader->getAttribute('indeks');
		 $vat = $reader->getAttribute('vat');
		 $detal = $reader->getAttribute('detal');
		 $kplD = $reader->getAttribute('kplD');
 
		 $connection = @mysql_connect(DB_SERVER, DB_SERVER_USERNAME, DB_SERVER_PASSWORD)
         // w przypadku niepowodznie wyświetlamy komunikat
         or die('Brak połączenia z serwerem MySQL.<br />Błąd: '.mysql_error());
 
         // nawiązujemy połączenie z bazą danych
         $db = @mysql_select_db(DB_DATABASE, $connection)
         // w przypadku niepowodzenia wyświetlamy komunikat
         or die('Nie mogę połączyć się z bazą danych<br />Błąd: '.mysql_error());
 
		 mysql_query("UPDATE `shop_product` SET `product_price_update`=now(), `product_price_netto`='".$detal."', `product_komplet`='".$kplD."', `product_vat`='".$vat."' 
	                   WHERE `product_number_catalog_producer`='".$indeks."'");
 
		 mysql_close($connection); 
 
		 print $counter.' - '.$indeks.' - '.$vat.' - '.$detal.' - '.$kplD.'<br>';
 
         $counter++;
     }
}
$reader->close();
[PHP] pobierz, plaintext 

[Crozin]

1. Jak już @destroyerr zauważył obejmij całość transakcją albo wyłącz indeksowanie na czas aktualizacji - w chwili obenej niepotrzebnie każdorazowo przebudowywany jest indeks.
2. Użyj PDO i prepared statements - nie ma potrzeby w kółko "przesyłać całego zapytania".

[einter-project]

Witam

Powróciłem dzisiaj do tematu:
Od Crozina dostałem taki oto kodzik:

[PHP] pobierz, plaintext 
$pdo = new PDO('mysql:host='.DB_SERVER.';dbname='.DB_DATABASE, DB_SERVER_USERNAME, DB_SERVER_PASSWORD, array(PDO::MYSQL_ATTR_INIT_COMMAND => "SET NAMES ".$conf->MyCharset));
$pdo->beginTransaction();
$stmt = $pdo->prepareStatement('UPDATE `shop_product` SET `product_price_update`=now(), 
                                                            `product_price_netto` = :price, 
												            `product_komplet` = :komplet,
												            `product_vat` = :vat
										              WHERE `product_number_catalog_producer` = :key');
 
 
[PHP] pobierz, plaintext 

I wyskakuje mi taki błąd:
Call to undefined method PDO::prepareStatement()

Czy można prosić o pomoc czy nazwa funkcji PDO jest prawidłowa?

Pozdrawiam

[nospor]

http://pl.php.net/manual/en/pdo.prepared-statements.php

[einter-project]

Dzięki nospor ale czytałem, z tym że od Crozina dostałem taki oto kodzik:

[PHP] pobierz, plaintext 
<php
$pdo = new PDO(...);
 
$pdo->beginTransaction();
$stmt = $pdo->prepareStatement('UPDATE ... SET ..., price  = :price, vat = :vat ... WHERE key = :key');
 
while (...) {
  ...
 
  $stmt->execute(array(
    'price' => $price,
    ...
    'key' => $key
  ));
}
 
$pdo->commit();
?>
 
[PHP] pobierz, plaintext 

Napisałem:

[PHP] pobierz, plaintext 
<?php
// Pobranie informacji o ostatniej aktualizacji cen
$DB->update = $mysql->recordOne("SELECT * FROM `".DB_PREFIX."azymut` WHERE `azymut_action`='update_price';");
 
$pdo = new PDO('mysql:host='.DB_SERVER.';dbname='.DB_DATABASE, DB_SERVER_USERNAME, DB_SERVER_PASSWORD, array(PDO::MYSQL_ATTR_INIT_COMMAND => "SET NAMES ".$conf->MyCharset));
$pdo->beginTransaction();
$stmt = $pdo->prepareStatement('UPDATE `shop_product` SET `product_price_update`=now(), 
                                                            `product_price_netto` = :price, 
												            `product_komplet` = :komplet,
												            `product_vat` = :vat
										              WHERE `product_number_catalog_producer` = :key');
 
$reader = new XMLReader();
$reader->open('../mysql/ceny4.xml');
 
$counter = 0;
while($reader->read()) {
     if($reader->nodeType == XMLReader::ELEMENT && $reader->name == 'book') {
		 $indeks = $reader->getAttribute('indeks');
		 $vat = $reader->getAttribute('vat');
		 $detal = $reader->getAttribute('detal');
		 $kplD = $reader->getAttribute('kplD');
 
		 $stmt->execute(array(
                'price' => $detal,
                'komplet' => $kplD,
                'vat' => $vat,
                'key' => $indeks));
     }
}	
$pdo->commit(); 
?>
[PHP] pobierz, plaintext 

Wydaje mi się że dobrze napiałem, według jego przykładu. Ewentualnie jeśli byś mógł napisać co jest nie tak, a nie linkować to byłbym wdzięczny.
Pozdrawiam

[nospor]

1) Nie widzę w tym temacie, byś od crozina dostawał jakikolwiek kod.
2) prepareStatement() - nie ma takiej funkcji

1+2 = ktoś tutaj klamie

Podałem ci linka do manuala, z którego jasno wynika że jest funkcja prepare(). Zamiast się więc upierać przy prepareStatement() to posłuchaj co ci mówi komunikat błędu połącz to zlinkiem co ci dałem i zrób prostą poprawkę.

[einter-project]

Nie rozumiem po co piszesz jak nie chcesz pomóc.
1) dostałem na pw, istnieje coś takiego na tym forum
2) wiem że nie ma takiej funkcji, dlatego piszę co jest nie tak

Chyba sobie poradziłem więc dzięki za wysiłek.

[nospor]

Nie rozumiem po co piszesz jak nie chcesz pomóc.

Dałem ci linka do rozwiązania. Nie moja wina, że nie umiesz połączyć dwóch prostych faktów ze sobą wiec nie pisz, że nie chcę pomoc.

wiem że nie ma takiej funkcji, dlatego piszę co jest nie tak

Dlatego podałem ci linka, który wyjaśnia co jest nie tak :/

edit: a z tym kłamaniem to nie napisałem o kogo mi chodzi Równie dobrze mogło mi chodzić o to, że crozin kłamał podając ci złą nazwę funkcji - choć w tym przypadku można raczej mówić o zwykłej pomyłce

Powód edycji: [nospor]: