[XML][MySQL][PHP] IMPORT z XML Opcje

[kl4mor]

Mam peweim problem z importem danych z xmla, tzn. przychodzi xml i jest zapisywany do tabeli tymczasowej tu prawie wszytsko jest ok, natomiast kiedy zaczynam przepisywac produkty do tabeli "produkcyjnej" juz tak kolorowo nie jest, wszytskich rekordow jest ok 7000 i nie wiem czy dany rekord jest juz w bazie czy nie, wszytsko ejst odpalane cronem co 10 min, ale pokolei

import do tabeli tymczasowej wyglada tak i on jest odpalany jako pierwszy:

[PHP] pobierz, plaintext 
$baza->query("INSERT INTO `xml_produkty` SET
				`IDXProduktu` 		= '".$v['IDXProduktu']."',				
				`IDKategorii` 		= (SELECT `IDKategorii` FROM `xml_kategorie` WHERE `IDXKategorii` = '".$v['IDXKategorii']."'),
				....
				`Akcja` 			= (SELECT COUNT(*) FROM `oferta_produkty` WHERE `IDXProduktu` = '".$v['IDXProduktu']."'),
				`PelnyOpis`			= '".$v['PelnyOpis']."'");
[PHP] pobierz, plaintext 

tu pojawia sie pierwszy poblem, pole akcja sluzy do wykrycia czy dany produktu jest juz w bazie i czasem mimo ze produkt jest w bazie zwroci 0, i duplikuje mi produkty;

nastepnie kopiowanie produktow podzielime na czesci po 2000 produktow kazda, i tu wydaje sie byc wszytsko ok, oprocz zduplikwoanych produktow

[PHP] pobierz, plaintext 
 
$res = $baza->query("SELECT * FROM `xml_produkty` LIMIT ".$set.",".$offset);
$QUERY = '';
			while($row = $res->fetch_assoc())
			{
 
                                if($row['Akcja'] == 0)
				{
					$baza->query("INSERT INTO `oferta_produkty` SET
						`IDXProduktu` 		= '".$row['IDXProduktu']."',								
						....
						`StatusProduktu` 	= '1',
						`Podatek` 			= '2',
						`Flag` 				= '1'
					");					
 
				}
				else 
				{
 
					$QUERY .= " UPDATE `oferta_produkty` SET `NazwaProduktu` = '".$row['NazwaProduktu']."', [...] `Flag` = '1' WHERE `IDXProduktu` = '".$row['IDXProduktu']."'; ";
 
				}					
			}		
 
 
			if( $QUERY != '')
			{
				$baza->multi_query($QUERY);
			}	
[PHP] pobierz, plaintext 

i na koniec leca ceny tez podzielone po 2000 rekordow, cala tablica cen jest czyszczona i uzupelniena od nowa

[PHP] pobierz, plaintext 
$res = $baza->query("SELECT * FROM `xml_ceny` LIMIT ".$set.",".$offset);
$QUERY = '';
			while($row = $res->fetch_assoc())
			{
				$QUERY .= "INSERT INTO `oferta_ceny` SET `IDProduktu` = (SELECT `IDProduktu` FROM `oferta_produkty` WHERE `IDXProduktu` = ".$row['IDXProduktu']."), `IDXProduktu` = '".$row['IDXProduktu']."', `Wartosc` = '".$row['Wartosc']."';";
 
			}
 
			if($QUERY != '')
			$baza->multi_query($QUERY);
[PHP] pobierz, plaintext 

i tu pojawia sie kolejny problem bo zdarza sie ze nie przepisze mi cen z osatnich rekordow;

[CuteOne]

Nadaj klucz odpowiednim kolumnom a unikniesz duplikatów np. dla tabeli xml_produkty nadaj klucz PRMIARY kolumnie IDXProduktu a podczas dodawania rekordu

[MYSQL] pobierz, plaintext 
51&q=INSERT&lr=lang_en">INSERT 51&q=IGNORE&lr=lang_en">IGNORE 51&q=INTO&lr=lang_en">INTO
[MYSQL] pobierz, plaintext 

oo fajny błąd wyświetla o.O

INSERT IGNORE INTO

dzięki czemu powielone rekordy zostaną zignorowane

Ten post edytował CuteOne 8.02.2013, 11:35:30

[kl4mor]

ale to zapytanie powinno zapowiebic duplikowaniu sie produktow

[PHP] pobierz, plaintext 
[...]
`Akcja` 			= (SELECT COUNT(*) FROM `oferta_produkty` WHERE `IDXProduktu` = '".$v['IDXProduktu']."'),
[PHP] pobierz, plaintext 

i to zawsze są to koncowe produkty ktore duplikuje


w tabeli `xml_produkty` wszytsko sie zgasza tu nie ma duplikatów, duplikaty pojawiają się w tabeli `oferta_produkty` a danie klucz PRMIARY dla kolumny IDXProduktu w tabeli oferta_produkty odpada bo wtedy nie bedzie mozna dodać produktu z poziomu strony, czy jest możliwe ze zapytanie które przekazuje do multi_query jest za długie ?

Ten post edytował kl4mor 11.02.2013, 08:39:47