MySQL UPDATE dużej ilości rekordow Opcje

[northwest]

Witam serdecznie,
Mam do zaktualizowania ok 70.000 rekordów - parę razy dziennie.
Mój aktualny skrypt wygląda następująco:

[PHP] pobierz, plaintext 
$pobrany_plik_csv = $www_plik;
		$url_pliku = 'http://'.$www_login.':'.$www_haslo.'@'.$www_domena_oraz_sciezka;
		$db->query("UPDATE cms_produkty SET ilosc = '0' WHERE ate <> '0';");
 
		file_put_contents($www_plik, fopen($url_pliku, 'r'));
		$e = null;
		$e2 = null;
		$licze  = 0;
		$plik = fopen($www_plik, "r");
		while( $wiersz = fgetcsv($plik, 4000, ",") )
			{
			if($wiersz['1'] !="0") {
				if($wiersz[1] == "") $wiersz[1] = 0;
 
				if($licze <= 5){
					$licze = $licze  + 1;
					$result = mysql_query(" UPDATE cms_produkty SET ilosc = '$wiersz[1]' WHERE ate = '$wiersz[0]'; ") or die('Query failed: ' . mysql_error());
				}
				if($licze == 5){
					$licze = 0;
					$e2 = null;
 
				}
 
				}	
			}
        ?>
[PHP] pobierz, plaintext 

Skrypt pobiera plik poprawnie z 2 serwera jednak wykonywanie jogo trwa ok 30 minut i kończy się komunikatem: Blad w polaczeniu z baza danych [Too many connections]

Wie ktoś może dlaczego?
Bardzo proszę o pomoc:)

[phpion]

Wrzucaj dane do tabeli tymczasowej bezpośrednio z CSV za pomocą LOAD DATA (błyskawiczna operacja). Następnie 1 zapytaniem aktualizuj w tabeli właściwej danymi z tabeli tymczasowej. Zużyjesz mniej pamięci, a i sama aktualizacja danych będzie przebiegała znacznie szybciej.

[northwest]

Dziękuję za odpowiedź (IMG:style_emoticons/default/smile.gif) mogę prosić jakiś przykład??(IMG:style_emoticons/default/smile.gif)

[phpion]

Przykład? LOAD DATA znajdziesz w manualu MySQL. Przerzucenie danych z tabeli do tabeli to:

[SQL] pobierz, plaintext 
INSERT INTO tabela1 (kolumna1, kolumna2) SELECT kolumna1, kolumna2 FROM tabela2
[SQL] pobierz, plaintext 

Pozostałe aspekty zależą od konkretnego przypadku.

[northwest]

dzięki za odpowiedź (IMG:style_emoticons/default/smile.gif)
Kombinuję zrobić tak jak piszesz, ale zwraca mi to too manyy connections (IMG:style_emoticons/default/sad.gif)
UPDATE cms_produkty SET ilosc = CASE ate WHEN 1000 THEN 58 ELSE ilosc END WHERE ate IN ( 1000);
próbuję takim poleceniem, jednak nie wyświetla mi błędu - a aktualizacji nie przeprowadza (IMG:style_emoticons/default/sad.gif)

Wiesz może dlaczego?

[Pyton_000]

jeżeli 'ate' unique to możesz użyć też składni

[SQL] pobierz, plaintext 
INSERT INTO ... ON DUPICATE KEY UPDATE
[SQL] pobierz, plaintext 

[northwest]

nie pomogło, kombinuję z czymś takim:

[PHP] pobierz, plaintext 
file_put_contents($www_plik, fopen($url_pliku, 'r'));
		$e = null;
		$e2 = null;
		$licze  = 0;
		$plik = fopen($www_plik, "r");
		while( $wiersz = fgetcsv($plik, 4000, ",") )
			{
			if($wiersz['1'] !="0") {
				if($wiersz[1] == "") $wiersz[1] = 0;
				mysql_query(" INSERT INTO  cms_temer (nazwa, ilosc) VALUES ($wiersz[0], $wiersz[1]); ") or die('Query failed: ' . mysql_error());
				}
				}	
 
 
			$update1 = null;
			$update2 = null;
			$update3 = null;
			$iillee = 0;
			$wynik = mysql_query(" SELECT * FROM cms_temer  ;") or die('Query failed: ' . mysql_error());
			while($rek = mysql_fetch_array($wynik)) { 
				if($iillee < 200) {
					$update .= " UPDATE cms_produkty SET ilosc = '$rek[ilosc]' WHERE ate = '$rek[nazwa]'; ";
					$update1 .=  "  WHEN $rek[nazwa] THEN '$rek[ilosc]' ";
					$update2 .= " $rek[nazwa],  ";
					$update3 .= 
					$iillee = $iillee + 1;
				}
				if($iillee == 200){
				$update2 = substr($update2, 0, -3);
					$qqqqqq =  "UPDATE cms_produkty SET ilosc = CASE ate
						 $update1
						 ELSE ilosc END
						WHERE ate IN ($update2);
					";
					mysql_query($qqqqqq);
					$update1 = null;
					$update2 = null;
					$update3 = null;
					$iillee = 0;
				}
			}
[PHP] pobierz, plaintext 

ale też nie wchodzi (IMG:style_emoticons/default/sad.gif) firma hostingowa mówi że mam za dużo zapytań do bazy danych i stąd problem.... :/
Macie może jakiś pomysł na optymalizację tego??(IMG:style_emoticons/default/sad.gif)

Ten post edytował northwest 17.12.2013, 22:26:39

[Pyton_000]

pokaż dump struktury bazy

[phpion]

ale też nie wchodzi (IMG:style_emoticons/default/sad.gif) firma hostingowa mówi że mam za dużo zapytań do bazy danych i stąd problem.... :/
Macie może jakiś pomysł na optymalizację tego??(IMG:style_emoticons/default/sad.gif)

Przecież Ci napisałem: całość zamkniesz w kilku zapytaniach. We wklejonym kodzie nie widzę byś kombinował z LOAD DATA o czym Ci pisałem. Nadal walisz zapytania w pętli to się nie dziw, że Ci się wykrzacza przy dużej liczbie danych.

Swoją drogą: "Too many connections" dotyczy przekroczonej liczby połączeń z bazą danych, a nie wykonywanych zapytań.