[php][mysql] Problem - Rozwiązany, Skrypt wywala sie po 3700 rekordach. Opcje

[lunlog]

Witam, mam mały problem dot. wstawiania danych do bazy (1M wierszy), klient którego używam jest w wersji 3.23.39. Dane generuje lokalnie za pomoca skryptu php:

[PHP] pobierz, plaintext 
<?php
 
//czesc generujaca wspolrzedne, najpierw "x" potem "y" na koncu "z".
 
include ('1.php');	// connection script include
 
$limit = 100;
 
for( $pozz = 1; $pozz <= $limit; $pozz++ )
for( $pozy = 1; $pozy <= $limit; $pozy++ )
for( $pozx = 1; $pozx <= $limit; $pozx++ ){
 
//$wl -zmienna okreslajaca roznorodnosc asteroid
 
$wl=rand(1,1000);
unset($name, $minerals1, $minerals2);
 
//czesc generujaca rozne typy asteroid oraz wielkosci mineralow w zaleznosci od ro
zmiaru
 
if($wl>900) {
   $size=rand (227,255);
   $minerals1=rand (58300,65500);
   $minerals2=rand (58300,65500); }
else if($wl>800) {
   $size=rand (199,226);
   $minerals1=rand (51100,58299);
   $minerals2=rand (51100,58299); }
else if($wl>700) {
   $size=rand (171,198);
   $minerals1=rand (43900,51099);
   $minerals2=rand (43900,51099); }
else if($wl>600) {
   $size=rand (143,170);
   $minerals1=rand (36700,43899);
   $minerals2=rand (36700,43899); }
else if($wl>500) {
   $size=rand (115,142);
   $minerals1=rand (29500,36699);
   $minerals2=rand (29500,36699); }
else if($wl>400) {
   $size=rand (87,114);
   $minerals1=rand (22300,29499);
   $minerals2=rand (22300,29499); }
else if($wl>300) {
   $size=rand (59,86);
   $minerals1=rand (15100,22299);
   $minerals2=rand (15100,22299); }
else if($wl>200) {
   $size=rand (31,58);
   $minerals1=rand (7900,15099);
   $minerals2=rand (7900,15099); }
else if($wl>100) {
   $size=rand (3,30);
   $minerals1=rand (700,7899);
   $minerals2=rand (700,7899); }
else{
  $size=NULL;
  $minerals1=NULL;
  $minerals2=NULL; 
   }
 
// generacja nazwy
if ($wl>100) {
$ile = rand(3,5); //ile literek w nazwie
$sam = array('a', 'u', 'e', 'i', 'o'); //samogloski
$spo = array('b', 'c', 'd', 'f', 'g', 'h', 'j', 'k', 'l', 'm', 'n', 'p', 'r', 's', 't', 'w', 'x', 'y', 'z', 'q');  //spolgloski
$name = "";
 
for($i = 0; $i < $ile; $i++) 
 
{ 
  if($i % 2 == 1) 
   {
	if($i == 0)
		 {
		 $name .= strtoupper($sam[rand(0, count($sam)-1)]);
		 }	 
	else
		 {
		  $name .= $sam[rand(0, count($sam)-1)];
		  }
	} 
else 
   {
   if($i == 0)
		 {
		  $name .= strtoupper($spo[rand(0, count($spo)-1)]);
		  }
   else
		 {
		  $name .= $spo[rand(0, count($spo)-1)];
		  }
	}}}
 
// koniec generowania nazwy
 
 
 
// $name $size $minerals1 $minerals2 $pozx $pozy $pozz -zmienne umieszczane w bazie danych
 
 
	$insert = "INSERT INTO tab_ast (name, pozx, pozy, pozz, size, min1, min2) VALUES ('$name', '$pozx', '$pozy', '$pozz', '$size', '$minerals1', '$minerals2')";
	query($insert);
 
/*wyjscie - opcjonalnie
 
echo "Poz X =$pozx , Poz Y =$pozy , Poz Z = $pozz <br>";
echo "Rozmiar Asteroidy to $size , nazwa: $name <br><br>";
*/
 
}
 
?>
[PHP] pobierz, plaintext 

Lecz tutaj pojawia się problem. Skrypt wstawia maksymalnie 100 wierszy, po czym przestaje odpowiadać. Przypuszczam że problem lezy w delay_key_writes którego bufor zapycha się pod nawałem informacji ze skryptu php (10k wieszy generuje się w około 35 sekund). Jak mogę tą funkcję wyłączyć lub też jakie moga byc inne przyczyny takiego zachowania się bazy mysql ? Może mam coś nie tak ze skryptem ?

Ten post edytował lunlog 21.04.2006, 08:37:45

[spenalzo]

set_time_limit" title="Zobacz w manualu php" target="_manual

[lunlog]

Skrypt nie wywala sie z powodu timeout. Moge go uruchomic nawet na sekunde a i tak wstawi tylko 100 rekordow do bazy. Moge go rowniez uruchomic na godzine 3600 sekund a i tak wstawi tylko 100 rekordow. Wiec timeout odpada...

[spenalzo]

mysql_error" title="Zobacz w manualu php" target="_manual
Może mysql gdzies sie wysypuje?

[lunlog]

Mozliwe, ale zeby za kazdym razem wstawial nie wiecej, nie mniej tylko 100 rekordow ? To bardziej podpada pod jakis blad w ustawieniach zmiennych servera mysql, a jedyna zmienna ustawiona w moim serverze na wartosc 100 to delay_key_write, czy tam jakas funkcja zalezna od niej...

Ma ktos pomysl jak wylaczyc ta funkcje ?

w manualach wyczytalem ze mozna tego dokonac poleceniem SET ale nie zabardzo wiem jak... i gdzie, probowalem zdefiniowac zmienna w zakladce [mysqld] w pliczku my.ini aczkolwiek tylko polozylem server... wiec juz nie wiem kompletnie co mam z tym zrobic...

Jak bede w domu to sprawdze czy mysql wysypuje jakies konkretne bledy po dodaniu tego 100-nego rekordu.

[spenalzo]

Przyjrzyj sie temu fragmentowi kodu - tak długo, aż nie znajdziesz 2 bŁędów (IMG:http://forum.php.pl/style_emoticons/default/winksmiley.jpg)

[PHP] pobierz, plaintext 
<?php
 
$limit = 100;
 
for( $pozx = 1; $pozz <= $limit; $pozz++ )
for( $pozy = 1; $pozy <= $limit; $pozy++ )
for( $pozz = 1; $pozx <= $limit; $pozx++ ){
?>
[PHP] pobierz, plaintext 

Jak je poprawisz, skrypt powinien ruszyc - bo u mnie przed poprawą sie zapętlał.

Natomiast ilość rekordów nie ma specjalnego znaczenia - ja u siebie dodaje 10 000 rekordów w czasie 4 sekund poprzez niezależne INSERTy (10 000 zapytan).

Ten post edytował spenalzo 19.04.2006, 17:00:31

[lunlog]

Sprawdze sobie w domqu... po 23 (IMG:http://forum.php.pl/style_emoticons/default/tongue.gif) teraz work work work (IMG:http://forum.php.pl/style_emoticons/default/tongue.gif)


//edit

2 bledy ?, ja tutaj tylko bym wstawil wartosci liczbowe i wywalil zmienna $limit, bo wczesniej tak dzialalo dobrze... a 2 blad ? nie mam pojecia... w tym kawalku ktory zaznaczyles nie ma } ale to pewnie przypadek....

Ten post edytował lunlog 19.04.2006, 18:09:55

[spenalzo]

"Znajdź dwa szczegóły różniące poniższe obrazki"

[PHP] pobierz, plaintext 
<?php
$limit = 100;
 
for( $pozx = 1; $pozz <= $limit; $pozz++ )
for( $pozy = 1; $pozy <= $limit; $pozy++ )
for( $pozz = 1; $pozx <= $limit; $pozx++ ){
?>
[PHP] pobierz, plaintext 

[PHP] pobierz, plaintext 
<?php
$limit = 100;
 
for( $pozz = 1; $pozz <= $limit; $pozz++ )
for( $pozy = 1; $pozy <= $limit; $pozy++ )
for( $pozx = 1; $pozx <= $limit; $pozx++ ){
?>
[PHP] pobierz, plaintext 

(IMG:http://forum.php.pl/style_emoticons/default/winksmiley.jpg)

[lunlog]

Diabel tkwi w szczegolach... podobno (IMG:http://forum.php.pl/style_emoticons/default/biggrin.gif) dzieki za pomoc, sprawdze sobie jak to dziala i czy dalej bedzie wstawialo tylko 100 pierwszych (IMG:http://forum.php.pl/style_emoticons/default/tongue.gif)

Nie spodziewalbym sie ze tutaj bede mial blad...


//edit

Tak czy siak, skrypt nie wywala się po 100 wpisanych rekordach tak jak wcześniej... teraz wywala się po 3700 wstawionych rekordach (ironia), jest lepiej ale to jeszcze nie jest to... docelowo skrypt powinien wstawić 1M danych.

Ma ktoś jakiś pomysł co wywala mi skrypt tym razem ? zmieniłem

set-variable=key_buffer=16M

na

set-variable=key_buffer=256M

ale to nie pomogło... może mój problem wynika ze sposobu w jaki lacze sie z baza danych ? po tych 3700 rekordach mysql wywala mi bledy ze nie moze sie polaczyc z baza danych...

[PHP] pobierz, plaintext 
<?php
 
//tutaj deklaracja zmiennych - wykasowana ofcorz (IMG:http://forum.php.pl/style_emoticons/default/tongue.gif) 
 
function query($query)
{
global $db_host, $db_user, $db_pass, $db_name;
$link = mysql_connect("$db_host", "$db_user", "$db_pass");
mysql_select_db("$db_name", $link);
$result = mysql_query("$query", $link);
mysql_close($link);
return $result;
}
 
 
?>
[PHP] pobierz, plaintext 

A teraz pytanie z innej beczki, może tem problem który mam w tej chwili, wlewanie maksymalnie 3700 rekordow do bazy danych wiąże się z jakimis ustawieniami mojego serwera ? Na wypadek jak ktoś byłby tak wielkoduszny i chciał stworzyć mi pliczek importu dla tego skryptu to podaje kod tabeli do której wlewane sa dane (IMG:http://forum.php.pl/style_emoticons/default/tongue.gif)

[SQL] pobierz, plaintext 
CREATE TABLE `tab_ast` (
  `id` mediumint(6) UNSIGNED NOT NULL AUTO_INCREMENT,
  `name` varchar(7) DEFAULT 'no name',
  `pozx` tinyint(3) UNSIGNED NOT NULL DEFAULT '0',
  `pozy` tinyint(3) UNSIGNED NOT NULL DEFAULT '0',
  `pozz` tinyint(3) UNSIGNED NOT NULL DEFAULT '0',
  `size` tinyint(3) UNSIGNED NOT NULL DEFAULT '0',
  `min1` smallint(5) UNSIGNED NOT NULL DEFAULT '0',
  `min2` smallint(5) UNSIGNED NOT NULL DEFAULT '0',
  `user_id` mediumint(6) UNSIGNED NOT NULL DEFAULT '0',
  PRIMARY KEY  (`id`)
) TYPE=MyISAM AUTO_INCREMENT=1 ;
[SQL] pobierz, plaintext 

Jakby cos to prosze o informacje na PW (IMG:http://forum.php.pl/style_emoticons/default/biggrin.gif) lub w tym temacie.

Ten post edytował lunlog 20.04.2006, 00:34:51

[spenalzo]

Nadal nie napisałeś, czy mysql rzuca jakieś błędy po uzyciu mysql_error. (

[PHP] pobierz, plaintext 
<?php
mysql_query("cos") or die("Błąd mysql: ".mysql_error());
?>
[PHP] pobierz, plaintext 

Natomiast ta zmienna nie sądze zeby miała wpływ, gdyż służy ona do czegoś innego. Jak to nie pomoże, to zobacz czy w odpowiednim miejscu masz ustawiony insert.

A jak to nie pomoze to zmien mysql-a na jakas wersje 4.x.x

[lunlog]

Po jakimś czasie wywala to.. po kilku sekundach.

Kod

Warning: Can't connect to MySQL server on 'localhost' (10048) in C:\FoxServ\www\1.php on line 11

Warning: MySQL Connection Failed: Can't connect to MySQL server on 'localhost' (10048) in C:\FoxServ\www\1.php on line 11

Warning: mysql_select_db(): supplied argument is not a valid MySQL-Link resource in C:\FoxServ\www\1.php on line 12

Warning: mysql_query(): supplied argument is not a valid MySQL-Link resource in C:\FoxServ\www\1.php on line 13
Błšd mysql: Can't connect to MySQL server on 'localhost' (10048

i nic pozatym...

moj obecny plik 1.php

[PHP] pobierz, plaintext 
 
<?php
 
$db_host='';
$db_user='';
$db_name='';
$db_pass='';
 
function query($query)
{
global $db_host, $db_user, $db_pass, $db_name;
$link = mysql_connect("$db_host", "$db_user", "$db_pass");
mysql_select_db("$db_name", $link);
$result = mysql_query("$query", $link) or die("Błšd mysql: ".mysql_error());
mysql_close($link);
return $result;
}
 
?>
[PHP] pobierz, plaintext 

[popo]

Warning: MySQL Connection Failed: Can't connect to MySQL server on 'localhost' (10048)

oznacza ze nie mozna nawiazac polaczenia z serwerem mysql na localhoscie

radze sprawdzic czy aby napewno mysql dziala (czy demon jest odpalony i nasluchuje polaczen)

[lunlog]

Tyle to ja wiem, hehe. Usluga podczas odpalania skryptu dziala na pewno...

[spenalzo]

Wiesz.... jak wywolujesz w pętli połączenie do MySQL to cóż... chcesz otworzyć milion połączen?


Teraz widzisz dlaczego trzeba podawać błędy jakie generuje skrypt - jakbys pokazal od rauz, to temat byłby rozwiazany 2dni temu (IMG:http://forum.php.pl/style_emoticons/default/tongue.gif)

Ten post edytował spenalzo 20.04.2006, 16:37:33

[lunlog]

O.o ze co ? zapytanie wywoluje w petli przed wyslaniem danych do bazy... nie rozumiem... jak w pentli ? to to sie robi inaczej ? nie kumam cza-czy...

Macie jakies propozycja naprawy tego ? Gdzie mam blad w skrypcie generujacym dane czy w pliku z ktorego korzysta ten plik generujacy ?

Query przeciez sie zamyka po skonczeniu wysylania danych do bazy. (chyba)

//edit

if (!query($link); {

query($link); }

else {

}

cos takiego ? styknie ? (pisze na szybko w pracy (IMG:http://forum.php.pl/style_emoticons/default/tongue.gif) )

Ten post edytował lunlog 20.04.2006, 20:22:49

[spenalzo]

Nie, nie coś takiego.

Przeanalizuj sobie swoją funkcje QUERY, a potem zobacz gdzie ją używasz.

Nie szkodzi, że sei zamyka polaczenie - jak dla mnie sam fakt wywołania miliona polaczń jest bez sensu... Polaczenie nawiazuje sie na poczatku skrypyu, a nie przy kazdym wywolaniu zapytania.

Ten post edytował spenalzo 20.04.2006, 20:27:37

[lunlog]

Dobra pokombinuje i powiem jak mi poszło..... chociaz nie wiem dokładnie jak to mam zrobić... ale dzięki za namiary gdzie leży problem.


//edit

Działa wkońcu ! ha, zmieniłem układ skryptu ładowania w ten sposób że łączy się z serverem tylko raz... i query wykonuje w momencie kiedy musi... znaczy sie połączy się z baza danych i rozłączy dopiero po zakończeniu funkcji query (IMG:http://forum.php.pl/style_emoticons/default/biggrin.gif)

Na początku skrypt wstawił mi o 72k wierszy za duzo... ale to chyba moja wina bo zostawiłem jakies smieci w bazie danych... ale za 2 razem wstawił równo 1M (IMG:http://forum.php.pl/style_emoticons/default/biggrin.gif) i to w czesie dużo krutszym niż sie spodziewałem... wywaliłem cały output ze skrypu, odpaliłem skrypt i wyłączyłem przegladarkę (IMG:http://forum.php.pl/style_emoticons/default/biggrin.gif)

Dziękuje bardzo za pomoc (IMG:http://forum.php.pl/style_emoticons/default/biggrin.gif) sam pewnie bym sobie nie poradził. Niech szybkie łącza oraz dobrze napisane skrypty będa z Wami (IMG:http://forum.php.pl/style_emoticons/default/biggrin.gif)

Ten post edytował lunlog 20.04.2006, 22:53:28