[PHP][MySQL]Pomocy z optymalizacja Opcje

[xavierek]

Witam prosił bym o pomoc przy optymalizacji kodu ponieważ hosting skarży się na za duże użycie procesosora skrypt jest wykonywany raz na 5 min array zwracany to okolo 400 wierszy wykonywany 100 razy ,obciecie danych wchodzacych do preg mach odpada bo bardziej obciaza serwer

[PHP] pobierz, plaintext 
$ppp=1;  while($ppp<=100) { preg_match_all($code, $handler, $data, PREG_PATTERN_ORDER);
            $i2 = 0;
            $p = 0;
            while ($data[0][$i2] != '') {
                $userName = addslashes(encodeNamePlayer($data[1][$i2]));
                $userLevel = $data[3][$i2];
                $userVocationId = $vocations[$data[4][$i2]];
                $userId = getuserId($userName);
                if ($userId > 0 && $userName != '') {
 
 
                    $result = mysql_query("SELECT `userVocationId`, `userLevel`, `userWorldId`, `userTotalOnlineTime` FROM `users` WHERE `userId` ='$userId'");
	                $rr = mysql_fetch_array($result);
                    $userOldLevel = $rr['userLevel'];
                    $userOldVocationId = $rr['userVocationId'];
                    $userOldWorldId = $rr['userWorldId'];
                    $userTotalOnlineTime = $rr['userTotalOnlineTime']+1;
                    if ($userOldLevel != $userLevel) {
                        if($userOldLevel>$userLevel){
                            mysql_query("INSERT INTO  `klorxcom_user_statistics`.`waiting_for_review_by_the_death` (
`userId` ,
`date`
)
VALUES (
'1',  '1'
);
   ");
                        }
 
                        mysql_query(
                        "INSERT INTO  `klorxcom_user_statistics`.`user_level_history` (
`userId` ,
`level` ,
`date`
)
VALUES (
'$userId',  '$userLevel',  '$time'
)");
                    }
                    if ($userOldVocationId != $userVocationId) {
                        mysql_query(
                        "INSERT INTO  `klorxcom_user_statistics`.`user_vocation_history` (
`userId` ,
`vocationId` ,
`date`
)
VALUES (
'$userId',  '$userVocationId',  '$time'
)");
                    }
                                   if ($worldId != $userOldWorldId) {
             mysql_query(
                        "INSERT INTO  `klorxcom_world_statistics`.`user_world_history` (
`userId` ,
`worldId` ,
`date`
)
VALUES (
'$userId',  '$worldId',  '$time'
)");
                    }
                    mysql_query(
                    "UPDATE  `klorxcom_user_statistics`.`users` SET  `userLevel` =  '$userLevel',
`userVocationId` =  '$userVocationId',
`userWorldId` =  '$worldId', `userTotalOnlineTime` = '$userTotalOnlineTime',
`userLastLogin` =  '$time' WHERE  `users`.`userId` = '$userId' LIMIT 1");
                } elseif ($userName != '') {
                    ## gracz nie istnieje
                    mysql_query(
                    "INSERT INTO  `klorxcom_user_statistics`.`users` (
`userId` ,
`userName` ,
`userLevel` ,
`userVocationId` ,
`userWorldId` ,
`userTotalOnlineTime`,
`userLastLogin` ,
`addToStatistics`
)
VALUES (
NULL ,  '$userName',  '$userLevel',  '$userVocationId',  '$worldId', '1',  '$time',  '$time'
)");
                    $userId = getuserId($userName);
                    mysql_query(
                    "INSERT INTO  `klorxcom_user_statistics`.`user_level_history` (
`userId` ,
`level` ,
`date`
)
VALUES (
'$userId',  '$userLevel',  '$time'
)");
                    mysql_query(
                    "INSERT INTO  `klorxcom_user_statistics`.`user_vocation_history` (
`userId` ,
`vocationId` ,
`date`
)
VALUES (
'$userId',  '$userVocationId',  '$time'
)");
                             mysql_query(
                        "INSERT INTO  `klorxcom_world_statistics`.`user_world_history` (
`userId` ,
`worldId` ,
`date`
)
VALUES (
'$userId',  '$worldId',  '$time'
)");
                } else {
                    ##cos nie tak
                }
                if ($userId > 0) {
                    mysql_query(
                    "INSERT INTO  `klorxcom_user_statistics`.`user_online_data` (
`userId` ,
`worldId` ,
`date`
)
VALUES (
'$userId',  '$worldId',  '$time'
)");
                }
                $i2 ++;
                $p ++;
 
            }
            	mysql_query ( "INSERT INTO  `world_players_history` (
`world_id` ,
`players_online` ,
`date`
)
VALUES (
'$worldId',  '$p',  '$time'
)");
}
 
 
mysql_query("OPTIMIZE TABLE  `users` ,  `user_level_history` ,  `user_online_history` ,  `user_vocation_history` ,  `user_world_history`");
)");
[PHP] pobierz, plaintext 

[zend]

Zamiast pobierać dane w pętli zrób

[PHP] pobierz, plaintext 
$userIds = array(); //tablica z identyfikatorami uzytkownikow
$where = 'where userId IN('. implode(',' , $userIds) .')';
[PHP] pobierz, plaintext 

A inserty możesz wykonywać też w takiej formie, łącząc w php kolejne rekordy i wykonując inserta na samym końcu skryptu, wtedy zamiast 100 zapytan do jednej tabeli pójdzie jedno wielkie, co jest wydajniejsze

[SQL] pobierz, plaintext 
INSERT INTO `x` ('user_id', 'nick') VALUES ('1', 'a'), ('2', 'b'), ('3', 'c')
 
[SQL] pobierz, plaintext 

Poza tym wszystkie zapytania obejmij transakcją, wtedy nie musisz się też obawiać o naruszenie struktury danych, znacząco wzrośnie też wydajność

[PHP] pobierz, plaintext 
query('START TRANSACTION');
 
$result = query('SELECT * from ...');
 
foreach($result as $row)
{
//processing
//creating inserts
}
 
query($insert1);
query($insert2);
query('commit')
 
query('commit');
 
[PHP] pobierz, plaintext 

Jako typ tabel ustaw innoDb, jest ono przystosowane do częstego wstawiania rekordów, myisam jest natomiast nastawione na szybkie wybieranie danych i wstawianie nowych rekordów jest tam wolniejsze

Ten post edytował zend 27.07.2011, 19:08:22

[toffiak]

Z listingu wynika że wykonujesz to samo 100 razy czy rzeczywiście jest to ten sam fragment kodu nie różniący się żadnymi danymi wejściowymi czy może jednak dane wejściowe się zmieniają i dlaczego pętla ta jest wykonywanana 100 razy ?

W głównym while-u jest jeszcze jeden który wykonuje się X razy, trudno powiedzieć dokładnie ile nie znając danych wejściowych, ale 100 razy X obiegów razy kilka zapytań w jednym obiegu to daje ogromną ilość zapytań.

[xavierek]

100 razy dostaje nowe dane ktore sa pobierane z serwera w postaci chotycznego ciagu znakow mam takie pytanie czy da sie zrobic np 10 updatow bazy w jednym zapytaniu ? bo juz inserty zrobilem ze sa wszystkie na raz

[zend]

Nie jestem do końca pewny czy to zadziała, ale spróbuj połączyć wszystkie zapytania update średnikiem, i też wykonać na końcu, ale nie jestem pewny czy nie ma limitu, że jednym zapytaniem można zrobić jeden update, jeśli nie, a w grę wchodziła by zmiana rozszerzenia na mysli to jest mysqli::multi_query. Jeśli żadna z metod Ci nie pasuje to musisz wykonywać zapytania pojedynczo, ale itak transakcja zrobi swoje i znacząco poprawi wydajność

Ten post edytował zend 27.07.2011, 19:30:54

[xavierek]

zrobiłem wszystko poczekam chwile i zobaczę czasy potem poklikam pomogl jak skoncze walke z tym

Witam ponownie mam jeszcze jakies pytanie czy moge zrobic zapytanie

[SQL] pobierz, plaintext 
 $result = mysql_query(
                    "INSERT INTO  `klorxcom_tibia_statistics`.`user_online_data` (
`userId` ,
`worldId` ,
`date`
)
VALUES $allonlineuser")
[SQL] pobierz, plaintext 

[PHP] pobierz, plaintext 
$allonlineuser = array('userId'=>'1', 'worldId'=>'1', 'date'=>'1234' )
[PHP] pobierz, plaintext 

czy jezeli bede mial tak przechowywane zebrane dane i dam w zaputaniu tablice to bedzie działać ?

Ten post edytował xavierek 28.07.2011, 14:09:12

[zend]

Jeśli podasz tablice to nie zadziała, potrzebny jest string, spróbuj tak

[PHP] pobierz, plaintext 
$insert1 = array();
 
if(!count($results)) {return;}
 
foreach($results as $row)
{
  $arr =  array('userId'=>'1', 'worldId'=>'1', 'date'=>'1234' );
  $insert1[] = '(' . join(',' , $arr) . ')';
}
 
query( 'INSERT INTO x (`a`,`b`,`c`) VALUES ' . join(',' , $insert1) ) ;
[PHP] pobierz, plaintext 

Ten post edytował zend 28.07.2011, 14:14:35

[xavierek]

zrobiłem to za pomoca implode(); jak narazie wszystko działa ok