[PHP][MySQL] Jak najszybciej wykonac inserty Opcje

[Agape]

Mam tabele do ktorej musze wgrac paredziesiat tysiecy produktow, problem w tym ze musze to zobic w jak najkrotszym czasie zeby wystarczyly czasu wykonywania skryptu na inne rzeczy. Dziele sobie wiec dane w partie po tysiac i wgrywam partiami. Problem w tym ze to i tak za wolno, tabele zrobilem w MyISAM, pobowalem wgrywac przez csv, ale napotkalem problemy, wgrywala sie tylko czesc bazy a nie wyskakuja tam (przez pdo) zadne bledy.

Pytanie wiec jak najszybciej wykonac inserty, co moge jeszcze zrobic ? Kazda rada bardzo mi sie przyda, siedze z tym od wczoraj rano ...

[nospor]

Mozesz pokazac kod ktory realizuje to dzielenie na partie i potem wgrywanie tych partii?

[Agape]

Pewnie:

[PHP] pobierz, plaintext 
$sql = 'insert into `'.$this->nazwa_bazy.'` (`id_produktu`, `nazwa`, `obrazek`, `opis`, `cena`, .......... , `uri`) VALUES ';
$sql_values = array();
foreach ($glowna_instalacja_dane as $glowna_instalacja_){
	$glowna_instalacja_ = array_map('addslashes', $glowna_instalacja_);
	$sql_values[] = '("'.$glowna_instalacja_['id_produktu'].'", "'.$glowna_instalacja_['id_produktu_przekierowanie'].'", "'.$glowna_instalacja_['nazwa'].'", "'.$glowna_instalacja_['obrazek'].'", "'.$glowna_instalacja_['opis'].'", "'.$glowna_instalacja_['cena'].'", ...... , "'.$glowna_instalacja_['uri'].'")';            
}
$this->wgraj_dane_sql($sql, $sql_values);
 
 
function wgraj_dane_sql($sql, $sql_values, $ilosc = 1000)
    {
        //podziel zapytania na po 1 000
            if(count($sql_values) > $ilosc){
                $values_chunks = array_chunk( $sql_values, $ilosc);
                foreach ($values_chunks as $i => $chunk){
                    $this->query($sql.implode(',', $chunk));
                }
            }elseif(count($sql_values)>0){
                $this->query($sql.implode(',', $sql_values));
            }
    }
[PHP] pobierz, plaintext 

w skrocie wrzuca wszystkie produkty do tablicy, dzieli po 1000 i te podzielone paczki wrzuca do bazy

Ten post edytował Agape 17.06.2016, 10:15:30

[nospor]

Co sie kryje pod $this->query? PDO? mysqli? mysql?

[emstawicki]

Import będzie jednorazowy, czy tworzysz skrypt, który będzie cyklicznie się wykonywał?

[Agape]

@nospor PDO:

Kod

public function query($sql)
    {
        if(!$this->db) $this->polacz_z_baza ();
        $this->ilosc_zapytan += 1;
        return $this->db->query($sql);
    }

Kod

$this->db = new PDO('mysql:host='.$this->db_config['host'].';dbname='.$this->db_config['db_name'].';encoding=utf8', $this->db_config['username'], $this->db_config['password']);
            $this->db->exec("SET CHARACTER SET utf8");
            $this->db->exec("SET NAMES utf8");
            $this->db->setAttribute( PDO::ATTR_ERRMODE, PDO::ERRMODE_WARNING );

@emstawicki srednio co pare 2 - 3 dni, teraz wykonuje sie jakies 25 sekund, musze zejsc jak najnizej bo caly skrypt sie wywala przez max czas wykonywania skryptu ktorego nie moge zawiekszyc bo to na wielu serwerach jest :/

Ten post edytował Agape 17.06.2016, 10:40:48

[nospor]

Ok, skoro to PDO to moze sprobuj z prepare
http://php.net/manual/en/pdo.prepare.php
ktore przygotowuje zapytanie raz a ty tylko potem przy pomocy execute wkladasz dane do tego zapytania - z definicji powinno to byc szybsze.