[MySQL][PHP]Prośba o pomoc w optymalizacji skryptu - import CSV do MySQL Opcje

[northwest]

Witam serdecznie,
Chciałbym prosić o pomoc w optymalizacji poniższego skryptu:

[PHP] pobierz, plaintext 
$filename = "baza_ksiazek.csv";
        $handle = fopen("$filename", "r");
        $ilosc = 0;
        while (($data = fgetcsv($handle, 2000, ",")) !== FALSE) {
            $result = mysql_query("SELECT * FROM cms_produkty WHERE isbn = '$data[1]';", $connection);
            $ilosc_wierszy = mysql_num_rows($result);
            if ($ilosc_wierszy == 0) {
                if ($data['1'] != "") {
                    $nazwakategorii = null;
                    $nazwapodkategorii = null;
                    $idkategorii = null;
                    $idpodkategorii = null;
                    $nazwakategorii = $data['12'];
                    $nazwapodkategorii = $data['13'];
 
                    if ($nazwakategorii != "") {
                        $result2 = mysql_query("SELECT * FROM cms_kategorie WHERE nazwa = '$nazwakategorii';");
                        if (mysql_num_rows($result2) == 0) {
                            mysql_query("INSERT INTO cms_kategorie (nazwa, enable) VALUES ('$nazwakategorii', '1');");
                            $wynik = mysql_query("SELECT bf_id FROM cms_kategorie WHERE nazwa = '$nazwakategorii' ORDER by bf_id DESC LIMIT 1;;");
                            while ($wartt2 = mysql_fetch_array($wynik)) {
                                $idkategorii = $wartt2['bf_id'];
                            }
                        } else { 
                            $wynik = mysql_query("SELECT bf_id FROM cms_kategorie WHERE nazwa = '$nazwakategorii' ORDER by bf_id DESC LIMIT 1;;");
                            while ($wartt2 = mysql_fetch_array($wynik)) {
                                $idkategorii = $wartt2['bf_id'];
                            }
                        }
                    }
 
                    //echo $idkategorii."<br/><br/>";
 
                    if ($nazwapodkategorii != "") {
                        $result3 = mysql_query("SELECT * FROM cms_podkategorie WHERE nazwa = '$nazwapodkategorii';");
                        if (mysql_num_rows($result3) == 0) {
                            mysql_query("INSERT INTO cms_podkategorie (nazwa, enable, kategoria) VALUES ('$nazwapodkategorii', '1', '$idkategorii');");
                            //echo "INSERT INTO cms_podkategorie (nazwa, enable, kategoria) VALUES ('$nazwapodkategorii', '1', '$idkategorii');";
                            $wynik = mysql_query("SELECT bf_id FROM cms_podkategorie WHERE nazwa = '$nazwapodkategorii' ORDER by bf_id DESC LIMIT 1;;");
                            while ($wartt2 = mysql_fetch_array($wynik)) {
                                $idpodkategorii = $wartt2['bf_id'];
                            }
                        } else { 
                            $wynik = mysql_query("SELECT bf_id FROM cms_podkategorie WHERE nazwa = '$nazwapodkategorii' ORDER by bf_id DESC LIMIT 1;;");
                            while ($wartt2 = mysql_fetch_array($wynik)) {
                                $idpodkategorii = $wartt2['bf_id'];
                            }
                        }
                    }
                    $save = "INSERT INTO cms_produkty (nazwa, obrazek, isbn, cena, autor, wydawca, strony, opis, rok, podatek, cena2, kategoria, grupa, typrekordu, enable) VALUES ('$data[3]', '$data[15]', '$data[1]', '$data[11]', '$data[4]', '$data[5]', '$data[6]', '$data[8]', '$data[7]', '$data[9]', '$data[10]', '$idkategorii', '$idpodkategorii', '1', '1');";
                    //echo $save."<br/><br/>";
                    $save = iconv('ISO-8859-2', 'UTF-8', $save);
                    mysql_query("$save");
                    //$ilosc = $ilosc + 1;
                    if ($ilosc == 100) {
                        die();
                    }
                }
            }
        }
[PHP] pobierz, plaintext 

Skrypt ma działać w następujący sposób:
1. sprawdzić czy dany rekord już istnieje w bazie
2. sprawdzić czy kategoria jest już w bazie - jeśli nie, to dopisać
3. sprawdzić czy podkategoria jest już w bazie - jeśli nie, to dopisać
4. jeśli produktu nie ma w bazie - to go dopisujemy....

Skrypt działa... Ale prawdopodobnie da się go bardzo zoptymalizować pod względem wydajności....
Czy mógłbym prosić o pomoc?

[freemp3]

Oczywiście, że się da. Niepotrzebnie jest tylko select-ów. Zamiast odpytywać ciąglę bazę danych czy istnieje dany produkt, czy też kategoria możesz zrobić tablice, w której będziesz trzymał potrzebne informacje.
Przykładowo tworzysz tablice:

[PHP] pobierz, plaintext 
$produkt = array();
[PHP] pobierz, plaintext 

w której bedziesz trzymał numery ISBN i zamiast sprawdzać czy produkt istnieje w bazie możesz sprawdzać przy pomocy funkci in_array. Jeśli nie ma to dodajesz, nowy produkt i na końcu dopisujesz nowy numer do tablicy.
W przypadku kategorii sytuacja będzie trochę inna bo potrzebne jest jej id, ale to też nie jest duży problem. Tworzysz tablice:

[PHP] pobierz, plaintext 
$kategorie = array();
[PHP] pobierz, plaintext 

gdzie kluczem będzie jej nazwa, a wartością jej identyfikator z bazy danych. Przy sprawdzaniu wystarczy użyć funkcji array_key_exists. Jeśli klucz istnieje pobierasz numer id, jeśli nie dodajesz nową kategorie do bazy oraz do tablicy. Odnośnie pobierania numeru id nowo dodanej kategorii to służy do tego funkcja mysql_insert_id. Ten sam mechanizm tyczy się podkategorii.

[northwest]

mógłbym prosić o przykład jak to zrobić?

[freemp3]

Przykład dla produku:

[PHP] pobierz, plaintext 
$produkty = array();
while (($data = fgetcsv($handle, 2000, ",")) !== FALSE) {
  if(!in_array($data[1], $produkty)){
    // kod dodający produkt
    mysql_query("$save");
    $produkty[] = $data[1];
  }
}
[PHP] pobierz, plaintext 

Dla kategorii i podkategorii:

[PHP] pobierz, plaintext 
$kategorie = array(); // zmienna musi być utworzona przed główną pętlą, w tym samy miejscu co zmienna $produkty
 
if(array_key_exists($nazwakategorii, $kategorie)){
  $idkategorii = $kategorie[$nazwakategorii ];
}
else{
  mysql_query("INSERT INTO cms_kategorie (nazwa, enable) VALUES ('$nazwakategorii', '1');");
  $idkategorii = mysql_insert_id();
  $kategorie[$nazwakategorii] = $idkategorii;
}
[PHP] pobierz, plaintext 

Podobnie należy zrobić dla podkategorii, tzn stworzyć odpowiednią zmienną, w której będą przechowywane identyfikatory i dodać kod w odpowiednim miejscu.

Ten post edytował freemp3 26.07.2013, 14:57:50

[northwest]

tylko powyższy kod nie weryfikuje, czy w poszczególnych tabelach w bazie danych są już te rekordy...

[freemp3]

Zakładałem, że dane są importowane do pustej bazy. Jeśli masz coś już w bazie to możesz zrobić sprawdzanie najpierw w tablicach tak jak opisałem powyżej, jeśli w nich nie będzie to sprawdzasz w bazie. Jeśli dany produkt czy kategoria jest w bazie dodajesz do tablicy i następnym razem nie będzie konieczności sprawdzania w bazie.

[-north-]

import właśnie niestety do pełnej bazy

[freemp3]

W takim razie zostaje sprawdzanie tak jak napisałem powyżej. Najpierw sprawdzaj tablice, a później dopiero w bazie danych.
Jeszcze ten warunek możesz poprawić:

Kod

if ($data['1'] != "")

Skoro wartość jest pusta i całe dodawanie jest pomijane to poniższy kod jest bezcelowy:

Kod

$result = mysql_query("SELECT * FROM cms_produkty WHERE isbn = '$data[1]';", $connection);
$ilosc_wierszy = mysql_num_rows($result);

Powinien się on znaleźć już po tym warunki kiedy wiadomo, że jest sens sprawdzania czy produkt już istnieje, a nie przed nim. Zyskujesz w tedy trochę cennego czasu na każde przejście pętli i przy dużych importach jest to widoczne.

[redeemer]

Nic nie trzeba sprawdzać. Od tego jest indeks UNIQUE w bazie danych (+ ON DUPLICATE KEY ... w insertach).