[PDO][MySQL] Optymalizacja zapytania, Lub inne usprawnienie działania Opcje

[mlawnik]

Witam, mam skrypt, który przetwarza tabelę i zapisuje ją do bazy danych.
Oto kod:

https://github.com/marcinlawnik/DziennikLog...rToDatabase.php

Przetwarzanie odbywa się w pętli, chciałbym je zoptymalizować. Przyszły mi do głowy transakcje.

1. Nie mam pojęcia gdzie wstawić $pdo->beginTransaction(); Jak wstawię w środku pętli, to będę ich tworzył bardzo dużo, a przed pętlą select nie wykona się poprawnie. Prosiłbym o nakierowanie.

Wystarczy wstawić na początku skryptu. Sam sobie odpowiedziałem.

Drugie pytanie nadal pozostaje w mocy.

2. Czy są jeszcze inne sposoby na zoptymalizowanie tego zapytania?

Pozdrawiam,
mlawnik

Ten post edytował mlawnik 22.06.2013, 18:55:57

[mstraczkowski]

Nie zaleca się tworzenia jednej dużej transakcji, aby podczas jej trwania tworzyło i zmieniało się milion różnych rzeczy
Takie podejście jest bardzo błędne, a skoro powiedziałeś, że umieściłeś BEGIN na początku skryptu to zapewne taka WIELKA transakcja ma u ciebie miejsce

Transakcja to coś pojedynczego i szybkiego.

Wyobraź sobie transakcję finansową (pobieramy pieniądze z jednego konta i przekazujemy je do konta drugiego)
Te dwa zapytania tworzą jedną transakcję - zarówno dosłownie jak i pod względem programistycznym

Poza tym obawiam się, że transakcja z optymalizacją ma mało wspólnego

Ten post edytował mstraczkowski 23.06.2013, 02:46:43

[mlawnik]

A to?

http://forum.php.pl/index.php?s=&showt...t&p=1050967

Czy mógłby się ktoś do tego odnieść?

[Crozin]

1. Zapytania możesz przygotować ($pdo->prepare) raz, przed pętlą, i używać ich później wielokrotnie w pętli.
2. Powinieneś najpierw spróbować pobrać za jednym zamachem wszystkie ID przedmiotów na podstawie ich nazw. Dopiero w następnym kroku utworzyć nowe rekordy w bazie dla nieistniejących jeszcze przedmiotów.
3. Wydaje mi się, że wielokrotnie wyszukujesz niemal tych samych danych w HTML-u.

Poza tym obawiam się, że transakcja z optymalizacją ma mało wspólnego

Jednym ze skutków ubocznych wykorzystania transakcji jest przebudowanie indeksów dopiero po jej zakończeniu, a nie po każdym zapytaniu - to potrafi dać ogromnego kopa przy dużej liczbie zapytań INSERT.

[mlawnik]

@crozin
Dzięki za opinię, 1 i 2 wprowadzę w życie.

Natomiast co miałeś na myśli w podpunkcie trzecim?

[Crozin]

Natomiast co miałeś na myśli w podpunkcie trzecim?

Za każdym razem gdy pobierasz coś z HTML-a, czy raczej już drzewa DOM wykonujesz dosyć kosztowne wyszukiwanie po całym dokumencie. Przykładowo w linii #74 wykonujesz wewnątrz podwójnej pętli coś takiego:

[PHP] pobierz, plaintext 
while (...) {
    while (...) {
        $gradeCell = $html->find('table', 4)->find('tr', $i)->find('td', $x)->plaintext;
    }
}
[PHP] pobierz, plaintext 

Każdorazowo wykonując względnie rozbudowane wyszukiwanie w dużym dokumencie. A można przecież zrobić coś w stylu:

[PHP] pobierz, plaintext 
$table = $html->find('table', 4);
 
foreach ($table->children() as $row) {
    foreach ($row->children() as $cell) {
        $grade = $cell->plaintext;
    }
}
[PHP] pobierz, plaintext 

Nagle zamiast $i * $x wyszukiwań w rozbudowanym dokumencie masz jedno.

[mlawnik]

Dzięki za wytłumaczenie, postaram się przepisać tą funkcje tak jak mówisz, zrobię benchmarka i dam do oceny jeszcze raz.
Czy ktoś ma inne sugestie?

Pozdrawiam,
mlawnik

PS Przymuliłem ostro komputer:

[PHP] pobierz, plaintext 
var_dump($table->children());
[PHP] pobierz, plaintext 

Ten post edytował mlawnik 23.07.2013, 11:42:33