Problem z obciążeniem bazy SQL-poddało się wielu Opcje

[kontrowersje]

Witam jestem kompletnym ignorantem w PHP, usiłuję jedynie znaleźć kogoś, kto jest w stanie poprawić poniższy kod, który obciąża bazę SQL. Próbowało wielu PHP-owców, ale nikt nie był w stanie znaleźć przyczyny "mulenia" serwera. Wiem, że jest tu kilka kosmetycznych błędów składni, ale problem tkwi w zapytaniu da bazy, to potwierdzili wszyscy analizujący kod. Strona chodzi pod adresem kontrowersje.net, na cms Drupal, kod który wywala serwer jest następujący:

[PHP] pobierz, plaintext 
<?php
 
$right=ereg_replace('{a', '
$right=ereg_replace("{/a}", '', $right);
$right=ereg_replace('{img ', '
$right=ereg_replace('"}', '">', $right);
 
$right=ereg_replace('
', '
', $right);
 
$right=ereg_replace("December", "Grudzień", $right);
$right=ereg_replace("November", "Listopad", $right);
$right=ereg_replace("September", "Wrzesień", $right);
$right=ereg_replace("October", "Październik", $right);
$right=ereg_replace("January", "Styczeń", $right);
$right=ereg_replace("February", "Luty", $right);
$right=ereg_replace("March", "Marzec", $right);
$right=ereg_replace("April", "Kwiecień", $right);
 
$right=ereg_replace("May", "Maj", $right);
$right=ereg_replace("Juni", "Czerwiec", $right);
$right=ereg_replace("July", "Lipiec", $right);
$right=ereg_replace("August", "Sierpień", $right);
 
$right=ereg_replace(' ndz.
 
', ' ndz.
 
',$right);
 
$right=ereg_replace('
', '
',$right);
 
$right=ereg_replace('
', '
',$right);
 
$right=ereg_replace('Ostatnio dodane odpowiedzi', '',$right);
$right=ereg_replace('zaktualizowany', '',$right);
$right=ereg_replace('Szybka odpowiedź', '',$right);
 
if (!$user->roles[2]) $right=ereg_replace('Mój blog
# Pisz bloga
 
', '',$right);
 
print $right;
 
$profile = profile_load_profile($user);
 
$ostatnie_odpowiedzi = $user->profile_ostatnie_odpowiedzi;
if($ostatnie_odpowiedzi < 5) $ostatnie_odpowiedzi = 5;
$ignorowani = '';
$ignorowani .= " AND (UPPER(comments.name) != UPPER('Lustro')) ";
$ignorowani .= " AND (UPPER(comments.name) != UPPER('MaciekS')) ";
$ignorowani .= " AND (UPPER(comments.name) != UPPER('Leyte')) ";
//$ignorowani .= " AND (UPPER(comments.name) != UPPER('zlotousty_klamca')) ";
 
$query = "SELECT node.nid AS nid,
node.uid as uid
FROM {node} node
LEFT JOIN {term_node} term_node_174 ON node.vid = term_node_174.vid AND term_node_174.tid = 174
WHERE (term_node_174.tid = 174) and node.nid >50";
 
$queryResult = db_query($query);
 
while ($nodescount = db_fetch_object($queryResult)) {
 
$comments_priv .= " and comments.nid<>".$nodescount->nid." ";
 
}
 
$query="SELECT comments.cid AS cid,
comments.subject AS comments_subject,
comments.nid AS comments_nid,
comments.pid As comments_pid,
comments.timestamp AS comments_timestamp,
comments.name AS comments_name,
comments.uid AS comments_uid,
comments.homepage AS comments_homepage,
comments.comment AS comments_comment,
comments.format AS comments_format,
history_user.timestamp AS history_user_timestamp,
history_user.nid AS history_user_nid,
node_comments.created AS node_comments_created,
node_comments.changed AS node_comments_changed,
node_comments__node_comment_statistics.last_comment_timestamp AS node_comments__node_comment_statistics_last_comment_timestamp,
node_comments.nid AS node_comments_nid
FROM root_comments comments
LEFT JOIN root_node node_comments ON comments.nid = node_comments.nid
LEFT JOIN root_history history_user ON node_comments.nid = history_user.nid AND history_user.uid = ".$user->uid."
LEFT JOIN root_node_comment_statistics node_comments__node_comment_statistics ON node_comments.nid = node_comments__node_comment_statistics.nid and last_comment_uid<>519
WHERE (node_comments.status <> 0 OR node_comments.uid = ".$user->uid.")".$ignorowani.$comments_priv."
ORDER BY comments_timestamp DESC limit ".$ostatnie_odpowiedzi."";
 
$queryResult = db_query($query);
 
?>
[PHP] pobierz, plaintext 

Będę wdzięczny za wszelkie sugestie i podpowiedzi, jestem również skłonny nawiązać współpracę na zasadzie zleceń z kimś kto da sobie radę z PHP i Drupalem

kontrowersje@kontrowersje.net

Ten post edytował kontrowersje 27.10.2009, 18:34:13

[Fafu]

wg mnie trochę obciąża funkcja "ereg_replace", polecałbym zamienić na "str_replace".

[kontrowersje]

Dziękuję za odpowiedź. Niestety to już było testowane i nie pomogło.

[Crozin]

Skoro wiesz, że to zapytanie do bazy zabija serwer to może pokaż nam to zapytanie w formie jakiej trafia do bazy, a nie wymagaj bezsensownego analizowania koszmarnego kodu, w dodatku nie wstawionego w żadne BBCode.

[Spawnm]

Proszę dodać BBcode, w przeciwnym wypadku temat zostanie zamknięty .

[kontrowersje]

Chętnie dodam to BB coś tam ale nie mam pojęcia co to jest. Jak napisałem jestem ignorantem od PHP i programowania, dlatego szukam pomocy.

Edit: Chyba załapałem o co chodzi z tym BB coś tam, wklejam zatem zapytanie z bazy.

[SQL] pobierz, plaintext 
SELECT comments.cid AS cid,
   comments.subject AS comments_subject,
   comments.nid AS comments_nid,
   comments.pid AS comments_pid,
   comments.timestamp AS comments_timestamp,
   comments.name AS comments_name,
   comments.uid AS comments_uid,
   comments.homepage AS comments_homepage,
   comments.comment AS comments_comment,
   comments.format AS comments_format,
   history_user.timestamp AS history_user_timestamp,
   history_user.nid AS history_user_nid,
   node_comments.created AS node_comments_created,
   node_comments.changed AS node_comments_changed,
   node_comments__node_comment_statistics.last_comment_timestamp AS node_comments__node_comment_statistics_last_comment_timestamp,
   node_comments.nid AS node_comments_nid  FROM root_comments comments  LEFT JOIN root_node node_comments ON comments.nid = node_comments.nid  LEFT JOIN root_history history_user ON node_comments.nid = history_user.nid AND history_user.uid = 0  LEFT JOIN root_node_comment_statistics node_comments__node_comment_statistics ON node_comments.nid = node_comments__node_comment_statistics.nid AND last_comment_uid<>519  WHERE (node_comments.STATUS <> 0 OR node_comments.uid = 0) AND (UPPER(comments.name) != UPPER('Lustro'))  AND (UPPER(comments.name) != UPPER('MaciekS'))  AND (UPPER(comments.name) != UPPER('Leyte'))  AND comments.nid<>201  AND comments.nid<>292  AND comments.nid<>344  AND comments.nid<>355  AND comments.nid<>380  AND comments.nid<>450  AND comments.nid<>465  AND comments.nid<>520  AND comments.nid<>522  AND comments.nid<>526  AND comments.nid<>554  AND comments.nid<>579  AND comments.nid<>586  AND comments.nid<>604  AND comments.nid<>624  AND comments.nid<>707  AND comments.nid<>738  AND comments.nid<>739  AND comments.nid<>740  AND comments.nid<>784  AND comments.nid<>800  AND comments.nid<>801  AND comments.nid<>802  AND comments.nid<>803  AND comments.nid<>815  AND comments.nid<>898  AND comments.nid<>934  AND comments.nid<>966  AND comments.nid<>985  AND comments.nid<>1013  AND comments.nid<>1022  AND comments.nid<>1025  AND 
 
i tutaj setki pytań o konkretne komentarze z forum
 
comments.nid<>4738  AND comments.nid<>4739
   ORDER BY comments_timestamp DESC LIMIT 5
[SQL] pobierz, plaintext 

Ten post edytował kontrowersje 27.10.2009, 19:31:35

[ChrisB]

nie wiem czy to cos da, ale napewno na poczatek bym spróbował wywalić wszystkie comments.nid <> na rzecz jednego not in(x,y,z)

http://dev.mysql.com/doc/refman/5.0/en/com...function_not-in


pozatym last_comment_uid<>519 na stałe ustawione w kodzie? trochę chyba średni ma sens?

[magnus]

1. Zamiast robić takie AND ... AND... AND może lepiej zrobić WHERE nid NOT IN (x,y,z,...)?
2. Sprawdź, czy na tym polu (nid) na pewno jest indeks jak i na wszystkich polach, po których jest robiony JOIN.
3. Ale i tak raczej spowalniać będzie takie coś: AND (UPPER(comments.name) != UPPER('MaciekS')), bo to musi być wyszukiwane tekstowo a nie indeksem. Chyba, że jest na tym indeks pełnotekstowy. Trzeba by to spróbować zamienić na coś, co się da zaindeksować.

[cojack]

Rozumiem że indexy pozakładane? Oraz primare keye?

[SQL] pobierz, plaintext 
AND comments.nid<>292  AND comments.nid<>344  AND comments.nid<>355  AND comments.nid<>380  AND comments.nid<>450  AND comments.nid<>465  AND comments.nid<>520  AND comments.nid<>522  AND comments.nid<>526  AND comments.nid<>554  AND comments.nid<>579  AND comments.nid<>586  AND comments.nid<>604  AND comments.nid<>624  AND comments.nid<>707  AND comments.nid<>738  AND comments.nid<>739  AND comments.nid<>740  AND comments.nid<>784  AND comments.nid<>800  AND comments.nid<>801  AND comments.nid<>802  AND comments.nid<>803  AND comments.nid<>815  AND comments.nid<>898  AND comments.nid<>934  AND comments.nid<>966  AND comments.nid<>985  AND comments.nid<>1013  AND comments.nid<>1022  AND comments.nid<>1025  AND 
[SQL] pobierz, plaintext 

a to na cholere?

[krowal]

Zadaj sobie jedno, ale zaj$#@cie ważne pytanie, czy te JOINY na pewno są Ci niezbędne, czy tych porównań nie da się przerzucić do WHERE ?

[netmare]

Ja mam parę pytań:

1. Jaki silnik?
2. Jaka wersja silnika?
3. Ile wierszy zwraca zapytanie bez warunków comments.nid<>...?
4. Setki tych wykluczeń comments.nid to jest 150 czy 1500?
5. Skąd bierzesz wykluczane comments.nid?
6. Muli się tzn jaki konkretnie jest czas wykonania zapytania?

Edit:

Zadaj sobie jedno, ale zaj$#@cie ważne pytanie, czy te JOINY na pewno są Ci niezbędne, czy tych porównań nie da się przerzucić do WHERE ?

to moim zdaniem fatalny pomysł niezależnie od silnika.

Ten post edytował netmare 28.10.2009, 21:20:41

[krowal]

to moim zdaniem fatalny pomysł niezależnie od silnika.

A możesz napisać dlaczego ?

[netmare]

1. Zmniejszona przejrzystość kodu.
2. Bardziej problematyczna implementacja złączeń left,right i full.
3. Wydajności tym nie poprawisz napewno, a obawiam się że jak zapuścisz na np Postgresie złączenie inner join na dwóch tabelach które mają po 2000000 wierszy i część wspólną 1000000 rekordów, po kolumnie na której z jakiś powodów nie masz indeksów, to przy inner join napewno planer zahaszuje wartości po których ma nastąpić złączenie i szybko upora się z wynikiem, natomiast przy takim explicit joinie po znaku równości myślę że może nie puścić hashowania i wtedy okaże się że położyłeś serwer na kilkanaście minut (nie mam w tej chwili jak sprawdzić, żeby powiedzieć to napewno).

[Methestel]

Podaj proszę z jakiej bazy danych korzystasz.
Bardzo dużo rzeczy hardkodujesz dlatego domyślam się kod który wkleiłeś jest wersją testową bo jako wersji produkcyjnej nikt chyba by tego nie używał.

Skoro i tak hardkodujesz listę zbanowanych loginów to nie wykonuj na nich niepotrzebnych funkcji. Zamiast

[SQL] pobierz, plaintext 
AND (UPPER(comments.name) != UPPER('Lustro'))  AND (UPPER(comments.name) != UPPER('MaciekS'))  AND (UPPER(comments.name) != UPPER('Leyte'))
[SQL] pobierz, plaintext 

zrób:

[SQL] pobierz, plaintext 
AND UPPER(comments.name) NOT IN ('LUSTRO', 'MACIEKS', 'LEYTE')
[SQL] pobierz, plaintext 

No i nie musisz generować tego php-em bo po co męczyć serwer obliczeniami które zawsze zwracają taki sam wynik. Wrzuć to bezpośrednio do ostatniego zapytania.


Jeśli twoja baza danych obsługuje podzapytania możesz połączyć dwa zapytania w jedno. Np tak:

[SQL] pobierz, plaintext 
SELECT comments.cid AS cid,   
comments.subject AS comments_subject,
 comments.nid AS comments_nid,
comments.pid AS comments_pid,
comments.timestamp AS comments_timestamp,
comments.name AS comments_name,
comments.uid AS comments_uid,
comments.homepage AS comments_homepage,
comments.comment AS comments_comment,
comments.format AS comments_format,
 history_user.timestamp AS history_user_timestamp,
history_user.nid AS history_user_nid,
node_comments.created AS node_comments_created,
node_comments.changed AS node_comments_changed,
node_comments__node_comment_statistics.last_comment_timestamp AS node_comments__node_comment_statistics_last_comment_timestamp,
 node_comments.nid AS node_comments_nid  
FROM root_comments comments  
LEFT JOIN root_node node_comments ON comments.nid = node_comments.nid  
LEFT JOIN root_history history_user ON node_comments.nid = history_user.nid AND history_user.uid = 0
LEFT JOIN root_node_comment_statistics node_comments__node_comment_statistics ON node_comments.nid = node_comments__node_comment_statistics.nid AND last_comment_uid<>519  
WHERE (node_comments.STATUS <> 0 OR node_comments.uid = 0) 
AND UPPER(comments.name) NOT IN ('LUSTRO', 'MACIEKS', 'LEYTE')
AND comments.nid NOT IN (SELECT node.nid FROM {node} node LEFT JOIN {term_node} term_node_174 ON node.vid = term_node_174.vid AND term_node_174.tid = 174 WHERE (term_node_174.tid = 174) AND node.nid >50))
ORDER BY comments_timestamp DESC LIMIT 5
[SQL] pobierz, plaintext 

Ale i tak największy wzrost wydajności możesz uzyskać przez odpowiednie indeksy.
Jeszcze raz proszę autora o informacje z jakiej bazy danych korzysta. Jeśli autor chce naprawdę konkretnej odpowiedzi proszę o strukturę bazy danych (samą strukturę, bez danych). Wtedy będzie można udzielić bardziej konkretnej odpowiedzi


PS. Co oznacza klamra w "FROM {node} node".? Alias? A może schemat? Nigdy nie spotkałem się z takim zapisem.