[MySQL][PHP]Optymalizacja zapytań, Po wykonaniu tej pętli przekracza mi limit 400000 zapytań na godzinę. Opcje

[poczatkujaca12]

Mam taki kod...
Niby nic skomplikowanego...

[PHP] pobierz, plaintext 
$na = explode( '<br />', $r['npr']);
$text .= "\r\n\r\nA poniżej przesyłamy linki do pobrania plików:\r\n";
$kol=count($na);
 
for($i=0; $i < $kol; $i++){
	$nazw = explode( '<br />', $r['npr']);
	$nazwa=substr($nazw[$i], 0, -4);
	$zo1=mysql_query("select * from prod where nazwa='".$nazwa."'");
	while($k=mysql_fetch_array($zo1)){
		$z1=mysql_query("Select * from down where id_user='".$r['ius']."' and plik='".$k['plik']."'");
		if (mysql_num_rows($z1)!=0){
			mysql_query("update down set koniec=DATE_FORMAT(TIMESTAMPADD(DAY,+".$ldni.",now()), '%Y-%m-%d'), pobran='".$lpobran."' where id_user='".$r['ius']."' and plik='".$k['plik']."'");
		$text .= "\r\n ".$adres."/pobierz/".$r['ius']."/".$k['plik']."\r\n";
		} else {
			mysql_query("insert into down set id_prod='".$nazwa."', id_user='".$r['ius']."', plik='".$k['plik']."', koniec=DATE_FORMAT(TIMESTAMPADD(DAY,+".$ldni.",now()), '%Y-%m-%d'), pobran='".$lpobran."'");
		$text .= "\r\n ".$adres."/pobierz/".$r['ius']."/".$k['plik']."\r\n";
		}
	}
}
[PHP] pobierz, plaintext 

Dodam że $kol może mieć wartość co najwyżej 3...
Więc razem powinno wygenerować max 12 zapytań.

Dlatego, że przy $kol=3 , zapytanie
$zo1=mysql_query("select * from prod where nazwa='".$nazwa."'");
też zwróci 3 rekordy

Więc za 1 obrotem for wykona 3 zapytania z pętli while (albo insert albo update w zależności od warunku if)...

Moje pytanie brzmi: czy i jak można zoptymalizować tą pętle, żeby generowała jak najmniej zapytań do bazy?

[nospor]

Cos kiepsko liczysz.

Na samym początku daj: $i = 0;
A nastepnie po kazdym, dosłownie po kazdym mysql_query() daj $i++;

A na koncu daj
echo $i;

Ile wyswietla? 12?

[poczatkujaca12]

hmm dziwne wyskakuje mi 10 przy 3 produktach:
efekt:
jestem w for - 1
jestem w while - 2
jestem w ifie spełniającym warunek - 3
jestem w for - 4
jestem w while - 5
jestem w ifie spełniającym warunek - 6
jestem w for - 7
jestem w while - 8
jestem w ifie spełniającym warunek - 9
jestem w for - 10

Suma: 10

nie wygląda to na straszną liczbę...
hmm nie wiem co może powodować przekraczanie limitów...
Tym bardziej że na stronie jest max 2 userków... a najczęściej 1

Ten post edytował poczatkujaca12 24.06.2010, 14:51:06

[erix]

Zapytania w pętli = zuo.

[PHP] pobierz, plaintext 
$z1=mysql_query("Select * from down where id_user='".$r['ius']."' and plik='".$k['plik']."'");
		if (mysql_num_rows($z1)!=0){
			mysql_query("update down set koniec=DATE_FORMAT(TIMESTAMPADD(DAY,+".$ldni.",now()), '%Y-%m-%d'), pobran='".$lpobran."' where id_user='".$r['ius']."' and plik='".$k['plik']."'");
		$text .= "\r\n ".$adres."/pobierz/".$r['ius']."/".$k['plik']."\r\n";
		} else {
			mysql_query("insert into down set id_prod='".$nazwa."', id_user='".$r['ius']."', plik='".$k['plik']."', koniec=DATE_FORMAT(TIMESTAMPADD(DAY,+".$ldni.",now()), '%Y-%m-%d'), pobran='".$lpobran."'");
		$text .= "\r\n ".$adres."/pobierz/".$r['ius']."/".$k['plik']."\r\n";
		}
[PHP] pobierz, plaintext 

Poczytaj o indeksie UNIQUE i ON DUPLICATE KEY UPDATE. Trzy zapytania zmienią się magicznie w jedno.

A jak się bardziej postarasz (posklejasz tę tablicę w odpowiednie WHERE), to podejrzewam, że całość zamknie się w jednym zapytaniu.

[poczatkujaca12]

tylko akurat w tej tabelce pola id_user ani plik nie mogą być unique
chyba, że istnieje możliwość, żeby zrobić te 2 pola razem na unikalne
bo moze byc:
id_user 1 plik abc.txt
id_user 1 plik nazwa.pdf
id_user 2 plik nazwa.pdf

Ale jak już istnieje
id_user 1 plik nazwa.pdf
to drugi raz takiego rekordu dodać nie może.


Ten post edytował poczatkujaca12 24.06.2010, 21:10:17

[erix]

tylko akurat w tej tabelce pola id_user ani plik nie mogą być unique
chyba, że istnieje możliwość, żeby zrobić te 2 pola razem na unikalne

Sprawdź, potem pogadamy.

[poczatkujaca12]

Z tego co znalazłam to te UNIQUE i ON DUPLICATE KEY UPDATE tyczą się tylko jednej wybranej kolumny...
chciałam wybrać id i po tym zaktualizować, ale i tak dodało kolejny rekord.

[sebekzosw]

co tak w ogóle ma robić to?

[erix]

Z tego co znalazłam to te UNIQUE i ON DUPLICATE KEY UPDATE tyczą się tylko jednej wybranej kolumny...

Z tego, co pamiętam, to jak każdy inny indeks można nakładać.

Zawsze możesz zrobić z danych CRC32 (szybkie) i będziesz miał jedną kolumnę na indeks.

[poczatkujaca12]

ok, z tym CRC podpowiedziałeś mi coś chyba podobnego i zrobiłam klucz który łączy te 2 kolumny... jej zawartość:
'id_userNazwa.pliku' i jest on unikalny
jednak nie aktualizuje mi danych...
mam zapytanie:

Kod

insert into down (id_prod, id_user, plik, crc, koniec, pobran) values ('bzdury', '1', 'bz.php', '1bz.php', koniec=DATE_FORMAT(TIMESTAMPADD(DAY,+7,now()), '%Y-%m-%d'), pobran='20') ON DUPLICATE KEY UPDATE crc=VALUES(crc)

OK nie dodaje nowego rekordu, ale też nie aktualizuje istniejącego...

Na pytanie co to ma robić:

[PHP] pobierz, plaintext 
$na = explode( '<br />', $r['npr']);
// Rozbija ciąg na tablicę
// wpisy tutaj wyglądają mniej więcej abc - 1<br  />nazwa - 2<br  />cos innego - 10<br />
 
$text .= "\r\n\r\nA poniżej przesyłamy linki do pobrania plików:\r\n";
$kol=count($na);
// zlicza ile jest takich elementów po rozdzieleniu ich po <br />
 
for($i=0; $i < $kol; $i++){
// pętelka
	$nazw = explode( '<br />', $r['npr']);
        // jeszcze raz rozbija na tablicę, chyba zbędna operacja, ale przynajmniej nie wykorzystuje mysqla :)
 
	$nazwa=substr($nazw[$i], 0, -4);
        // ucina ostatnie 4 wyrazy ze spacjami [" - 1" żeby została sama nazwa]
 
	$zo1=mysql_query("select * from prod where nazwa='".$nazwa."'");
        // wybiera produkty o podanej nazwie
 
	while($k=mysql_fetch_array($zo1)){
		$z1=mysql_query("Select * from down where id_user='".$r['ius']."' and plik='".$k['plik']."'");
                // wybiera z tabeli down to co wyżej wybrało z tabeli prod celem porównania czy dany rekord istnieje już, czy jeszcze nie.
 
		if (mysql_num_rows($z1)!=0){
                // jeśli istnieje to go aktualizuje
 
			mysql_query("update down set koniec=DATE_FORMAT(TIMESTAMPADD(DAY,+".$ldni.",now()), '%Y-%m-%d'), pobran='".$lpobran."' where id_user='".$r['ius']."' and plik='".$k['plik']."'");
		$text .= "\r\n ".$adres."/pobierz/".$r['ius']."/".$k['plik']."\r\n";
		} else {
                // w przeciwnym wypadku tworzy nowy wpis.
 
			mysql_query("insert into down set id_prod='".$nazwa."', id_user='".$r['ius']."', plik='".$k['plik']."', koniec=DATE_FORMAT(TIMESTAMPADD(DAY,+".$ldni.",now()), '%Y-%m-%d'), pobran='".$lpobran."'");
		$text .= "\r\n ".$adres."/pobierz/".$r['ius']."/".$k['plik']."\r\n";
		}
	}
}
[PHP] pobierz, plaintext 

Generalnie jest to do pobierania i generowania unikalnych linków do określonego pliku.
Dany użytkownik może ściągnąć plik max X razy, i link jest aktywny X dni.

hmm pytanie czy zapytanie z ON DUPLICATE KEY UPDATE rzeczywiście coś optymalizuje...
Bo w moim przypadku w pętli while wykonuja sie 2 zapytania...
jedno wybierające a drugie od warunku dodające lub aktualizujące...
a znalazłam, że ON DUPLICATE KEY UPDATE generuje 2 zapytania do bazy - pierwsze dodające i drugie [jeżeli wpis istniał] aktualizujące [tak zrozumiałam]... więc pozbywam się selecta i warunków [2 zapytań]... zamieniam na jedno zapytanie, generujące 2 zapytania do bazy z ON DUPLICATE KEY UPDATE??

=> http://forum.php.pl/index.php?showtopic=94...rt=#entry566638

Ten post edytował poczatkujaca12 25.06.2010, 00:48:38

[sebekzosw]

a nie lepiej to będzie sprawdzać przed wygenerowaniem linka ? tzn koleś wchodzi na podstronę gdzie jest ten link i na początku zostaje sprawdzany. wtedy liczba zapytań znacząco się zmniejszy bo nie każdy link będzie aktualizowany (tylko wtedy jak ktoś wejdzie)


czyli ostatecznie wyglądałoby to tak:

[PHP] pobierz, plaintext 
$z1 = mysql_fetch_assoc(mysql_query("Select * from down where id_user='".$r['ius']."' and plik='".$k['plik']."'"));
 
if (!empty($z1))
{
    mysql_query("update down set koniec=DATE_FORMAT(TIMESTAMPADD(DAY,+".$ldni.",now()), '%Y-%m-%d'), pobran='".$lpobran."' where id_user='".$r['ius']."' and plik='".$k['plik']."'");
    $text .= "\r\n ".$adres."/pobierz/".$r['ius']."/".$k['plik']."\r\n";
}
else
{
    mysql_query("insert into down set id_prod='".$nazwa."', id_user='".$r['ius']."', plik='".$k['plik']."', koniec=DATE_FORMAT(TIMESTAMPADD(DAY,+".$ldni.",now()), '%Y-%m-%d'), pobran='".$lpobran."'");
    $text .= "\r\n ".$adres."/pobierz/".$r['ius']."/".$k['plik']."\r\n";
}
[PHP] pobierz, plaintext 

oczywiście trzeba dostosować to do podstrony


mam nadzieje, że rozumiesz mój przekaz

Ten post edytował sebekzosw 25.06.2010, 09:15:54

[erix]

a znalazłam, że ON DUPLICATE KEY UPDATE generuje 2 zapytania do bazy - pierwsze dodające i drugie [jeżeli wpis istniał] aktualizujące [tak zrozumiałam]... więc pozbywam się selecta i warunków [2 zapytań]... zamieniam na jedno zapytanie, generujące 2 zapytania do bazy z ON DUPLICATE KEY UPDATE??

Nie pamiętam szczegółów, ale nawet jeśli, to te dwa zapytania są już realizowane bezpośrednio przez DBMS, czyli z pominięciem wyciągania jakichkolwiek danych do front-endu (czyli do PHP).

A jak nazwa wskazuje, UNIQUE jest indeksem, czyli sprawdzenie danej wartości jest ułamkiem sekundy. Generalnie lepiej jest obarczać takimi zadaniami bazę danych, oczywiście w granicach rozsądku, ale IMHO Twoja sytuacja jest tą właściwą.

[poczatkujaca12]

Znalazłam
Okazało się, że problem nie leżał w pętli... tzn nie tej

W kolejnym etapie miałam błąd w pliku odpowiadający za ściąganie pliku przez usera...
udało się naprawić [pierdółka - takie błędy są najgorsze], po czym okazało się, że w ogóle to jest nie potrzebne
[bo zupełnie zrezygnowałam z tego rozwiązania ]

I dzięki za pomoc

Ten post edytował poczatkujaca12 25.06.2010, 21:44:31