Problem z przeliczaniem duzej ilości wierszy[PHP+SQL] Opcje

[adrian512]

Witam wszystkich,

mam problem z przeliczeniem duzej ilosci wierszy w bazie danych a dokladniej w tabeli : DokFin mam 50tys wierszy, Historiafin mam 60tys wierszy, Towary okolo 6 tys wierszy.


potrzebuje program który pobierze mi w zaleznosci od dat ID dokumentu finansowego z DokFin, pozniej wyszuka to ID w tabeli HistoriaFin, następnie pobierze z HistoriaFin IDtowaru,cene zakupu i ilosc( cena i ilosc pomnoży i zapisze do zmiennej) a Id towaru wyszuka w tabeli Towary i pobierz idGrupy do której nalezy towar.

Napisałem cos takiego :

[PHP] pobierz, plaintext 
$query = "select Id from DokFin where (DokFin.DataSprzedazy between '2014-06-01' and '2014-06-02')   ";
 
$wynik = mysql_query($query); 
while ($rekord = mysql_fetch_array($wynik)) {
 
  $tempiddok[]=$rekord['Id']; //pobieram Id dokumentu sprzedazy spelniajace zakres dat
}
 
foreach ($tempiddok as $key => $val) {
  $query2 = "select IdTowaru, Ilosc, ce_zn from HistoriaFin where HistoriaFin.IdDokFin like '$val' ";  //pobieram id towaru spelniajacego zakres dat
  $wynik2 = mysql_query($query2);
   while ($rekord2 = mysql_fetch_array($wynik2)) {
       $tempidtowaru[]=$rekord2['IdTowaru'];
 
       // Sprawdzam do jakiej grupy nalezy towar///
 
    //licze wartosc danego dokumentu magazynowego 
   $wartosczakupu=$rekord2['Ilosc']*$rekord2['ce_zn'];
   $wartoscgrupy[$tempidgrupy]=$wartoscgrupy[$tempidgrupy]+$wartosczakupu;
  }
[PHP] pobierz, plaintext 

Problem w tym gdy daty są np odlegle o 3 miesiace to program wykonuje to dłuzej niz 8000sekund.. Ktoś pomoże jak to rozwiazac?

[nospor]

1) Do porownania konkretnej wartosci nie uzywa sie LIKE tylko =
2) To co tu wszystko masz, realizuje się jednym zapytaniem a nie petryliardem w petli jak masz teraz. Poczytaj o JOINach w mysql

[Turson]

[SQL] pobierz, plaintext 
SELECT DokFin.id, HistoriaFin.cena, HistoriaFin.ilosc, Towary.idGrupy  
FROM DokFin JOIN HistoriaFin ON DokFin.id = HistoriaFin.id 
JOIN Towary ON Towary.id = DokFin.id 
WHERE HistoriaFin.IdDokFin = DokFin.id AND (DokFin.DataSprzedazy BETWEEN '2014-06-01' AND '2014-06-02')
[SQL] pobierz, plaintext 

Ten post edytował Turson 30.06.2014, 11:58:39

[nospor]

@Turson, zapomniales o czyms....
HistoriaFin.IdDokFin = $val
(IMG:style_emoticons/default/wink.gif)

[Turson]

Podejrzewam, że IdDokFin jest integerem

[nospor]

A co ma piernik do wiatraka? Chodzi o to, ze zamiast $val ma byc nazwa kolumny z drugiego łączenia...

[Turson]

Aaa, myślałem że chodzi o brak '', a $val to jakaś zmienna z $_POST czy coś (IMG:style_emoticons/default/smile.gif)
Autor niech sam poprawi

[nospor]

Nie, nie jest tozmienna z post...z kodu widac wyraznie, ze jest to zmienna z petli po idkach.... a poto przeciez zrobiles złączenie by tej petli nie bylo, nieprawdaz?

[Turson]

myślałem że chodzi o brak '', a $val to jakaś zmienna z $_POST czy coś

Może niejasno, ale napisałem, że myslałem iż $val to zmienna niepochodząca z zapytań, nieprawdaż? (IMG:style_emoticons/default/biggrin.gif)

Ten post edytował Turson 30.06.2014, 11:48:17

[nospor]

Dlatego wyprowadzilem Cię z błędu, nieprawdaż?

[Turson]

Tak, ale dwukrotnie. W poście #7 napisałem, że już wiem co to jest $val, ale źle zrozumiałeś i w poście #8 wytłumaczyłeś jeszcze raz, więc nie zrozumiałeś kontekstui mojej wypowiedzi.
Ale my mamy problemy (IMG:style_emoticons/default/smile.gif)

[nospor]

(IMG:style_emoticons/default/smile.gif)
Nie mniej jednak mogles poprawić juz to zapytanie, skoro wiedzialec co jest czym. Autor nie koniecznie musi wiedziec co chciales tym zapytaniem osiągnąć i skoro juz mu dales gotowca, to moglby on byc poprawny.

[adrian512]

Dzięki bardzo za odpowiedź.

Próbuje na wszystkie sposoby mam coś takiego :

[PHP] pobierz, plaintext 
$query = "SELECT DokFin.Id, HistoriaFin.ce_zn, HistoriaFin.Ilosc, Towary.IdGrupy  
FROM DokFin JOIN HistoriaFin ON DokFin.Id = HistoriaFin.Id 
JOIN Towary ON Towary.Id = DokFin.IdTowaru 
WHERE HistoriaFin.IdDokFin = DokFin.Id AND (DokFin.DataSprzedazy BETWEEN '2014-06-01' AND '2014-06-02') " ;
 
 
  $wynik = mysql_query($query);
   while ($rekord = mysql_fetch_array($wynik)) ....
[PHP] pobierz, plaintext 

I dostaje błąd:

Warning: mysql_fetch_array() expects parameter 1 to be resource, boolean given in ( wskazuje na linijke: while ($rekord = mysql_fetch_array($wynik)) )

[Turson]

[PHP] pobierz, plaintext 
 $wynik = mysql_query($query) or die(mysql_error());
[PHP] pobierz, plaintext 

[adrian512]

Dzięki, problem był z złą nazwą tabeli

Ale dalej długo to trwa, jest mozliwosc jeszcze jakoś to poprawić?

[nospor]

WHERE (DokFin.DataSprzedazy BETWEEN '2014-06-01' AND '2014-06-02') " ;
No i przydalby sie index na pole DataSprzedazy

[adrian512]

Zrobiłem wszystko jak pisałeś , jednak ten czas dalej taki sam.. (Historiamag zawiera 600tys wierszy,) macie jakieś jeszcze pomysly?

[nospor]

Przy prawidlowym indeksie nie powinno byc takich problemow.

Pokaz jak wygląda akualne zapytanie oraz pokaz EXPLAIN z tego zapytania

[adrian512]

Nie wiem czy dobrze użyłem EXPLAIN(wstawiłem zamiast SELECT?)

Podaje kod jak wygląda:

[PHP] pobierz, plaintext 
 
$query = "EXPLAIN DokFin.Id, HistoriaFin.ce_zn, HistoriaFin.Ilosc, Towary.IdGrupy  
FROM DokFin JOIN HistoriaFin ON DokFin.Id = HistoriaFin.IdDokFin 
JOIN Towary ON Towary.Id = HistoriaFin.IdTowaru 
WHERE  (DokFin.DataSprzedazy BETWEEN '2014-06-01' AND '2014-06-02') " ;
 
 
 $wynik = mysql_query($query) or die(mysql_error());
   while ($rekord = mysql_fetch_array($wynik)) {
 
 
 
 
 
    $tempidgrupy=$rekord['IdGrupy'];  
 
   $wartosczakupu=$rekord['Ilosc']*$rekord['ce_zn'];
   $wartoscgrupy[$tempidgrupy]=$wartoscgrupy[$tempidgrupy]+$wartosczakupu;
 
  }
[PHP] pobierz, plaintext 

oraz wynik EXPLAIN : You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ' HistoriaFin.ce_zn, HistoriaFin.Ilosc, Towary.IdGrupy FROM DokFin JOIN Histor' at line 1

Lub z PHPmyAdmin : Explain:
id, select_type, table,type,possible_keys,key,key_len,ref,rows ,Extra
1,SIMPLE,DokFin,range,DataSprzedazy,DataSprzedazy,3,NULL,1053,Using where
1,SIMPLE,Towary,ALL,NULL,NULL,NULL,NULL,9214,,Using join buffer
1,SIMPLE,HistoriaFin,ALL,NULL,NULL,NULL,NULL,547551,Using where; Using join buffer


Masz pomysl?

[Turson]

Nie zamiast select a przed