Czy oplaca sie cachowac zapytania bazy danych, Jesli cachuje dany box Opcje

[vadergb]

Mam takie pytanie

Oplaca sie cachowac zapytania z bazy danych jesli cachuje dany box.


np.
cachuje calego newsa(ilosc komentarzy, autora, kategorie, tagi etc.)

Tak na chlopski rozum nie oplaca sie cachowac zapytan i tego boxu (wtedy najpierw bedziemy musiel cachowac zapytanie a potem dany box - co za tym idzie bezsensu robimy cachowanie bazy).

Jesli moje myslenie jest dobre i w tym przypadku nie oplaca sie cachowac zapytania to mozna zrobic tak z wszystkim tj.

komentarze (nie cachujemy zapytan tylko caly box z komentarzami tj. autor, + dodatkowae opcje(np ilosc znajomych etc))

Patrzac na to cachowanie bazy danych jest zbedne(biorac pod uwage ze np. mysql ma system wlasny cachujacy)...

Jesli sie myle prosze o napisanie co jest bardziej oplacalne(mowimy o tym aby strona chodzila szybciej i mowimy tu o stronie gdzie dziennie jest grubo ponad 100 tys odslon ! )

[erix]

Tak na chlopski rozum nie oplaca sie cachowac zapytan i tego boxu (wtedy najpierw bedziemy musiel cachowac zapytanie a potem dany box - co za tym idzie bezsensu robimy cachowanie bazy).

Jeden cache więcej = N*zapytanie mniej.

N = liczba użytkowników otwierających stronę jednocześnie.

[vadergb]

Ale zauwaz ze jak mamy zapisany caly news w cache - to odczytujemy jego a nie zapytania z bazy.

Chodzi o to ze cachujemy sam box z np. newsem a nie zapytania.

[erix]

No to tym lepiej. ;]

biorac pod uwage ze np. mysql ma system wlasny cachujacy

To powiedz, dlaczego każda porządna biblioteka ma system cache? (IMG:http://forum.php.pl/style_emoticons/default/tongue.gif)

[vadergb]

Jesli mowisz o frameworkach to one sa zlym wyjsciem dla duzych stron.

Mowimy o przypadku gdy cachujemy calego boxa z newsami - czy wtedy cachowanie bazy cos daje?

Albo inaczej

co bardziej sie oplaca robic np pobierajac newsa:

1. cachowac zapytanie z bazy
2. cachowac calego newsa (z kategoriami,autorem etc)
3. cachowac zapytanie z bazy + cachowac calego newsa

Ten post edytował vadergb 10.06.2009, 20:38:06

[erix]

Mowimy o przypadku gdy cachujemy calego boxa z newsami - czy wtedy cachowanie bazy cos daje?

Ja robię podobnie na blogu - mam sidebar z kilkoma zapytaniami. Ale nie zmienia się on za często, więc robię cache na godzinę ważności. Zwykłe ob_start" title="Zobacz w manualu PHP" target="_manual z zapisywaniem do pliku. I baza jest odpytywana tylko wtedy, jeśli nie ma cache.

Jesli mowisz o frameworkach to one sa zlym wyjsciem dla duzych stron.

Teoretycznie tak, praktycznie - zdziwiłbyś się, ile stron napędzają frameworki.

2. cachowac calego newsa (z kategoriami,autorem etc)

Tak, jak napisałem wcześniej - samo zbuforowanie wyniku zapytania znacznie zmniejszy zużycie na zasoby. A maksymalne efekty osiągniesz zapisując cały wygenerowany blok.

[vadergb]

Czyli jesli chce zrobic najbardziej wydajna strone to:

1. powineineme zrezygnowac z cache zapytan do bazy na rzecz cache boxow(w klasie ktora pobiera zapytanie nawet nie umieszczac opcji cachowania zapytan - czy moze do czegos sie to przyda?)


Tak ostatnio zastanawialem czy oplaca sie korzystac z klasy PDO dla 100 wywolan zapytania SELECT id_base,time FROM time_base limit 1

zwykle 0.012507927299726
class PDO 0.013354476379311
classa extends PDO(czyli mozna tu dodac cachowanie, debugowanie i wszytko) 0.016115679599271

classa extends PDO - klasa ktora dziedziczy PDO - klasa PDO + dodatkowe funkcje

jak widac zwykle zapytanie jest najszybsze. Najgorsza wydajnosc ma klasa ktora dzieczy pdo . Tak sie zastanawiam czy oplaca sie napisac swoja klase, korzystac ze zwyklego mysql_query, napisac swoja klase do klasy pdo, korzystac tylko z pdo...

Dodam ze chodzi mi glownie o wydajnosc jako ze strona ktora mam( i chce przerobic ) ma ponad 100 tys odslon dziennie - a planuje rozbudowe i ta ilosc moze sie zwiekszyc kilkakrotnie.

pozdrawiam

Ten post edytował vadergb 10.06.2009, 21:07:43

[phpion]

zwykle 0.012507927299726
class PDO 0.013354476379311
classa extends PDO(czyli mozna tu dodac cachowanie, debugowanie i wszytko) 0.016115679599271

No właśnie. Warto korzystać ze zwykłych funkcji? Moim zdaniem nie. Różnice są na tyle niewielkie, że zdecydowanie lepiej wybrać PDO (lub jego rozszerzenie wedle potrzeb).

[vadergb]

Niby sa niewielki roznice ale gdy jest 1000 osob online to troche to daje.


JEszcze mam jedno pytanie. Z tego co wiadomo nie powinno sie robic zapytan w petli... wszystko fajnie jak jest news i mamy pobrac autora w jednym zapytaniu to pobierzemy. Ba nawet gdy mamy ilosc komentarzy to tez to pobierzemy.

A gdy nam sie trafi ze musimy pobrac kategorie ktore sa zapisane w innej tablicy i zeby odczytac je wszystkie trzeba wykonac while

czyli

[PHP] pobierz, plaintext 
<?php
while($news=costam){
 
while($cat where id_news=$news[id_news]){
}
 
}
?>
[PHP] pobierz, plaintext 

Tak wykonamy robiac petle w petli a gdy chcemy tego uniknac? To jak to mozna optymalnie pobrac?


Z tego co sie orientuje przy duzych projektach(duzo uzytkownikow):
- nie powinno sie korzystac z frameworkow(po co komu xxx klas ktore pozeraja cenny czas)
- teoretycznie kod strukturalny jest szybszy od class

Ja robiac duzy projekt myslalem o zastosowaniu:
-modelu MVC i najprostszych do tego klas(wszystko proste zeby duzego obciazenia nie bylo).
-cachowanie boxow
-klase na sesje, klase na autoryzacje(dostep do danych podstron).
-PDO + klasa dziedziczaca do niej.




Zastanawialem sie takze ostatnio nad zastosowaniem do PDO klasy Open Power Driver(http://www.eioba.pl/a70003/biblioteka_pdo_bazy_danych_podstawy_php - tu na dole jest opisana).

JEdnak po testach przy pobieraniu zapytania nie cachujac za pomoc klasy OPD i PDO wynik byl o wiele bardziej zadawalajacy na korzysc PDO.

[Fifi209]

Jeżeli chcesz mieć szybko pisz własne biblioteki w C/C++ (nie pamiętam jaki to język był), będzie o wiele szybciej niż kod strukturalny w php.

[erix]

Różnice są na tyle niewielkie, że zdecydowanie lepiej wybrać PDO (lub jego rozszerzenie wedle potrzeb).

Na pewno? Ja nie jestem tego taki pewien: http://dealnews.com/developers/php-mysql.html

A gdy nam sie trafi ze musimy pobrac kategorie ktore sa zapisane w innej tablicy i zeby odczytac je wszystkie trzeba wykonac while

Tak wykonamy robiac petle w petli a gdy chcemy tego uniknac? To jak to mozna optymalnie pobrac?

Przecież jak masz napisaną relację jeden - do-wielu (news - news2cat - cat) wszystko leci jednym zapytaniem i po prostu wyciągasz.

- teoretycznie kod strukturalny jest szybszy od class

Ale dużo ciężej coś poprawić/zarządzać. Jak zmienisz np. front-end do bazy, to wymieniasz tylko klasę, a nie łapiesz dziesiątki funkcji. O problemach z widocznością/zasięgiem/porządkiem wśród zmiennych nie wspomnę.

- nie powinno sie korzystac z frameworkow(po co komu xxx klas ktore pozeraja cenny czas)

Zależy. Przy większych projektach tworzy się dedykowane rozwiązania.

-cachowanie boxow

A gdyby tak całych stron? Powiedzmy - na tylko minutę, przy wielu użytkownikach połączonych jednocześnie zmniejszy diametralnie obciążenie (pomijam części wymagające logowania, etc). Zobacz, jak działa np. WP-Supercache.

-klase na sesje, klase na autoryzacje(dostep do danych podstron).

Nie lepiej ACL zintegrowany z sesją?

-PDO + klasa dziedziczaca do niej.

Patrz, link wyżej.

PS. O shm/akceleratorach przypominać chyba nie muszę?

[vadergb]

Cytat
Różnice są na tyle niewielkie, że zdecydowanie lepiej wybrać PDO (lub jego rozszerzenie wedle potrzeb).
Na pewno? Ja nie jestem tego taki pewien: http://dealnews.com/developers/php-mysql.html

Czyli powinienem sobie odpuscic PDO? i napisac wlasna klase? Czy skorzystac z mysqli + dopisac ew. klase dziedziczna

A gdyby tak całych stron? Powiedzmy - na tylko minutę, przy wielu użytkownikach połączonych jednocześnie zmniejszy diametralnie obciążenie (pomijam części wymagające logowania, etc). Zobacz, jak działa np. WP-Supercache.

Hmm przypuscmy podczas wyswietlania newsa (przypuscmy) mamy 3 boxy
[news] => zadko sie zmienia - cachujemy jako box
[komentarze] => Zmieniaja sie czesciej niz news - cachujemy jako box
[podobne newsy] => Zmieniaja sie (gdy pojawia sie jakis news z podanej kategorii) - cachujemy boxem
Gdybysmy cachowali cala strone to po zabawie z ktoryms komentem, newsem etc musimy cachowac od nowa. Chcialbym takze zaznaczyc ze te boxy bylyby cachowane do czasu edycji ktoregos elementu(nie ze wzgledu na czas).

Nie lepiej ACL zintegrowany z sesją?

O to mi chodzilo.

Ten post edytował vadergb 10.06.2009, 21:59:44

[erix]

Czyli powinienem sobie odpuscic PDO? i napisac wlasna klase? Czy skorzystac z mysqli + dopisac ew. klase dziedziczna

Właśnie. Osobiście, z PDO korzystam wtedy, gdy muszę (SQLite3) albo przy dosłownie malutkim projekcie, w którym trzeba coś szybko naskrobać. Coś większego - własny wrapper.

Gdybysmy cachowali cala strone to po zabawie z ktoryms komentem, newsem etc musimy cachowac od nowa. Chcialbym takze zaznaczyc ze te boxy bylyby cachowane do czasu edycji ktoregos elementu(nie ze wzgledu na czas).

I ok, rozsądnie. :]

Ale wiesz - przy większym obciążeniu stosuje się wtedy demony, które są zoptymalizowane do wywołań statycznych (np. YAWS w Erlangu, Nginx; YAWS jest potężny (IMG:http://forum.php.pl/style_emoticons/default/winksmiley.jpg) ). Wtedy cache całości ma sens.

[vadergb]

co do

PS. O shm/akceleratorach przypominać chyba nie muszę?

To sa sprawy zalezne od serwera. Mi chodzi o to co zrobic od strony skryptu(programisty) aby wszystko smigalo dobrze

[erix]

Jeśli chodzi o shm, to i od programisty zależy... (konkretniej od sterownika cache'ującego)

[vadergb]

Cytat
Tak wykonamy robiac petle w petli a gdy chcemy tego uniknac? To jak to mozna optymalnie pobrac?
Przecież jak masz napisaną relację jeden - do-wielu (news - news2cat - cat) wszystko leci jednym zapytaniem i po prostu wyciągasz.

Tu mamy relacje wielu do wielu chyba

1 tabela newsy: [id_news,tytul]
2 tabela kategorie [id_cat,nazwa]
3 tabela news_cat [id_news,id_cat]

mamy 2 newsy
1 => [1,pierwszy news]
2 => [2, drugi news]
mamy 2 kategorie
1=> [1, pierwza kategoraia]
2=> [2, druga kategoria]
rekordy w news_cat:
1=> [1,1](1 news do 1 kategorii)
2=> [1,2](1 news do 2 kategorii)
3=> [2,1](2 news do 1 kategorii)

czyli musimy zrobic

[PHP] pobierz, plaintext 
<?php
$query = "SELECT id_news, tytul FROM newsy limit 5";
        $result = mysql_query ( $query );
        while ( ($line = mysql_fetch_array ( $result )) ) {
 
echo 'To jest tytul: '.$line[tytul].'<br />';
    $query1 = "SELECT kategorie.nazwa FROM news_cat, kategorie where news_cat='$line[id_news]' and news_cat.id_cat=kategorie.id_cat";
        $result1 = mysql_query ( $query1 );
echo 'To sa kategorie:';
        while ( ($line1 = mysql_fetch_array ( $result1 )) ) {
echo '$line1[nazwa],';
 
 
        }
?>
[PHP] pobierz, plaintext 

Kod napisany na szybko nie wiem czy dziala chodzilo o to zeby pokazac o co mi chodzi.

takie cos wyswietli nam
1 box:
To jest tytul: pierwszy news
To sa kategorie: Pierwsza kategoria, druga kategoria,
2 box:
To jest tytul: drugi news
To sa kategorie: Pierwsza kategoria

Jak wyswietlic cos takiego bez uzycia petli w petli jak pokazalem to u gory ?

[phpion]

Jak wyswietlic cos takiego bez uzycia petli w petli jak pokazalem to u gory ?

Ja tego typu sprawy rozwiązuję 2 zapytaniami:

Pierwsze:

[SQL] pobierz, plaintext 
SELECT id_news, tytul FROM newsy LIMIT 5;
[SQL] pobierz, plaintext 

Drugie:

[SQL] pobierz, plaintext 
SELECT news_cat, kategorie.nazwa FROM news_cat, kategorie WHERE news_cat IN (SELECT id_news FROM newsy LIMIT 5) AND news_cat.id_cat=kategorie.id_cat;
[SQL] pobierz, plaintext 

Potem tylko odpowiednie obrobienie tego w PHP (utworzenie odpowiedniej tablicy) i masz wszystko co trzeba.

Jeżeli Twoja wersja MySQL nie obsługuje LIMITu w podzapytaniu lub chciałbyś się po prostu pozbyć podzapytania to możesz w PHP pobrać wszystkie wyciągnięte id z zapytania pierwszego, przypisać je do tablicy no i potem w PHP:

[PHP] pobierz, plaintext 
<?php
mysql_query('SELECT news_cat, kategorie.nazwa FROM news_cat, kategorie WHERE news_cat IN ('.implode(', ', $tab).') AND news_cat.id_cat=kategorie.id_cat');
?>
[PHP] pobierz, plaintext 

Ten post edytował phpion 11.06.2009, 12:37:16

[vadergb]

Zrobilem cos takiego:

[PHP] pobierz, plaintext 
<?php
$query = "SELECT news . * , GROUP_CONCAT( DISTINCT game ORDER BY game DESC  SEPARATOR  ', ' ) as dupa
         FROM news LEFT JOIN news_cat ON news_cat.id_news = news.id_news
          LEFT JOIN games ON news_cat.id_cat = games.id_game GROUP BY id_news LIMIT 0 , 30";
        $result = mysql_query ( $query );
        while ( ($line = mysql_fetch_array ( $result )) ) {
        }
?>
[PHP] pobierz, plaintext 

vs

[PHP] pobierz, plaintext 
<?php
$query = "SELECT * from news";
        $result = mysql_query ( $query );
        while ( ($line = mysql_fetch_array ( $result )) ) {
            
    $query22 = "SELECT games.game from news_cat,games where news_cat.id_news=".$line['id_news']." and news_cat.id_cat=games.id_game";
        $result22 = mysql_query ( $query22 );
        while ( ($line22 = mysql_fetch_array ( $result22 )) ){ 
        }
        }
?>
[PHP] pobierz, plaintext 

przy petli 100x pobran:

1 sposob 0.24362802505493
2 sposob 0.35362802505493

Baza liczy okolo 20-30 newsow(malo), kategori(games) - liczy okolo 20, a a news_cat liczy tez okolo 20


Wszystko fajnie... ale co jak chcemy pokazac inaczej te dane niz nazwa1, nazwa2, nazwa3 ?

jesli np chcemy zrobic z tego <a href="link do newsow tylko danej kategori>nazwa1</a>,<a href="link do newsow tylko danej kategori>nazwa2</a>?

Mamy pobrac w nastepne pole(albo to samo id)? i bawic sie tym? utworzyc z tego tablice a potem wyswietlic? (Wszystko to kosztuje czas)...


Znalazlem jeszcze jeden sposob

[PHP] pobierz, plaintext 
<?php
$query = "SELECT * from news order by id_news";
        $result = mysql_query ( $query );
        
       $wynik = array();
        while ( ($line = mysql_fetch_array ( $result )) ) {
               $wynik[$line['id_news']] = array( // 1
                                'id_news' => $line['id_news'],
                                'title' => $line['title'],
                                'cat' => array() // 2            
                        );
        }
    $query22 = "SELECT news_cat.id_news,games.game,games.id_game from news_cat,games where news_cat.id_cat=games.id_game";
        $result22 = mysql_query ( $query22 );
        while ( ($line22 = mysql_fetch_array ( $result22 )) ){ 
             $wynik[$line22['id_news']]['cat'][] = array( // 4
                                'game' => $line22['game'],
                                'id_game' => $line22['id_game']                 
                        );
        }
         $i=0;   
     foreach($wynik as &$news_show)
                {
                    $i++;
                        echo '<h3>'.$i.'. '.$news_show['title'].' ('.$news_show['id_news'].')</h3>';
                        foreach($news_show['cat'] as &$kategoria)
                        {
                                echo '<p><i>'.$kategoria['game'].'</i>
                                (Wyd. '.$kategoria['id_game'].')</p>';                  
                        }
                }
    }
?>
[PHP] pobierz, plaintext 

Jesli chodzi o czas wykonania dla 100 pobran to jest on wiekszy od 1 sposob z postu wyzej i mniejszy od 2 sposob z postu wyzej.

Tylko ze tych kategori nie ma duzo (okolo 20)... a co jak ich bedzie 200 ? Ten sposob wtedy sie mija z celem...



Jaka jest najbardziej optymalna droga?

Ten post edytował vadergb 11.06.2009, 21:16:01