Wydajny sposób przechowywania danych Opcje

[eMartio]

Planuję napisać dużą aplikację dla masowej ilości odbiorców. I tak się właśnie zastanawiam w jaki sposób przechowywać dane. Oczywiście, te jawne, bo hasła, loginy i inne poufne informacje tylko w bazie danych. Jednak np. newsy, opisy, dane statystyczne, itp. czy warto trzymać w bazie?

Chcąc zoptymilizować aplikację musiałbym cache'ować wyniki zapytania do pliku. Nie jest to najlepsze rozwiązanie, bo najlepszym miejscem na cache jest pamięć operacyjna. Jednak nie mam pojęcia jak to stosować (a propo: może ktoś zapoda jakiegoś linka na ten temat?).

Bazując na Waszych doświadczeniach jakie rozwiązanie jest najbardziej optymalne:
a) pobieranie danych tylko z bazy danych
b) pobieranie danych z bazy danych i keszowanie do pamięci operacyjnej
c) pobieranie danych z bazy danych i keszowanie do pliku
d) przechowywanie poufnych danych w bazie oraz jawnych danych w pliku xml

Czy dobrym rozwiązaniem jest przchowywanie danych zamiast w bazie danych mysql, psql czy oracle właśnie w pliku XML?

Ten post edytował eMartio 7.03.2006, 14:20:25

[anas]

Hej.

Jeżeli chodzi o wydajność - to nie bardzo określiłeś gdzie chcesz na tej wydajności zyskać? Bo jeżeli chodzi Ci o sprawy typowo statystyczne to chyba wskazane jest nie rezygnować z bazy danych, tylko właśnie przenosić na tą płaszczyznę jak najwięcej operacji. Jeżeli będziesz miał dużo obliczeń przerzuconych na bazę, a dane statystyczne będziesz musiał generować pratkycznie na bierząco, możesz skorzystać z takich dobrodziejstw jak typ tabeli HEAP w MySQL(dane trzymane są w pamięci). Wskazane też żeby obliczenia, itp zachodziły w samej bazie i tutaj z pomocą przyjdzie PL/SQL i procedury składowane, funkcje, etc.

Koszta utrzymania = transfer danych, wieć jeżeli zakładasz dużą liczbę użytkowników skoncentruj się na optymalizacji struktury serwisu - wykorzystaj zalety XHTML + CSS.

Przykład:

Niech jedno wywołanie strony zajmuje w czystym HTML + formatowanie za pomocą font, itd. 80 KB, a w XHTML + CSS 40 KB to przy założeniu że masz 500 unikatowych użytkowników dziennie na stronie, każdy z nich odwiedza około 20 podstron.

HTML: 500 * 20 * 80 KB na dobe
XHTML: 500 * 20 * 40 KB na dobe

miesiecznie daje to w przypadku HTML -> 24 GB danych, a w przypadku XHTML -> 11 GB z hakiem.

Hosting z transferem 11 GB / msc znajdziesz, ale z 24 GB / msc bedzie Ci trudniej - napewno w dobrej cenie, a za kazdy dodatkowy GB zaplacisz slono.

Kolejny problem to obciazenie serwisu, ilosc danych, etc. Moim zdaniem w przypadku podstron raz generowanych pownienes postawic na jakis dobry system szablonow i cachowanie, to przy duzej liczbie wywolan, pozwoli Ci zaoszczedzic zuzycia mocy obilczeniowej, na przetwarzanie skryptu php.

Tak jak wspomnieli przedmowcy, i tak jak pisalem wyzej, skup sie na optymalizacji czesci obliczeniowej i jak najwiecej przerzuc na baze danych, dobrze zaplanuje strukture serwisu - to da Ci oszczednosci, a same wyniki cache'uj, zeby zaoszczedzic na potwornym liczeniu tego samego.

pozdrawiam

anas