Duże aplikacje i load balancing, Czyli co i jak zrobic jak maszyna nie daje rady Opcje

[kwiateusz]

Temat założony na prośbę SHIPa oraz normanosa traktujący o rozkładaniu obciążenia na wiele maszyn

[klakson]

Witam serdecznie,

chcialbym wykonac aplikacje w php, z dosc duza iloscia uniklanych userow w tym samym czasie, np 50 tys, ktorzy pobieraliby i wysylali z/do serwera mala porcje danych, czyli bylaby duza dynamika zmiany danych w tym samym czasie. Calosc danych max do 150 tys rekordow, 10 kolumn - w kazdym polu np 500 bajtow.
I teraz mam pytania:

- gdzie moge poczytac o takich rozwiazaniach w php, co zastosowac (moduly, biblioteki), jak to sie je?, aby raz (zalozmy na 5 minut) zaladowac do pamieci biezace dane ok 700MB, a logike przy kazdym (re)starcie. Dane na dysku bede gromadzil w kilkudziesieciu plikach txt,
a nie w bazie danych.
Oczywiscie wszystkie inne porady i wskazowki od doswiadczonych programistow chetnie przyjme. Jesli chodzi o optymalizacje dostepu do wszystkich danych, pociecie na tablice, sprawdzanie zlozonosci obliczeniowej, wydajnosci... to juz sam bede sobie radzil.

- i jeszcze jedno - praktyka, czy w przypadku niezawodnego, optymalnego oprogramowania, taki RPS: http://www.ovh.pl/prywatne/produkty/rps3.xml bedzie w stanie mi to ucjagnac? A jesli nie, czy rozwiazanie zrownoleglic (np na 2 RPSy), czy innego, silniejszego dedyka wziac na początek? Nie mam pojecia jak to w praktyce wyglada, wiec prosze o opinie osob doswiadczonych w boju. Chce aby mi to wyszlo jak najtaniej, przy dobrym np 100MB łączu..... a szczegolnie musze to najtaniej przetestowac przy realnym obciazeniu.

Bede wdzieczny za wszelkie odpowiedzi, namiary na materialy... musze jakos wystartowac, poczytac...., bo na teraz nie mam bogatego doswiadczenia w praktycznym programowaniu, znam jednie teorie algorytmow i szacowanie zlozonosci obliczeniowej.

[rashid]

Witam serdecznie,

chcialbym wykonac aplikacje w php, z dosc duza iloscia uniklanych userow w tym samym czasie, np 50 tys, ktorzy pobieraliby i wysylali z/do serwera mala porcje danych, czyli bylaby duza dynamika zmiany danych w tym samym czasie. Calosc danych max do 150 tys rekordow, 10 kolumn - w kazdym polu np 500 bajtow.
I teraz mam pytania:

- gdzie moge poczytac o takich rozwiazaniach w php, co zastosowac (moduly, biblioteki), jak to sie je?, aby raz (zalozmy na 5 minut) zaladowac do pamieci biezace dane ok 700MB, a logike przy kazdym (re)starcie. Dane na dysku bede gromadzil w kilkudziesieciu plikach txt,
a nie w bazie danych.

50tys. jednoczesnych uzytkownikow i kilkadziesiat plikow txt? Wychodzi na to, ze mozesz miec tysiac uzytkownikow korzystajacych z kazdego z tych plikow jednoczesnie - to jest nierealizowalne w praktyce. Wlasnie po to korzysta sie z baz danych, ktore kolejkuja polecenia.

Zwroc jednak uwage, ze bazy danych SQL zwykle kiepsko radza sobie z duza liczba modyfikacji/nowych wierszy/usuniec, wiec warto rozwazyc alternatywy. Jesli jestes w stanie okreslic maksymalna liczbe rekordow i liczbe danych w kazdym rekordzie, to najszybszym rozwiazaniem bedzie chyba skorzystanie z BerkeleyDB (BDB). Jest to bardzo szybka baza danych oparta na plikach. Predkosc takiego rozwiazania bywa o rzedy wielkosci wyzsza od tradycyjnych baz SQL w niektorych zastosowaniach.