Duże aplikacje i load balancing, Czyli co i jak zrobic jak maszyna nie daje rady Opcje

[kwiateusz]

Temat założony na prośbę SHIPa oraz normanosa traktujący o rozkładaniu obciążenia na wiele maszyn

[klakson]

Dzieki za pierwsze odpowiedzi, i juz uscislam, bo zbyt malo wyjasnilem......
W ogole na poczatku powiem, ze (wstępnie tylko) rozwiazanie dopasowalem do ceny.

Sytuacja bedzie taka, ze bedzie np 50 katalogow, w kazdym katalogu po 1k plikow - 1 plik na uzytkownika. Nie przemyslalem tego jeszcze dokladnie, bo moze bede wykorzystywal jeden plik na kilku lub wiecej uzytkownikow, to bede chcial optymalizowac, ale chyba to nie mam teraz znaczenia.
Dalej.... w danej chwili np 15% (i raczej wiecej nigdy nie bedzie) wszystkich uzytkownikow wysle porcje danych, kazdy do swojego pliku, czyli bedzie to dodanie, modyfikacja lub usunicie rekordu w pliku uzytkownika. I teraz, np co 5 minut bedzie wykonywana procedura scalania wszystkich plikow do jednego pliku, pobranie ich i przetorzenie przez logike na podstawie konkretnych filtrow/kryteriow oraz cięcie danych na kilkadziesiat plikow xml, ktore trzeba zaladowac do pamieci na 5 minut, bo na nich beda wykonywan czeste i rozne operacje prawie przez wszystkich uzytkownikow, wiec musi to mi siedziec w pamieci przez te np 5 minut i dzialac bardzo szybko (wiec baza danych tu odpada). Dlaczego kilkadziesiat plikow? bo beda to juz wtedy niezalezne od siebie dane, czyli np 70 tablic po 10MB, z czaem moga jednak dojsc do tego relacje miedzy tymi tablicami (jeszcze tego nie wiem, ale to juz nie jest tu istotne). Aha, ilosc danych wiadomo ze bedzie sie zmieniac co te 5 minut, np raz 70 plikow po 3MB, pozniej 70 plikow po 5MB itd, łącznie jednak nie wiecej niz około 700MB. Mozna wiec chyba przyjac jakis jeden bufor pamieci ram i zallokowac na te 70 tablic max 700MB.

A teraz jesli chodzi o RPSa, on jest punktem kluczowym, bo po pierwsze cena, po drugie cena, ktora implikuje rownie: 1)łącze, 2)wydajnosc procesora oraz 3)ramu. Po przegladnieciu ofert..... wybralem wlasnie RPSa III OVH, wiedzac dobrze ze ISCSI/NFS ma slaba wydajnosc, wiec baza mi tego nie uciagnie, tak wiec w tej cenie, z tym procesorem i ramem i przy braku limitu transferu na łaczu 100MB (co bardzo wazne) wlasnie ten RPS mi najbardziej pasuje do mojej koncepcji z ładowniem danych i logiki do pamieci. Dodam, ze do realizacji chce wykorzystac albo modlu apacha xslt albo php'owy procesor xslt.
A wazne jest tez, ze mysle o serwerze zapasowym, takim samym RPSie, gotowym od razu przejąć pracę, gdy pierwszy RPS sie wysypie.

Jesli w czyms sie bardzo myle, albo cos waznego pomijam, to prosze mi o tym powiedziec.
Dodam tylko, ze jesli mi to wszystko zagra i cos zaczne zarabiac, to jasne jest ze zaczne myslec o inwestycji, aby zrobic to lepiej, bezpieczniej, wydajniej. Na razie moge wydawac miesiecznie jedynie okolo 100 PLN.

Poczytam o BerkeleyDB, bo musze widziec w ogole czy to jest za free.

Dzieki za uwagi i prosze o wiecej (IMG:http://forum.php.pl/style_emoticons/default/smile.gif)
Przy okazji zycze wszelkiego dobra z okazji Swiat Bozego Narodzenia i Nowego 2009 Roku!

Ten post edytował klakson 20.12.2008, 16:44:36