Debian - Apache - Cały serwer pada, dużo operacji na plikach Opcje

[bim2]

Witam, spotkał się ktoś może z takim czymś że nagle pada mu serwer? Postawionego mam Debiana. Było bardzo duże obciążenie bazy ale udało mi się jakoś to opanować, to teraz co jakiś czas system się wyłącza.

Jest bardzo dużo operacji, bo dużo wizyt, do tego program jest co także ze stroną się synchronizuje oraz non stop pobiera dane z zewnątrz przez php-cgi.
Jako cache bazy używam zwykłych plików .txt
Nie wie ktoś czym to może być spowodowane?
Czy file_get_contents oraz file_put_contents może doprowadzić do wyłączenia się całego serwera?

Bardzo proszę o pomoc bo jestem w kropce.
PS. Mogę podać więcej danych.

[chlebik]

Z moich jakis tam doswiadczen z wiekszymi obciazeniami to wiem jedno - operacje na plikach potrafia byc jeszcze bardziej zasobozerne niz operacje na bazie. W ogole pomysl by trzymac jakikolwiek cache na plikach jest moim zdaniem poroniony. Od takich rzeczy jest RAM i tego sie trzymajmy.

Co do wylacznia - trudno powiedziec. Przy pewnym obciazeniu systemu czasem dzieja sie takie rzeczy, ze na prozno szukac ich w tutorialach czy manualach. Ja bym jednakze migrowal na rozwiazania pomijajace wykorzystanie plikow - jesli temat bedzie sie powtarzal, wowczas bedziemy myslec dalej.

[bim2]

Chyba doszedłem co jest nie tak. Serwer pada zaraz po wystartowaniu zasobożernej akcji uruchamianej przez crona. Robie sobie logi w cronie co już się zrobilo a co dopiero zaczeło i wyszło że pobieranie danych z bazy, później przeliczenie tego i znów dodanie wszystko psuje. Ale żeby wszystko siadało? Mysql czy apache rozumiem, ale system nie powinien klęknąć. Sprawdzę dziś czy to na pewno to i będę szukał dalej.

Powoli przenoszę się na memcached.

[Zbłąkany]

Jeśli był wyciek pamięci, to normalne, że system padł. Potrzebujesz OOM-Killer'a w jądrze w takim razie (IMG:style_emoticons/default/tongue.gif)

[bim2]

Hmmm, obrabianie właśnie tych danych wszystko psuło. Usunąłem ponad 7mln rekordów i jest ok. :/ Więc wychodzi na to że będę musiał archiwum trzymać jedynie z miesiąca... :/

[jmail]

a ze tak grzecznie spytam jaka to baza danych? MyShitql? jeżeli tak to może być problem z pobieraniem większej ilośc danych z bazy. sugeruję rozbić to na kilka paczek po mniejszej porcji (IMG:style_emoticons/default/tongue.gif)

[Zbłąkany]

Przy okazji pokazałbyś jakieś logi do czasu sprzed upadku systemu. To by było pomocne w diagnozowaniu (IMG:style_emoticons/default/smile.gif)