 wydajność mysql i apache |
| wydajność mysql i apache |
Post
#1
|
|
|
Grupa: Zarejestrowani Postów: 194 Pomógł: 2 Dołączył: 12.04.2004 Skąd: Częstochowa Ostrzeżenie: (10%) 
 |
Mam problem dość spory dotyczący granic możliwości przerobowych mysql i php.
Mam skrypt który ściąga dane w postaci xml i wrzuca je do bazy. W czasie wykonywania skryptu parsuje on 6 plików xml (simplexml) o wadze 300mb każdy razem okoł 3 milionów rekordów które następnie wrzucam do bazy mysql. Jak dotąd - skutecznie wieszam kompa lub - dostaje komunikat o koncu limitu czasu wykonywania skryptu który wydłużam do 2700 sec. - lub o czyms takim "Fatal error: Out of memory (allocated 702808064) (tried to allocate 16 bytes) " (działa póki co na localhost amd64 3,4 ghz, 1gb ram, winXp). czy ktoś z was miał podobne projekty do realizacji ? i czy jest na to jakiś sposób w ramach php+mysql (IMG:http://forum.php.pl/style_emoticons/default/questionmark.gif) Ten post edytował dado 1.03.2007, 09:38:35 |
 |
 
|
 |
Post
#2
|
|
|
Grupa: Zarejestrowani Postów: 569 Pomógł: 0 Dołączył: 17.08.2003 Skąd: Dąbrowa Górnicza Ostrzeżenie: (0%) 
|
Cytat(dado @ 1.03.2007, 09:32:28 )  ... W czasie wykonywania skryptu parsuje on 6 plików xml (simplexml) o wadze 300mb każdy razem okoł 3 milionów rekordów które następnie wrzucam do bazy mysql. Jak dotąd ... to co zaznaczylem jest najwiekszym bledm, Simplexml z tego co wiem (mam nadzieje ze nie pomylilem sie) parsuje caly plik naraz metoda DOM. wiec taki plik bezproblemowo zapcha kazdy serwer. Proponuje uzyc parsowania SAX'em (Uzyj tego) i parsujac plik dodaj go do bazy. Tym sposobem paro GB pliki xml mozna ładowac do bazy i nic sie nie bedzie dzialo. To wina blednego zastosowania lub raczej rozwiązania. Edit: zreszta temat chyba tutaj nie pasuje Ten post edytował Sh4dow 1.03.2007, 14:03:48 |
|
|
|
dado wydajność mysql i apache 1.03.2007, 09:32:28 
mhs Ja mam coś takiego jednak przy znacznie mniejszych... 1.03.2007, 10:49:32 strife Przenoszę do XML, AJAX > XML 1.03.2007, 16:55:12 splatch Spróbuj składać zapytanie w postaci masowej. Zgadu... 4.03.2007, 14:20:29 
Sh4dow Cytat(splatch @ 4.03.2007, 14:20:29 )... 5.03.2007, 11:05:13 splatch Cytat(Sh4dow @ 5.03.2007, 11:05:13 ) ... 5.03.2007, 23:02:04 SongoQ Czy przypadkiem COPY w PG nie ma jakis ograniczen?... 5.03.2007, 23:06:36 Sh4dow @splatch, hmmm, jesli ma 3 miliony rekordow, wszys... 12.03.2007, 15:45:48 splatch Cytat(Sh4dow @ 12.03.2007, 15:45:48 )... 12.03.2007, 22:29:44 Sh4dow wiesz w sumie to mozna zrobic binda w mysqli.
A c... 21.03.2007, 11:47:03 mike_mech Sorki za OT'a:
~Sh4dow śledzę ten wątek od po... 22.03.2007, 01:23:09 Sh4dow Cytat(mike_mech @ 22.03.2007, 01:23:0... 22.03.2007, 12:40:10  |
|
Aktualny czas: 13.10.2025 - 17:32 |
