 wydajność mysql i apache |
| wydajność mysql i apache |
Post
#1
|
|
|
Grupa: Zarejestrowani Postów: 194 Pomógł: 2 Dołączył: 12.04.2004 Skąd: Częstochowa Ostrzeżenie: (10%) 
 |
Mam problem dość spory dotyczący granic możliwości przerobowych mysql i php.
Mam skrypt który ściąga dane w postaci xml i wrzuca je do bazy. W czasie wykonywania skryptu parsuje on 6 plików xml (simplexml) o wadze 300mb każdy razem okoł 3 milionów rekordów które następnie wrzucam do bazy mysql. Jak dotąd - skutecznie wieszam kompa lub - dostaje komunikat o koncu limitu czasu wykonywania skryptu który wydłużam do 2700 sec. - lub o czyms takim "Fatal error: Out of memory (allocated 702808064) (tried to allocate 16 bytes) " (działa póki co na localhost amd64 3,4 ghz, 1gb ram, winXp). czy ktoś z was miał podobne projekty do realizacji ? i czy jest na to jakiś sposób w ramach php+mysql (IMG:http://forum.php.pl/style_emoticons/default/questionmark.gif) Ten post edytował dado 1.03.2007, 09:38:35 |
 |
 
|
 |
|
Post
#2
|
|
|
Grupa: Zarejestrowani Postów: 764 Pomógł: 3 Dołączył: 30.04.2003 Ostrzeżenie: (0%) 
|
Ja mam coś takiego jednak przy znacznie mniejszych danych. Tzn. plik xml ma około 23 mega następnie dodaje do bazy danych (ok. 100 tys. rekordów). Na lokalnym komputerze działa prawidłowo. Niestety na serwerze home.pl wywala bład o alokacji pamięci i nic się z tym nie da zrobić.
Pytanie:Może jest jakiś sposób na "sekwencyjne" wczytywanie xml'a? |
|
|
|
dado wydajność mysql i apache 1.03.2007, 09:32:28 
Sh4dow Cytat(dado @ 1.03.2007, 09:32:28 ) ..... 1.03.2007, 14:02:55 strife Przenoszę do XML, AJAX > XML 1.03.2007, 16:55:12 splatch Spróbuj składać zapytanie w postaci masowej. Zgadu... 4.03.2007, 14:20:29 
Sh4dow Cytat(splatch @ 4.03.2007, 14:20:29 )... 5.03.2007, 11:05:13 splatch Cytat(Sh4dow @ 5.03.2007, 11:05:13 ) ... 5.03.2007, 23:02:04 SongoQ Czy przypadkiem COPY w PG nie ma jakis ograniczen?... 5.03.2007, 23:06:36 Sh4dow @splatch, hmmm, jesli ma 3 miliony rekordow, wszys... 12.03.2007, 15:45:48 splatch Cytat(Sh4dow @ 12.03.2007, 15:45:48 )... 12.03.2007, 22:29:44 Sh4dow wiesz w sumie to mozna zrobic binda w mysqli.
A c... 21.03.2007, 11:47:03 mike_mech Sorki za OT'a:
~Sh4dow śledzę ten wątek od po... 22.03.2007, 01:23:09 Sh4dow Cytat(mike_mech @ 22.03.2007, 01:23:0... 22.03.2007, 12:40:10  |
|
Aktualny czas: 7.10.2025 - 16:25 |
