Witaj Gościu! ( Zaloguj | Rejestruj )

Forum PHP.pl

> Import danych a wydajność serwisu
sardpal
post
Post #1





Grupa: Zarejestrowani
Postów: 10
Pomógł: 0
Dołączył: 29.06.2007

Ostrzeżenie: (0%)
-----


Witam, od pewnego czasu borykam się z pewnym problemem.
Opiekuję się serwisem, który codziennie wymaga aktualizacji bazy danych poprzez import kilku plików XML do bazy danych (MYSQL).
Pliki są wielkośći kilkunastu bądź kilkudziesięciu MB. W celu sprawnego importu dziele je na mniejsze porcje rzędu 1MB a nastepnie importuje pokoleji.
Baza danych zawierająca oferty składa się kilku tabel w ktorych liczba rekordow wacha sie od kilkunastu tysiecy do 1,5 mln rekordow.
W kazdej tabeli jest zdefiniowanych po kilka indeksów (w celu sprawnego dzialania wyszukiwarki w ktorej niezbedne jest łączenie kilku tabel poprzez JOIN)
jednak podczas importu (innstrukcji INSERT , UPDATE), koniecznosc aktualizacji indeksow sprawia ze trwa on o wiele dluzej i przez 3-4 godz serwis staje sie praktycznie nie dostepny dla uzytkownikow. Chodzi o to ze na tabele zapewne nakladane sa blokady podczas wykonywania instrukcji INSERT oraz UPDATE.
Serwis praktycznie zamiera poniewaz nie moze korzystac z tych tabel. Ma ktos moze pomysl jak rozdzielic dostep do zasobow ,
tak aby import oraz serwis dzialal sprawnie?
Serwis jest typu http://travelplanet.pl i mysle ze posiada podobna ilosc ofert (to tak dla zobrazowania z czym mam doczynienia...).
Go to the top of the page
+Quote Post

Posty w temacie
- sardpal   Import danych a wydajność serwisu   22.02.2008, 01:03:12
- - mhs   Ciągniesz to z merlina czy z jakiegoś innego syste...   22.02.2008, 07:58:17
- - nevt   a jak robisz te aktualizacje? pętlą w PH...   22.02.2008, 08:03:50
- - sardpal   Witam, tak ciagne z merlina tzn dokladniej mam pli...   22.02.2008, 08:52:32
- - nevt   spokojnie to przemyśl... jeżeli wysilisz się, i n...   22.02.2008, 10:41:27
|- - sardpal   Cytat(nevt @ 22.02.2008, 10:41:27 ) s...   22.02.2008, 11:07:24
- - mhs   @sardpal - a ten proces importu masz całkowicie za...   22.02.2008, 10:49:37
- - netmare   Ja coprawda nie znam się na MYSQL-u, ale poprę tut...   22.02.2008, 11:09:29
- - mhs   Cytat(sardpal @ 22.02.2008, 11:07:24 ...   22.02.2008, 11:17:36
|- - sardpal   Cytat(mhs @ 22.02.2008, 11:17:36 ) cz...   22.02.2008, 11:22:12
- - mhs   możesz mi pokazać, w jaki sposób dzielisz xml...   22.02.2008, 11:31:36
|- - sardpal   Cytat(mhs @ 22.02.2008, 11:31:36 ) mo...   22.02.2008, 12:09:44
- - mhs   Chodzi mi o kod jakim rozbijasz xml'a   22.02.2008, 12:14:03
|- - sardpal   Cytat(mhs @ 22.02.2008, 12:14:03 ) Ch...   22.02.2008, 12:15:43
- - mhs   Będę wdzięczny, gdyż muszę popracować nad tym co w...   22.02.2008, 12:21:15
- - sardpal   Teraz mi przyszlo do glowy takie rozwiazanie: Impo...   22.02.2008, 13:33:45
- - dr_bonzo   eee, uzywasz tabel MyISAM? bo w INNODB masz lepsze...   22.02.2008, 14:09:52
- - sardpal   Uzywam wlasnie MYISAM wiec transakcje odpadaja, ni...   22.02.2008, 14:18:51
- - mhs   Cytat(sardpal @ 22.02.2008, 14:18:51 ...   22.02.2008, 14:27:10


Reply to this topicStart new topic
1 Użytkowników czyta ten temat (1 Gości i 0 Anonimowych użytkowników)
0 Zarejestrowanych:

 



RSS Aktualny czas: 20.08.2025 - 00:03