Witam,

Kilka lat temu stworzyłem skrypt do przetwarzania plików XML -> SQL.
Działał szybko i tak jak chciałem, jednak plik XML był mały <500kb

Z czasem rósł i rósł, a teraz ma 5 Mb. Gdybym sam tworzył ten plik (własnym programem) to udałoby mi się zmniejszyć jego objętość do 3Mb.

Postanowiłem zmienić architekturę skryptu, w sumie napisać od nowa.
Jedną ze zmian było zmiana klasy SimpleXML na XMLReader. Wydajność poprawiła się piorunująco, ale wciąż serwer mieli i mieli. (host nazwa.pl)

Baza danych ma za zadanie aktualizować ceny w sklepie internetowym, a skrypt prze konwertować bo nie można wrzucić danych 1:1 tylko trzeba zrobisz szereg czynności czyszczące brudy.

Prosiłbym o rady... jak przyśpieszyć działanie skryptu który mieli 30s do nawet 2 minut.

- Mój pomysł na przyszłość, to podział bazy na paczki po 1000 rekordów i dopiero je przetwarzać.
- Wczytywać poprzedni plik, archiwalny i porównywać najpierw które rekordy się zmieniły i je tylko przetwarzać. (acz nie wiem czy wczytanie 2x po 5Mb nie będzie jeszcze jeszcze gorzej z wydajnością)

Zmień serwer, plik 5MB to jest żaden plik.
Pamiętam jak aktualizowaliśmy w sklepie stany XMLem który ważył 1,5GB Co z tego że wykonywał się 30 min, to było 1 raz dziennie więc problemu nie było.

Najprawdopodobniej Twój problem nie leży w XML czy PHP a w BD.

Ja chętnie bym zmienił serwer, ale niestety nie podejmę takiej decyzji, bo nie mogę.
Muszę próbować poprawić wydajność na tym co mam.

Jak już zwrócono Ci uwagę, problemem najprawdopodobniej nie jest odczyt XML-a, a baza danych.

1. Zmierz czasy odczytu danych z XML-a i operacji na bazie.
2. Upewnij się, że operacje na bazie są objęte transakcją.
3. Ewentualnie pokaż kod.

Rozumiem. Nie zrobiłem w tym wszystkim jednej rzeczy. Czyli móglbym wszystkie operacje UPDATE wykonać w jedny zapytaniu multi_query.