Ładowanie duzych danych w php, CSV -> MySQL poprzez php Opcje

[macdavido]

Witajcie,
mam taki problem
jest plik CSV zawierający 21 kolumn i bardzo dużą ilość pozycji (jakies 38 tysięcy). Napisałem filtr i skrypcik który ładnie to wrzuca do bazy. Lecz niestety ale zrywa wrzucanie danych w różncyh losowych miomentach. Czasem pozycja 880 albo 1920-a itd. Czy to jakieś przeciążenienie czy coś innego co nie uwzględniłem. Procedura na początku nawiązuje połączenie, potem w pętli while wrzuca po kolei dane a na koniec zamyka połączenie. Plik CSV znajduje się na serwerze tam gdzie odpalany jest skrypt do przerzucenia danych na MySQL.

Znacie ten problem? możecie wspomóc radą?

Pozdrawiam
MacDavido

[mariuszn3]

Rozszerzenie mysqli ma funkcję multi_query i przez to możesz aplikować wiele insert'ów na raz, jest to dużo szybsze niż pojedyńcze wywołania query, też poprzez mysqli możesz wysyłać skompresowane dane.
Miałem ten problem kiedyś i generalnie trzeba limitować ilość zapytań na przeładowanie (też wszystko zależy od serwera, jedne odmówią współpracy wcześniej inne później.)
Nie mniej używając mysqli_multi_query mogłem dodawać znacznie więcej danych na raz niż poprzez zwykłe query.