Problem z LOAD DATA INFILE, Do bazy wrzuca tylko połowę rekordów... Opcje

[DawidF]

Witam,

Nie jestem wymiataczem co do MySQL'a, ale ten problem już mnie totalnie dobił.

Otóż mam tabelę, do której chciałbym załadować wszystkie dane z pliku tekstowego.
Poniżej pełny kod, jaki do tego stosuję:

Kod

<?php
include("cfg/bazka.php");
$ladowanie = "c:\\/usr\\/krasnal\\/www\\/dane\\/tekstowy.txt";
$polecenie = "LOAD DATA INFILE '$ladowanie' INTO TABLE dane FIELDS TERMINATED BY '\t' ENCLOSED BY '\"'";
$wyk = mysql_query( $polecenie, $link ) or die( mysql_error() );
echo "Zapisywanie danych zakończone powodzeniem!";
?>

W pliku tekstowy.txt mam ponad 6 milionów wierszy.
Na początku próbowałem zassać wszystko za jednym razem. Załadowało bez problemu nieco ponad 3 miliony - i wyświetliło komunikat, że operacja została wykonana.
Cóż, pomyślałem, że widocznie obowiązuje tutaj jakiś limit - czy to na bazę, czy też w samych ustawieniach MySQL'a (mówiłem, że nie jestem wymiataczem...).
No więc podzieliłem ten plik TXT na kilka mniejszych, po 1 milion rekordów każdy.
Wrzucam pierwszy (z 1 milionem rekordów). Załadowało dokładnie 500 tys. - i "zakończyło powodzeniem".
Dla testów zapuściłem upload tego samego pliku kilka razy z rzędu - za każdym razem ładowało 500 tysięcy linii i kończyło "powodzeniem". Po takich testowych uploadach mam już tabelę liczącą 7 milionów rekordów - 14 razy załadowałem pierwszych 500 tysięcy linii tego samego pliku...

Rozumie ktoś, na czym może polegać problem?

Byłbym wdzięczny za info, gdyby ktoś z Was spotkał się z czymś podobnym...

Pozdrawiam,
Dawid

[ennics]

czy próbowałeś wykonać tą operację z wiersza poleceń ?

[DawidF]

Tak, próbowałem - jest dokładnie to samo...

[sf]

Mysle, ze najlepszym wyjsciem bedzie sprawdzenie ustawien mysql, ktore sa opisane w dokumentacji. Pierwsze co bym zrobil to wlasnie tam bym zajrzal.

[DawidF]

Wierz mi, sf, nie napisałem tutaj nie zajrzawszy wcześniej we wszystkie znane mi miejsca...

Zrobiłem natomiast kolejny test - wykonałem to samo zapytanie, ale bez ENCLOSED BY '\"'

Efekt: zassało wszystkie wiersze z pliku... Tylko teraz na początku i końcu pól tekstowych są cudzysłowy!

Z tym już powinienem sobie poradzić, więc dzięki wszystkim, którzy zadali sobie trud i zastanowili się nad tym problemem...

Pozdrawiam,
Dawid

[dr_bonzo]

jest jeszcze opcja:

[SQL] pobierz, plaintext 
OPTIONALLY ENCLOSED BY '\"'
[SQL] pobierz, plaintext 

a szczegoly calego polecenia w manualu.