Witaj Gościu! ( Zaloguj | Rejestruj )

Forum PHP.pl

> [MySQL] Import naprawde duzej bazy csv, ...i zabawa z kodowaniem
kiler129
post
Post #1





Grupa: Zarejestrowani
Postów: 566
Pomógł: 35
Dołączył: 21.06.2006

Ostrzeżenie: (0%)
-----


Siedze od rana i mecze sie z importem csv do mysql. Jest to wycinek 8GB bazy (wycinek ma 200MB a mniejszy wycinek 8 rekordow).
Nie mam problemu z samym importem co z kodowaniem i jego predkoscia.
Przez 2h udalo sie poleceniu:

Kod
LOAD DATA LOCAL INFILE 'plik z baza' IGNORE INTO TABLE `tabela` FIELDS TERMINATED BY ';' LINES TERMINATED BY '\n';


zaimportowac nieco ponad 1mln rekordow (~50MB).
Drugi problem ktory testuje z wycinkiem 8 rekordowym to kodowanie.
Plik pierwotnie w kodowaniu cp1250, po obrobce iconv z konsoli linux jest w utf8 co nadal nie pomaga dry.gif
Po imporcie za pomoca w/w komedy phpmyadmin nadal pokazuje krzaki. Kolumne w ktorej sa polskie znaki ustawialem juz roznie, na utf_unicode, utf_general i cp1250_general - bez efektow.
Ma ktos jakikolwiek pomysl na w miare szybki import ktory nie pokrzaczy pliku?


--------------------
flexiCMS v2 [|||||||+--] 75% done
Go to the top of the page
+Quote Post

Posty w temacie


Reply to this topicStart new topic
1 Użytkowników czyta ten temat (1 Gości i 0 Anonimowych użytkowników)
0 Zarejestrowanych:

 



RSS Aktualny czas: 20.08.2025 - 15:46