[MySQL][PHP] Problem z load data infile |
[MySQL][PHP] Problem z load data infile |
15.02.2018, 11:35:45
Post
#1
|
|
Grupa: Zarejestrowani Postów: 259 Pomógł: 1 Dołączył: 3.07.2011 Ostrzeżenie: (0%) |
Mam komende do wgrywania csv ktora od dawna stosuje, jednak nagle napotkalem takie csv dla ktorego dziala niepoprawnie. Plik ma 300 MB i ponad 50 tys rekordow, ponizsze komenda wgrywa tylko 17 000. Pytanie, czemu i jak moge sprawdzic czy wystepuje jakis blad ?
Cytat LOAD DATA LOCAL INFILE "'.realpath(dirname(__FILE__).'/../../'.$sciezka_csv).'" INTO TABLE `baza_temp` CHARACTER SET utf8 FIELDS TERMINATED BY "," OPTIONALLY ENCLOSED BY "\"" LINES TERMINATED BY "\n" IGNORE 1 LINES Mozliwe ze bedzie trudno odniesc sie do tego problemu, wiec jesli znacie jakis inny sposob zeby z poziomu php wgrac tak duzy plik rowniez prosze napisac, byc moze to rozwiaze moj problem z ktorym utknalem :/ |
|
|
19.02.2018, 23:22:10
Post
#2
|
|
Grupa: Zarejestrowani Postów: 1 707 Pomógł: 266 Dołączył: 3.07.2012 Skąd: Poznań Ostrzeżenie: (0%) |
Jesteś pewien, że te pominięte nie naruszają jakiegoś kryterium np. o unikalności?
|
|
|
20.02.2018, 09:18:38
Post
#3
|
|
Grupa: Zarejestrowani Postów: 8 068 Pomógł: 1414 Dołączył: 26.10.2005 Ostrzeżenie: (0%) |
Przekonwertuj sobie np. tym http://www.convertcsv.com/csv-to-sql.htm
i odpal ręcznie. Ew. po odpaleniu LOAD DATA odpal jeszcze sobie `SHOW WARNINGS;` i zobacz czy wypluje Ci coś. |
|
|
27.02.2018, 15:16:33
Post
#4
|
|
Grupa: Zarejestrowani Postów: 259 Pomógł: 1 Dołączył: 3.07.2011 Ostrzeżenie: (0%) |
Troche to trwalo ale bylem zawalony inna robota. Juz wiem, zwraca blad:
Kod Invalid utf8 character string plik zajmuje 300 MB nie otworze go niczym "normalnym", nie wysle go tez nigdzie. Moja wersja mysql to 5.5.9, slyszeliscie moze kiedys o takim problemie ? |
|
|
27.02.2018, 15:20:28
Post
#5
|
|
Grupa: Zarejestrowani Postów: 6 761 Pomógł: 1822 Dołączył: 11.03.2014 Ostrzeżenie: (0%) |
-------------------- |
|
|
27.02.2018, 15:52:00
Post
#6
|
|
Grupa: Zarejestrowani Postów: 259 Pomógł: 1 Dołączył: 3.07.2011 Ostrzeżenie: (0%) |
Czytalem to zanim tu napisalem i nadal nie wiem jak to rozwiazac.
Plik csv mam z zewnatrz, nie mam wplywu na to jaki dostaje. Jest za duzy zeby go otworzyc i przerobic kodowanie recznie czy na stronie internetowej. Mam ustawione w poleceniu ze chce utf-8 a takich plikow csv mam ponad 200 i tylko z tym jest problem, nie moge zmienic kodowania bazy danych bo inne moga sie wysypac co trudniej mi bedzie sprawdzic, musze sobie poradzic z tym tylko ze mimo wyczytanych w internecie pod tym haslem odpowiedzi, nadal nie wiem co zrobic bo to co napisalem zdanie wczesniej, wyklucza je ... |
|
|
27.02.2018, 16:24:34
Post
#7
|
|
Grupa: Zarejestrowani Postów: 6 761 Pomógł: 1822 Dołączył: 11.03.2014 Ostrzeżenie: (0%) |
A to?
Cytat Plan B: Import as latin1. (You do not need to change the column/table definition, just the LOAD DATA.)
-------------------- |
|
|
Wersja Lo-Fi | Aktualny czas: 20.04.2024 - 03:06 |