Witaj Gościu! ( Zaloguj | Rejestruj )

Forum PHP.pl

 
Reply to this topicStart new topic
> [MySQL][PHP] Problem z load data infile
Octobus
post 15.02.2018, 11:35:45
Post #1





Grupa: Zarejestrowani
Postów: 259
Pomógł: 1
Dołączył: 3.07.2011

Ostrzeżenie: (0%)
-----


Mam komende do wgrywania csv ktora od dawna stosuje, jednak nagle napotkalem takie csv dla ktorego dziala niepoprawnie. Plik ma 300 MB i ponad 50 tys rekordow, ponizsze komenda wgrywa tylko 17 000. Pytanie, czemu i jak moge sprawdzic czy wystepuje jakis blad ?


Cytat
LOAD DATA LOCAL INFILE "'.realpath(dirname(__FILE__).'/../../'.$sciezka_csv).'"
INTO TABLE `baza_temp`
CHARACTER SET utf8
FIELDS TERMINATED BY ","
OPTIONALLY ENCLOSED BY "\""
LINES TERMINATED BY "\n"
IGNORE 1 LINES


Mozliwe ze bedzie trudno odniesc sie do tego problemu, wiec jesli znacie jakis inny sposob zeby z poziomu php wgrac tak duzy plik rowniez prosze napisac, byc moze to rozwiaze moj problem z ktorym utknalem :/
Go to the top of the page
+Quote Post
SmokAnalog
post 19.02.2018, 23:22:10
Post #2





Grupa: Zarejestrowani
Postów: 1 707
Pomógł: 266
Dołączył: 3.07.2012
Skąd: Poznań

Ostrzeżenie: (0%)
-----


Jesteś pewien, że te pominięte nie naruszają jakiegoś kryterium np. o unikalności?
Go to the top of the page
+Quote Post
Pyton_000
post 20.02.2018, 09:18:38
Post #3





Grupa: Zarejestrowani
Postów: 8 068
Pomógł: 1414
Dołączył: 26.10.2005

Ostrzeżenie: (0%)
-----


Przekonwertuj sobie np. tym http://www.convertcsv.com/csv-to-sql.htm

i odpal ręcznie.

Ew. po odpaleniu LOAD DATA odpal jeszcze sobie `SHOW WARNINGS;` i zobacz czy wypluje Ci coś.
Go to the top of the page
+Quote Post
Octobus
post 27.02.2018, 15:16:33
Post #4





Grupa: Zarejestrowani
Postów: 259
Pomógł: 1
Dołączył: 3.07.2011

Ostrzeżenie: (0%)
-----


Troche to trwalo ale bylem zawalony inna robota. Juz wiem, zwraca blad:
Kod
Invalid utf8 character string

plik zajmuje 300 MB nie otworze go niczym "normalnym", nie wysle go tez nigdzie. Moja wersja mysql to 5.5.9, slyszeliscie moze kiedys o takim problemie ?
Go to the top of the page
+Quote Post
trueblue
post 27.02.2018, 15:20:28
Post #5





Grupa: Zarejestrowani
Postów: 6 761
Pomógł: 1822
Dołączył: 11.03.2014

Ostrzeżenie: (0%)
-----


Tak.
https://www.google.com/search?q=mysql+Inval...haracter+string


--------------------
Go to the top of the page
+Quote Post
Octobus
post 27.02.2018, 15:52:00
Post #6





Grupa: Zarejestrowani
Postów: 259
Pomógł: 1
Dołączył: 3.07.2011

Ostrzeżenie: (0%)
-----


Czytalem to zanim tu napisalem i nadal nie wiem jak to rozwiazac.
Plik csv mam z zewnatrz, nie mam wplywu na to jaki dostaje. Jest za duzy zeby go otworzyc i przerobic kodowanie recznie czy na stronie internetowej. Mam ustawione w poleceniu ze chce utf-8 a takich plikow csv mam ponad 200 i tylko z tym jest problem, nie moge zmienic kodowania bazy danych bo inne moga sie wysypac co trudniej mi bedzie sprawdzic, musze sobie poradzic z tym tylko ze mimo wyczytanych w internecie pod tym haslem odpowiedzi, nadal nie wiem co zrobic bo to co napisalem zdanie wczesniej, wyklucza je ...
Go to the top of the page
+Quote Post
trueblue
post 27.02.2018, 16:24:34
Post #7





Grupa: Zarejestrowani
Postów: 6 761
Pomógł: 1822
Dołączył: 11.03.2014

Ostrzeżenie: (0%)
-----


A to?
Cytat
Plan B: Import as latin1. (You do not need to change the column/table definition, just the LOAD DATA.)


--------------------
Go to the top of the page
+Quote Post

Reply to this topicStart new topic
1 Użytkowników czyta ten temat (1 Gości i 0 Anonimowych użytkowników)
0 Zarejestrowanych:

 



RSS Wersja Lo-Fi Aktualny czas: 19.04.2024 - 00:31