Witaj Gościu! ( Zaloguj | Rejestruj )

Forum PHP.pl

> Obsługa 130MB pliku .csv
Juzek
post
Post #1





Grupa: Zarejestrowani
Postów: 46
Pomógł: 0
Dołączył: 1.08.2007

Ostrzeżenie: (0%)
-----


Witam.
Otrzymałem 130MB plik .csv z zadaniem zaimportowania go do bazy MYSQL.

Problem w tym, że funkcje file, oraz file_get_contents odczytują cały plik co wywołuje zwrócenie błędu o przekroczeniu pamięci. Ustawienie w php.ini memory_limit na wartość graniczną stabilnej pracy serwera - też nie pomaga.

Rozwiązaniem problemu była by funkcja która w parametrach przyjmuje linie "od - do", której ma czytać plik. Coś jak SQL LIMIT .


(by nie tworzyć drugiego tematu):
Znacie jakieś programy, które radzą sobie z tak dużymi plikami na XP/7/Ubuntu ?
Próbowałem Wordem, Exelem, VIM'em, Geditem i openofficem - wszystkie albo się przywieszały (na windach) lub były killowane na Ubuntu.

Dziękuję z góry za rady.
Pozdrawiam i wracam na Google.
Go to the top of the page
+Quote Post
 
Start new topic
Odpowiedzi
Juzek
post
Post #2





Grupa: Zarejestrowani
Postów: 46
Pomógł: 0
Dołączył: 1.08.2007

Ostrzeżenie: (0%)
-----


1) sprawdzę
2) plik .csv nie zawiera informacji o tym do jakiej bazy/tabeli/kolumny ma wrzucić więc wątpię czy to się uda.

[EDIT]

Udało mi się w ten sposób:
- przerzuciłem plik na silniejszy serwer gdzie skrypt dorobił zapytanie
- wygenerował plik zapytania .sql ~500MB
- zaimportowałem plik .sql w konsoli

Pozdrawiam.

Ten post edytował Juzek 27.10.2010, 12:58:29
Go to the top of the page
+Quote Post

Posty w temacie


Reply to this topicStart new topic
2 Użytkowników czyta ten temat (2 Gości i 0 Anonimowych użytkowników)
0 Zarejestrowanych:

 



RSS Aktualny czas: 4.10.2025 - 22:57