Witaj Gościu! ( Zaloguj | Rejestruj )

Forum PHP.pl

> MYSQL jak przyśpieszyć import z csv
kaju007
post 28.07.2014, 13:06:24
Post #1





Grupa: Zarejestrowani
Postów: 5
Pomógł: 0
Dołączył: 8.04.2008

Ostrzeżenie: (0%)
-----


Witam
Nie znam się zbytnio na tym dla tego szukam pomocy na forum.
Posiadam sklep na prestashop do tego mam plik importu który uruchamiam z konsoli przez php import.pl .
Import pobiera dane z pliku csv wszystko działa ale bardzo wolno.
Przetestowałem już parę VPS i tylko na jednym mysql zapisywał z prędkością 7MB/s (dysk ssd).
Moim zdaniem to trochę za mało.
Bynajmniej program mysqltuner.pl pokazuje 100% zapis.
Z analizy mojej i obserwacji procesów podczas importu są 2 procesy mysql które wykorzystują procesor po 30-40%, i jest proces php import.pl który co jakiś czasz się pokazuje i użyje jakies 20%- tak jak by wysyłał dane do mysql a mysql dalej je obrabiał.

to są moje dane my.cf
Kod
[mysqld]
local-infile=0
innodb_file_per_table
max_connections         =200
table_cache             = 69000
join_buffer_size = 8000M
query_cache_type = 1
query_cache_limit       = 5096M
query_cache_size        = 256M
key_buffer = 16M
thread_cache_size = 8



Teoretycznie mogę zmienić maszynę która bedzie miał 128gb ramu ale czy jest sens.

Potrzebuję zwiększyć prędkość zapisu i działania mysql. Ja to rozumiem że jak zwiększe zapis mysql na dysk to szybciej się będzie ładował import?
Go to the top of the page
+Quote Post
 
Start new topic
Odpowiedzi (1 - 2)
Pyton_000
post 28.07.2014, 13:11:40
Post #2





Grupa: Zarejestrowani
Postów: 8 068
Pomógł: 1414
Dołączył: 26.10.2005

Ostrzeżenie: (0%)
-----


A gdzie Ci się śpieszy? Jaka wielkość CSV, jakie dane. ile tych danych.
Go to the top of the page
+Quote Post
maly_swd
post 6.08.2014, 08:30:07
Post #3





Grupa: Zarejestrowani
Postów: 744
Pomógł: 118
Dołączył: 14.02.2009
Skąd: poziome

Ostrzeżenie: (0%)
-----


To jest dość szybkie: http://dev.mysql.com/doc/refman/5.1/en/load-data.html


--------------------
śmieszne obrazki
Kryzys: Ser jem spleśniały, wino piję stare i samochód mam bez dachu..
Go to the top of the page
+Quote Post

Reply to this topicStart new topic
1 Użytkowników czyta ten temat (1 Gości i 0 Anonimowych użytkowników)
0 Zarejestrowanych:

 



RSS Wersja Lo-Fi Aktualny czas: 14.08.2025 - 01:02