[PHP] Jak odczytać dużego CSV ? Opcje

[Agape]

Mam plik csv który zajmuje 140 MB, serwer nie daje rady jest "Out of memory" i zastanawiam sie czy nie da sie jakos partiami wczytywac pliku zeby tylko jego czesc byla w pamieci a pozniej kolejna czesc odczytac i przerobic ? Ewentualnie jakis inny sposob, jestem w kropce, juz 2 godziny nad tym siedze ... w komentarzach w manualu znalazlem klase CsvImporter która niby to robi, ale jak odczytam przed tym plikiem jakis jeszcze wczesniej, to tez mam "Out of memory". Moze daloby sie przerobic jakos ta klase zeby nie zajmowala tyle pamieci ?

[PHP] pobierz, plaintext 
<?php 
class CsvImporter 
{ 
    private $fp; 
    private $parse_header; 
    private $header; 
    private $delimiter; 
    private $length; 
    //-------------------------------------------------------------------- 
    function __construct($file_name, $parse_header=false, $delimiter="\t", $length=8000) 
    { 
        $this->fp = fopen($file_name, "r"); 
        $this->parse_header = $parse_header; 
        $this->delimiter = $delimiter; 
        $this->length = $length; 
//        $this->lines = $lines; 
 
        if ($this->parse_header) 
        { 
           $this->header = fgetcsv($this->fp, $this->length, $this->delimiter); 
        } 
 
    } 
    //-------------------------------------------------------------------- 
    function __destruct() 
    { 
        if ($this->fp) 
        { 
            fclose($this->fp); 
        } 
    } 
    //-------------------------------------------------------------------- 
    function get($max_lines=0) 
    { 
        //if $max_lines is set to 0, then get all the data 
 
        $data = array(); 
 
        if ($max_lines > 0) 
            $line_count = 0; 
        else 
            $line_count = -1; // so loop limit is ignored 
 
        while ($line_count < $max_lines && ($row = fgetcsv($this->fp, $this->length, $this->delimiter)) !== FALSE) 
        {
            if ($this->parse_header) 
            { 
                foreach ($this->header as $i => $heading_i) 
                { 
                    $row_new[$heading_i] = $row[$i]; 
                } 
                $data[] = $row_new; 
            } 
            else 
            { 
                $data[] = $row; 
            } 
 
            if ($max_lines > 0) 
                $line_count++;
            unset($row);
        } 
        return $data; 
    } 
    //-------------------------------------------------------------------- 
 
} 
?>
[PHP] pobierz, plaintext 

[kapslokk]

http://stackoverflow.com/questions/5249279...5249971#5249971

[Agape]

Widziałem to rozwiązanie, tylko problem jest taki że ... nie do końca je rozumiem ... funkcja pobiera część pliku i go obrabia i idzie dalej, to wiem z opisu, ale gdzie wkleic swoj kod. Bylbym wdzieczny za wskazanie miejsca albo wytlumaczenie tego dokladniej

[kapslokk]

[PHP] pobierz, plaintext 
call_user_func_array($callback,array(fread($handle,$chunk_size),&$handle,$i));
[PHP] pobierz, plaintext 

Jeśli jako $callback przekazesz nazwe funkcji stworzonej przez siebie to zostanie ona wykonana z parametrami z array(fread($handle,$chunk_size),&$handle,$i))

Ten post edytował kapslokk 17.12.2015, 11:39:32

[Damonsson]

http://php.net/manual/en/class.splfileobject.php

[Forti]

Ja parsuje kilka plików .csv po 300-400MB każdy. PHP nie daje rady

Zaciągnąłem node.js, wielowątkowość i czas na jeden plik:

PHP - 20-30 minut
node.js - 20-30 sekund

cóż.. nie do wszystkiego PHP się nadaje fakt ze tam jest coś więcej niż czytanie, jest jeszcze mapowanie i parsowanie odpowiednio, ale mimo wszystko..

[phpion]

Nie prościej wrzucić dane do bazy danych (chociażby do tabeli tymczasowej) za pomocą LOAD DATA? Poleci to migusiem, a co potem z tymi danymi zrobisz (przeformatujesz, przeniesiesz do właściwej struktury) to już Twoja sprawa, a całość i tak robisz na poziomie bazy danych.

[Agape]

Musiałbym to robić ręcznie, a zalozenie jest takie zeby to zautomatyzowac. Mam pare takich plikow ktore musze aktualizowac raz na jakis czas i beda dochodzic nowe.

[phpion]

Ale co byś musiał robić ręcznie?

[DarkAbso]

Rozwiązanie, które podał @phpion wygląda najsensowniej (przynajmniej z mojej perspektywy). Od razu również dziękuje za ten pomysł (zoptymalizuje dzięki temu projekt).

[phpion]

Dodam tylko jeszcze, że osobiście z dane z pliku wrzucam do tabeli tymczasowej o wszystkich kolumnach tekstowych. Dopiero potem przekształcam dane (np. w CSV mam liczbę jako 200 000,50 co przekształcam na 200000.50), zmieniam typy kolumn na właściwe (z tekstowych na np. numeryczne), usuwam nieprawidłowości w danych (np. potencjalne naruszenia kluczy obcych) itd. Dopiero mając w ten sposób obrobione dane przenoszę je do tabel właściwych.

[Agape]

@phpion dzięki za super solucje. W wolnym czasie sprawdzę, ale rozwiazanie wydaje sie najlepsze. Rozumiem ze pozniej z tymczasowej pobierasz dane przez php, obrabiasz i przerzucasz partiami. Super.

@phpion jeszcze raz dzięki za takie rozwiązanie, właśnie je testuje, ale mam problem z jednym. W bazie mam powiedzmy 10 kolumn a w csv powiedzmy 25, jak teraz przypisac odpowiednie wartosci do kolumn ?

[PHP] pobierz, plaintext 
LOAD DATA LOCAL INFILE "'.realpath(dirname(__FILE__).'/../../csv/plik.csv').'"
            INTO TABLE `tabela_z_csv`
            FIELDS TERMINATED BY ";"
            OPTIONALLY ENCLOSED BY "\"" 
            LINES TERMINATED BY "\r\n"
            IGNORE 1 LINES
[PHP] pobierz, plaintext 

nizej moge dac liste kolumn, ale to sa kolumny w bazie danych, moge wiec jakas ominac, ale jak uzywajac SET przypisac odpowiednie kolumny z csv do odpowiednich kolumn do bazy danych ? Troche dla mnie nie zrozumiale uzywanie @ w tym poleceniu :/