Stream to files - jakby to przyśpieszyć? Opcje

[Forti]

Cześć!

Przejde do rzeczy. Mamy tablice, w ten sposób:

[PHP] pobierz, plaintext 
$data = [
    0 => [ // 70 tyś. rekordów
        0 => [] // tutaj średnio 5-6 rekordów,
        // i tak dalej
    ],
    1 => [],
    2 => [],
   //  i tak dalej.
];
[PHP] pobierz, plaintext 

Ogólnie takich małych tablic po 5-6 rekordów jest ok. 8mln. Podzielone są po 70 tyś. Teraz te 70 tyś. zapisuje w postaci .csv:

[PHP] pobierz, plaintext 
        foreach ($this->result as $fileNumber => $data) {
            $stream = fopen('php://memory', 'w');
 
            foreach ($data as $line) {
                fputcsv($stream, $line, $this->config['delimiter']);
            }
            fseek($stream, 0);
            $content = stream_get_contents($stream);
            $content = str_replace('"', '', $content); // potrzeba usuwania ", w żadnym innym miejscu tego zrobić nie mogę, a iterować po całej tablicy i robić na mniejszych stringach to bezsensu moim zdaniem... jak myślicie?
 
            $now = new \DateTime('now');
            $fileName = $fileName . $now->format('Y-m-d-h-i-s') . "_{$fileNumber}_" . '.csv';
 
            $file = fopen(__DIR__ . '/../../parsed/' . $fileName, "w");
            fputs($file, $content);
            fclose($file);
        }
[PHP] pobierz, plaintext 

Teraz sedno sprawy:

Przy 100k rekordów trwa to dosłownie kilka sekund. Przy 1mln trwa to już średnio 3 minuty (ostatnia próba: 223 sekundy) (licze z pomocą microtime(true)). Nawet boje się włączyć na 8mln rekordów...
Jakiś pomysł jak to przyśpieszyć? Cel: zapis do pliku .csv.

Ten post edytował Forti 7.08.2015, 09:57:19

[pyro]

Jeśli chodzi o ten myk z cudzysłowem, to nie szkodzi. Miałem parę razy podobny problem i niestety mniej więcej tak się go rozwiązuje, więc jest to OK.

Jeśli chodzi o sam czas, to najprawdopodobniej to przez to, że ładujesz wszystkie dane do pamięci, przez co maszyna jest tak obciążona, że wszystko działa dużo wolniej.

Jeśli pobierasz dane z bazy, to rób to jakimś data provider iteratorem i pobieraj w segmentach.