Stream to files - jakby to przyśpieszyć? Opcje

[Forti]

Cześć!

Przejde do rzeczy. Mamy tablice, w ten sposób:

[PHP] pobierz, plaintext 
$data = [
    0 => [ // 70 tyś. rekordów
        0 => [] // tutaj średnio 5-6 rekordów,
        // i tak dalej
    ],
    1 => [],
    2 => [],
   //  i tak dalej.
];
[PHP] pobierz, plaintext 

Ogólnie takich małych tablic po 5-6 rekordów jest ok. 8mln. Podzielone są po 70 tyś. Teraz te 70 tyś. zapisuje w postaci .csv:

[PHP] pobierz, plaintext 
        foreach ($this->result as $fileNumber => $data) {
            $stream = fopen('php://memory', 'w');
 
            foreach ($data as $line) {
                fputcsv($stream, $line, $this->config['delimiter']);
            }
            fseek($stream, 0);
            $content = stream_get_contents($stream);
            $content = str_replace('"', '', $content); // potrzeba usuwania ", w żadnym innym miejscu tego zrobić nie mogę, a iterować po całej tablicy i robić na mniejszych stringach to bezsensu moim zdaniem... jak myślicie?
 
            $now = new \DateTime('now');
            $fileName = $fileName . $now->format('Y-m-d-h-i-s') . "_{$fileNumber}_" . '.csv';
 
            $file = fopen(__DIR__ . '/../../parsed/' . $fileName, "w");
            fputs($file, $content);
            fclose($file);
        }
[PHP] pobierz, plaintext 

Teraz sedno sprawy:

Przy 100k rekordów trwa to dosłownie kilka sekund. Przy 1mln trwa to już średnio 3 minuty (ostatnia próba: 223 sekundy) (licze z pomocą microtime(true)). Nawet boje się włączyć na 8mln rekordów...
Jakiś pomysł jak to przyśpieszyć? Cel: zapis do pliku .csv.

Ten post edytował Forti 7.08.2015, 09:57:19

[pyro]

Nie stety, ale dane są najpierw pobierane w kilku plików (każdy po 1mln), parsowane odpowiednio i zapisywane. Cały proces od kilku dni optymalizuje jak tylko się da.

No to musisz bardziej doprecyzować co to znaczy "odpowiednio parsowane i zapisywane".

Nie bardzo rozumiem po co ci ten stream, przecież niżej otwierasz plik i wrzucasz do niego dane z bazy. Jak dla mnie podwójna robota.. coś w ten deseń

[PHP] pobierz, plaintext 
$now = new \DateTime;
foreach ($this->result as $fileNumber => $data) {
            $fileName = $fileName . $now->format('Y-m-d-h-i-s') . "_{$fileNumber}_" . '.csv';
            $stream =  fopen(__DIR__ . '/../../parsed/' . $fileName, "w");
 
            fputcsv($stream, $data, $this->config['delimiter']);
            fclose($file);
        }
[PHP] pobierz, plaintext 

Wczytaj się jeszcze raz w to co ten kod robi.