Stream to files - jakby to przyśpieszyć? Opcje

[Forti]

Cześć!

Przejde do rzeczy. Mamy tablice, w ten sposób:

[PHP] pobierz, plaintext 
$data = [
    0 => [ // 70 tyś. rekordów
        0 => [] // tutaj średnio 5-6 rekordów,
        // i tak dalej
    ],
    1 => [],
    2 => [],
   //  i tak dalej.
];
[PHP] pobierz, plaintext 

Ogólnie takich małych tablic po 5-6 rekordów jest ok. 8mln. Podzielone są po 70 tyś. Teraz te 70 tyś. zapisuje w postaci .csv:

[PHP] pobierz, plaintext 
        foreach ($this->result as $fileNumber => $data) {
            $stream = fopen('php://memory', 'w');
 
            foreach ($data as $line) {
                fputcsv($stream, $line, $this->config['delimiter']);
            }
            fseek($stream, 0);
            $content = stream_get_contents($stream);
            $content = str_replace('"', '', $content); // potrzeba usuwania ", w żadnym innym miejscu tego zrobić nie mogę, a iterować po całej tablicy i robić na mniejszych stringach to bezsensu moim zdaniem... jak myślicie?
 
            $now = new \DateTime('now');
            $fileName = $fileName . $now->format('Y-m-d-h-i-s') . "_{$fileNumber}_" . '.csv';
 
            $file = fopen(__DIR__ . '/../../parsed/' . $fileName, "w");
            fputs($file, $content);
            fclose($file);
        }
[PHP] pobierz, plaintext 

Teraz sedno sprawy:

Przy 100k rekordów trwa to dosłownie kilka sekund. Przy 1mln trwa to już średnio 3 minuty (ostatnia próba: 223 sekundy) (licze z pomocą microtime(true)). Nawet boje się włączyć na 8mln rekordów...
Jakiś pomysł jak to przyśpieszyć? Cel: zapis do pliku .csv.

Ten post edytował Forti 7.08.2015, 09:57:19

[Forti]

Z tym parsowaniem to nie istotne, po prostu pobieram zawartość z plików (zmienne), obrabiam i dopasowuje w odpowiednie zmienne. Słowa kluczowe itp.
Ogólnie całość i tak ląduje w takiej tablicy i nie bardzo mam jak inaczej to zrobić.

Jeżeli nie ma innego sposobu a tak dużą tablice zapisać w .csv w szybszy sposób, to będzie musiało to tak zostać..

Ten post edytował Forti 7.08.2015, 10:19:35

[pyro]

londuje

(IMG:https://s-media-cache-ak0.pinimg.com/236x/0c/f5/19/0cf519769a6212d46d7a8e333c1849ea.jpg)

Z tym parsowaniem to nie istotne, po prostu pobieram zawartość z plików (zmienne), obrabiam i dopasowuje w odpowiednie zmienne. Słowa kluczowe itp.
Ogólnie całość i tak londuje w takiej tablicy i nie bardzo mam jak inaczej to zrobić.

Jeżeli nie ma innego sposobu a tak dużą tablice zapisać w .csv w szybszy sposób, to będzie musiało to tak zostać..

Czyli jednak źle robisz. Pobieraj z tych plików w mniejszych segmentach i obrabiaj tak samo.