Cześć.

Muszę zrobić import do bazy na podstawie pliku json, który waży ponad 1 giga.
W jaki sposób zrobić to najoptymalniej, żeby było szybko i nie zjadło pamięci?
Czego używacie w takich przypadkach?

Pozdrawiam

Zerknij na to: https://soyuka.me/streaming-big-json-files-the-good-way/


Nie masz alternatywnych formatów? XML byłby lepszy w tym wypadku

Budowanie xmla w usłudze, która mi zwraca dane trwa zbyt długo i stąd json.


@Pyton_000
Czy podany przykład przez Ciebie jest czymś w rodzaju tego https://www.tutorialspoint.com/php/php_sax_...ser_example.htm dla xmla, o ile się nie mylę, tak?

Ten SAX jakoś dziwnie mi wygląda. Ja używałem XMLReader jak integrowałem hurtownie danych.

Co do XML to jak często się zmienia, może warto go wygenerować co jakiś czas i zrobić z niego cache. Bo JSON średnio nadaje się do tak ogromych struktur bo json nie ma mechanizmów streamingu tak jak w przypadku XML.

http://forum.php.pl/index.php?s=&showt...t&p=1221903

Kiedys miałem problem z różnicą prędkości miedzy jednym a drugim formatem plików i mądrzy ludzi radzili wybrać XML