Witaj Gościu! ( Zaloguj | Rejestruj )

Forum PHP.pl

 
Reply to this topicStart new topic
> [PHP] Big data json parser, 5.6
kamil_lk
post 14.01.2019, 20:15:10
Post #1





Grupa: Zarejestrowani
Postów: 325
Pomógł: 33
Dołączył: 31.05.2008

Ostrzeżenie: (0%)
-----


Cześć.

Muszę zrobić import do bazy na podstawie pliku json, który waży ponad 1 giga.
W jaki sposób zrobić to najoptymalniej, żeby było szybko i nie zjadło pamięci?
Czego używacie w takich przypadkach?

Pozdrawiam
Go to the top of the page
+Quote Post
Pyton_000
post 14.01.2019, 20:22:23
Post #2





Grupa: Zarejestrowani
Postów: 8 068
Pomógł: 1414
Dołączył: 26.10.2005

Ostrzeżenie: (0%)
-----


Zerknij na to: https://soyuka.me/streaming-big-json-files-the-good-way/


Nie masz alternatywnych formatów? XML byłby lepszy w tym wypadku
Go to the top of the page
+Quote Post
kamil_lk
post 14.01.2019, 20:42:00
Post #3





Grupa: Zarejestrowani
Postów: 325
Pomógł: 33
Dołączył: 31.05.2008

Ostrzeżenie: (0%)
-----


Budowanie xmla w usłudze, która mi zwraca dane trwa zbyt długo i stąd json.
Cytat


@Pyton_000
Czy podany przykład przez Ciebie jest czymś w rodzaju tego https://www.tutorialspoint.com/php/php_sax_...ser_example.htm dla xmla, o ile się nie mylę, tak?
Go to the top of the page
+Quote Post
Pyton_000
post 14.01.2019, 20:54:00
Post #4





Grupa: Zarejestrowani
Postów: 8 068
Pomógł: 1414
Dołączył: 26.10.2005

Ostrzeżenie: (0%)
-----


Ten SAX jakoś dziwnie mi wygląda. Ja używałem XMLReader jak integrowałem hurtownie danych.

Co do XML to jak często się zmienia, może warto go wygenerować co jakiś czas i zrobić z niego cache. Bo JSON średnio nadaje się do tak ogromych struktur bo json nie ma mechanizmów streamingu tak jak w przypadku XML.
Go to the top of the page
+Quote Post
Lord
post 14.01.2019, 22:21:04
Post #5





Grupa: Zarejestrowani
Postów: 239
Pomógł: 32
Dołączył: 10.03.2004

Ostrzeżenie: (10%)
X----


http://forum.php.pl/index.php?s=&showt...t&p=1221903

Kiedys miałem problem z różnicą prędkości miedzy jednym a drugim formatem plików i mądrzy ludzi radzili wybrać XML
Go to the top of the page
+Quote Post

Reply to this topicStart new topic
1 Użytkowników czyta ten temat (1 Gości i 0 Anonimowych użytkowników)
0 Zarejestrowanych:

 



RSS Wersja Lo-Fi Aktualny czas: 29.03.2024 - 14:49