[PHP] Big data json parser, 5.6 |
[PHP] Big data json parser, 5.6 |
14.01.2019, 20:15:10
Post
#1
|
|
Grupa: Zarejestrowani Postów: 325 Pomógł: 33 Dołączył: 31.05.2008 Ostrzeżenie: (0%) |
Cześć.
Muszę zrobić import do bazy na podstawie pliku json, który waży ponad 1 giga. W jaki sposób zrobić to najoptymalniej, żeby było szybko i nie zjadło pamięci? Czego używacie w takich przypadkach? Pozdrawiam |
|
|
14.01.2019, 20:22:23
Post
#2
|
|
Grupa: Zarejestrowani Postów: 8 068 Pomógł: 1414 Dołączył: 26.10.2005 Ostrzeżenie: (0%) |
Zerknij na to: https://soyuka.me/streaming-big-json-files-the-good-way/
Nie masz alternatywnych formatów? XML byłby lepszy w tym wypadku |
|
|
14.01.2019, 20:42:00
Post
#3
|
|
Grupa: Zarejestrowani Postów: 325 Pomógł: 33 Dołączył: 31.05.2008 Ostrzeżenie: (0%) |
Budowanie xmla w usłudze, która mi zwraca dane trwa zbyt długo i stąd json.
Cytat Zerknij na to: https://soyuka.me/streaming-big-json-files-the-good-way/ @Pyton_000 Czy podany przykład przez Ciebie jest czymś w rodzaju tego https://www.tutorialspoint.com/php/php_sax_...ser_example.htm dla xmla, o ile się nie mylę, tak? |
|
|
14.01.2019, 20:54:00
Post
#4
|
|
Grupa: Zarejestrowani Postów: 8 068 Pomógł: 1414 Dołączył: 26.10.2005 Ostrzeżenie: (0%) |
Ten SAX jakoś dziwnie mi wygląda. Ja używałem XMLReader jak integrowałem hurtownie danych.
Co do XML to jak często się zmienia, może warto go wygenerować co jakiś czas i zrobić z niego cache. Bo JSON średnio nadaje się do tak ogromych struktur bo json nie ma mechanizmów streamingu tak jak w przypadku XML. |
|
|
14.01.2019, 22:21:04
Post
#5
|
|
Grupa: Zarejestrowani Postów: 239 Pomógł: 32 Dołączył: 10.03.2004 Ostrzeżenie: (10%) |
http://forum.php.pl/index.php?s=&showt...t&p=1221903
Kiedys miałem problem z różnicą prędkości miedzy jednym a drugim formatem plików i mądrzy ludzi radzili wybrać XML |
|
|
Wersja Lo-Fi | Aktualny czas: 19.04.2024 - 12:41 |