[XML] Przetwarzanie duzych plikow xml Opcje

[JarCzeS]

Witam.
Mam taki problem: strona znajduje sie na serwerze xxx.pl, pliki xml na zzz.pl, w jaki sposob moge zdalnie przetworzyc pliki xml o lacznej wadze 12 GB (przypuscmy 20 plikow po 600 MB) ?

[sticker]

Po pierwsze musiałbyś mieć niezawodne połączenie a na to nie możesz zapewne liczyć, po drugie parsowanie musiałoby się odbyć z wykorzystaniem sax parsera, ale podzielenie tego pliku na kilka spowoduje, że nie bedzie on poprawny i nie będzie sie dało go sparsować dostepnymi bibliotekami (wiec musiałbyś dostarczyć własną implementacje parsera a co najmniej skanera biegnącego po plikach i zczytującego linie). Po kolejny zzz.pl musiałby mieć ustawiony gigantyczny timeout.

Najlepsze rozwiązania to podziel to na jak najmniejsze fragmenty i na nich operuj jak sie coś wywali to sobie to od nowa zrobisz jak sie sypnie coś przy tak duzych plikach jak mowisz to cała robota pojdzie na marne.

[JarCzeS]

a serwer dedykowany by nie pomogl tutaj ?
na serwerze z xml znajduja sie rowniez spakowane pliki (zip lacznie ok 500 MB) , cron na serwerze dedykowanym sciagnol by podane pliki w kilka minut(?) a potem moje skrypty zajely by sie przetwarzaniem tego czy to jest mozliwe wogole?

[erix]

Po stronie klienta chyba nie za bardzo, ale od PHP możesz spróbować xmlreader" title="Zobacz w manualu PHP" target="_manual.