analiza danych duzego pliku XML Opcje

[AcidBurnt]

Witam

Sprawa taka pliczek XML wazy 32 mb, w nim mam dane na temat SMSów logosłow, dzwonków, itp z PP wapster.pl no i problem z racji wielkosc pliku nie zabardzo moge Sobie poradzic z jego przecytaniem, wczytaniem do tablicy itp z racji ograniczenia pamieci na moim serwerze do 20. wiec wpadlem na pomysl i dziele Sobie plik na kilka mniejszych

[XML] pobierz, plaintext 
<?xml version="1.0" encoding="utf-8"?>
<wapsterdump>
  <authors>
    <item id="1674" name="000" />
    .
    .
    .
    <item id="1121" name="50 Cent feat. Olivia" />
    <item id="824" name="52 Dębiec" />
  </authors>
  <manufacturer name="Nokia" id="1">
   ..,  tutaj informacje na temat dzwonków logosów itp
  </manufacturer>
  <manufacturer name="Siemens" id="2">
  .
  .
  .
  </manufacturer>
[XML] pobierz, plaintext 

no i napisałem Sobie dla niego coś takieg:

[PHP] pobierz, plaintext 
<?php
error_reporting(E_ALL^E_NOTICE);
echo time()."<br />";
$uchwyt = fopen ("newdump.xml", "r");
if ($uchwyt) {
	while (!feof($uchwyt)) {
		$buffer = fgets($uchwyt, 4096);
 
		if($authors_open){
			fwrite($authors, $buffer);
		}
		if(preg_match('/<authors>/', $buffer)){
			$authors = fopen("authors.xml", 'w+');
			fwrite($authors, $buffer);
			$authors_open = 1;
		}
		if(preg_match('/</authors>/', $buffer)){
			fclose($authors);
			$authors_open = 0;
		}
 
		if($com_open){
			fwrite($com, $buffer);
		}
		if(preg_match('/<manufacturer(.*?)>/', $buffer)){
			preg_match('/<manufacturer name="(.*?)" id="[0-9]{1,2}">/', $buffer, $m);
			$com = fopen("".$m[1].".xml", "w+");
			fwrite($com, $buffer);
			$com_open = 1;
		}
 
		if(preg_match('/</manufacturer>/', $buffer)){
			fclose($com);
			$com_open = 0;		  
		}
	}
	fclose ($uchwyt);
}
echo time()."<br />";
?>
[PHP] pobierz, plaintext 

czyli lece przez cały plik wiersz po wierszu i dziele duzy na małe podzionego na poszczegolne telefony: nokia, siemes tip

no tylko pytanie czy moge to jakos zoptymalizowac czasowo, gdyz operacja ta trwa na serwerze w nazwa.pl 24-28 sekund ;/ moj komp potrzebuje prawie 40.. no a do tego jeszcze bedzie miala dojsc analiza poszczegolnych modeli, sprawdzenie roznic miedzy moja baza a tymi danymi, i wlasnie tez sie tutaj zastanawiam czy docelowo przewalac wszystko do bazy, czy trzymac reszte danych tylko w plikach XML, podzielic konkretne modele na wiecej plików, no w jednym informacje o logach, w innym o dzwonkach, i nie korzystac z bazy....

jakies pomysły? z góry dzieki za wszelkie sugestie.

aha i po tym podziele najwiekszym plikiem jest NOKIA.xml wazy okolo 7.5 MB, no i niesteyt dalej wczyanie tego do jakies tablicy czy cos jest problemem

Ten post edytował AcidBurnt 19.06.2006, 17:02:48

[erix]

Lepiej by bylo uzyc do tego bazy.

Tylko to sie mija z celem, jesli plik XML jest co chwila uaktualniany.

Niestety, nie podales w jakich odstepach nastepuje update pliku...

IMHO, gdybys poszedl na kompromis i uaktualnial go raz na dobe, to napisalbys sobie skrypt, co by parsowal XML-a i wrzucal go do bazy.

[AcidBurnt]

xml jest uaktualniany wlasnie raz na dobre

no i wlasnie chyba tak zrobie i powoli pisze dodawanie tego do bazy, bo chyba inna opcja mi nie zostala... jak napisze to zostawie to tutaj dla potomnych moze ktos jeszcze kiedys bedze walczyl z wapsterem


tylko problem jest caly czas z wielkoscia pliku, nie moge go przerobic za pomoca czegos jak SIMLPE XML czy cos bo brakuje mi 20mb dostapnej pamieci jak narazie napisałem Sobie aktualniacje danych na temat autorów

sprawdza to najpierw czy są jakies nowe wpisy w XML a pozniej czy z XML nie zostaly usuniete jakies wpisy

[PHP] pobierz, plaintext 
<?php
error_reporting(E_ALL);
require('./lib/adodb/adodb.inc.php');
require('./lib/adodb/adodb-errorhandler.inc.php');
require('./config.php');
/* ładowanie steronika do bazy, i logowanie */
$db = ADONewConnection('postgres7');
$db->SetFetchMode(ADODB_FETCH_ASSOC);
$db->debug = false;
$db->Connect($db_server, $db_user, $db_password, $db_database);
$auth = $db -> GetAll("SELECT * FROM sms_authors");
foreach($auth as $a => $line){
	$authors[$line['id_author']] = $line['name_author'];
}
unset($auth);
$uchwyt = fopen ("xml/authors.xml", "r");
if ($uchwyt) {
	while (!feof($uchwyt)) {
		$buffer = fgets($uchwyt, 4096);
		preg_match('/<item id="(.*?)" name="(.*?)" />/', $buffer, $a);
		if(!empty($a) && !array_key_exists($a[1], $authors))
			$db -> Execute("INSERT INTO sms_authors VALUES('".$a[1]."', '".iconv('UTF-8', 'ISO-8859-2',(addslashes($a[2])))."')");
 
		$in_xml[$a[1]] = $a[2];
	}
}
$auth = $db -> GetAll("SELECT * FROM sms_authors");
foreach($auth as $a => $line){
	if(!array_key_exists($line['id_author'], $in_xml))
		$db -> Execute("DELETE FROM sms_authors WHERE id_author = '".$line['id_author']."'");
}
?>
[PHP] pobierz, plaintext 

u mnie na kompie 1.5hg, 1gb ram schodzi do 0.7 sekundy no ale konkretnie tutaj jest taki pliczek XML

[XML] pobierz, plaintext 
  <authors>
    <!--Kolekcja [wapsterdump/authors], zawiera listę autorów dzwonków, id - to id autora wykorzystywany później przy opisie dzwonków, name - nazwa autora-->
    <item id="1674" name="000" />
    <item id="1480" name="05 &amp; Radeček" />
    <item id="1649" name="2 + 1" />
    <item id="1388" name="2 Unlimited" />
    <item id="1287" name="24 Love" />
    <item id="1267" name="2Pac" />
    <item id="975" name="3rd Wish" />
    <item id="583" name="4 The Cause" />
[XML] pobierz, plaintext 

z 1551 wpisów takze nic strasznego

a zawartosc pliku info o gadzetach na NOKIE to 167 tysieci LINI SIC!!!

Ten post edytował AcidBurnt 19.06.2006, 22:17:21

[FiDO]

Od analizy duzych XML'i jest inny parser (expat), ktorzy rowniez jest dostepny z poziomu php: http://www.php.net/manual/en/ref.xml.php
Pisanie pod to jest znacznie mniej wygodne niz simplexml czy inne, ale dzieki temu zuzycie pamieci jest minimalne niezaleznie od wielkosci pliku. Dodatkowym atutem jest szybkosc parsowania.

[AcidBurnt]

eh niestety tez nie za bardzo chce dzialac, samo "przelecenie" przez pliczek 7.5 zajelo mu az 23 sekundy takze nie ma nawet raczej mowy o akichkolwiek operaciach ;/