analiza danych duzego pliku XML Opcje

[AcidBurnt]

Witam

Sprawa taka pliczek XML wazy 32 mb, w nim mam dane na temat SMSów logosłow, dzwonków, itp z PP wapster.pl no i problem z racji wielkosc pliku nie zabardzo moge Sobie poradzic z jego przecytaniem, wczytaniem do tablicy itp z racji ograniczenia pamieci na moim serwerze do 20. wiec wpadlem na pomysl i dziele Sobie plik na kilka mniejszych

[XML] pobierz, plaintext 
<?xml version="1.0" encoding="utf-8"?>
<wapsterdump>
  <authors>
    <item id="1674" name="000" />
    .
    .
    .
    <item id="1121" name="50 Cent feat. Olivia" />
    <item id="824" name="52 Dębiec" />
  </authors>
  <manufacturer name="Nokia" id="1">
   ..,  tutaj informacje na temat dzwonków logosów itp
  </manufacturer>
  <manufacturer name="Siemens" id="2">
  .
  .
  .
  </manufacturer>
[XML] pobierz, plaintext 

no i napisałem Sobie dla niego coś takieg:

[PHP] pobierz, plaintext 
<?php
error_reporting(E_ALL^E_NOTICE);
echo time()."<br />";
$uchwyt = fopen ("newdump.xml", "r");
if ($uchwyt) {
	while (!feof($uchwyt)) {
		$buffer = fgets($uchwyt, 4096);
 
		if($authors_open){
			fwrite($authors, $buffer);
		}
		if(preg_match('/<authors>/', $buffer)){
			$authors = fopen("authors.xml", 'w+');
			fwrite($authors, $buffer);
			$authors_open = 1;
		}
		if(preg_match('/</authors>/', $buffer)){
			fclose($authors);
			$authors_open = 0;
		}
 
		if($com_open){
			fwrite($com, $buffer);
		}
		if(preg_match('/<manufacturer(.*?)>/', $buffer)){
			preg_match('/<manufacturer name="(.*?)" id="[0-9]{1,2}">/', $buffer, $m);
			$com = fopen("".$m[1].".xml", "w+");
			fwrite($com, $buffer);
			$com_open = 1;
		}
 
		if(preg_match('/</manufacturer>/', $buffer)){
			fclose($com);
			$com_open = 0;		  
		}
	}
	fclose ($uchwyt);
}
echo time()."<br />";
?>
[PHP] pobierz, plaintext 

czyli lece przez cały plik wiersz po wierszu i dziele duzy na małe podzionego na poszczegolne telefony: nokia, siemes tip

no tylko pytanie czy moge to jakos zoptymalizowac czasowo, gdyz operacja ta trwa na serwerze w nazwa.pl 24-28 sekund ;/ moj komp potrzebuje prawie 40.. no a do tego jeszcze bedzie miala dojsc analiza poszczegolnych modeli, sprawdzenie roznic miedzy moja baza a tymi danymi, i wlasnie tez sie tutaj zastanawiam czy docelowo przewalac wszystko do bazy, czy trzymac reszte danych tylko w plikach XML, podzielic konkretne modele na wiecej plików, no w jednym informacje o logach, w innym o dzwonkach, i nie korzystac z bazy....

jakies pomysły? z góry dzieki za wszelkie sugestie.

aha i po tym podziele najwiekszym plikiem jest NOKIA.xml wazy okolo 7.5 MB, no i niesteyt dalej wczyanie tego do jakies tablicy czy cos jest problemem

Ten post edytował AcidBurnt 19.06.2006, 17:02:48

[AcidBurnt]

xml jest uaktualniany wlasnie raz na dobre

no i wlasnie chyba tak zrobie i powoli pisze dodawanie tego do bazy, bo chyba inna opcja mi nie zostala... jak napisze to zostawie to tutaj dla potomnych moze ktos jeszcze kiedys bedze walczyl z wapsterem (IMG:http://forum.php.pl/style_emoticons/default/smile.gif)


tylko problem jest caly czas z wielkoscia pliku, nie moge go przerobic za pomoca czegos jak SIMLPE XML czy cos bo brakuje mi 20mb dostapnej pamieci (IMG:http://forum.php.pl/style_emoticons/default/winksmiley.jpg) jak narazie napisałem Sobie aktualniacje danych na temat autorów

sprawdza to najpierw czy są jakies nowe wpisy w XML a pozniej czy z XML nie zostaly usuniete jakies wpisy

[PHP] pobierz, plaintext 
<?php
error_reporting(E_ALL);
require('./lib/adodb/adodb.inc.php');
require('./lib/adodb/adodb-errorhandler.inc.php');
require('./config.php');
/* ładowanie steronika do bazy, i logowanie */
$db = ADONewConnection('postgres7');
$db->SetFetchMode(ADODB_FETCH_ASSOC);
$db->debug = false;
$db->Connect($db_server, $db_user, $db_password, $db_database);
$auth = $db -> GetAll("SELECT * FROM sms_authors");
foreach($auth as $a => $line){
	$authors[$line['id_author']] = $line['name_author'];
}
unset($auth);
$uchwyt = fopen ("xml/authors.xml", "r");
if ($uchwyt) {
	while (!feof($uchwyt)) {
		$buffer = fgets($uchwyt, 4096);
		preg_match('/<item id="(.*?)" name="(.*?)" />/', $buffer, $a);
		if(!empty($a) && !array_key_exists($a[1], $authors))
			$db -> Execute("INSERT INTO sms_authors VALUES('".$a[1]."', '".iconv('UTF-8', 'ISO-8859-2',(addslashes($a[2])))."')");
 
		$in_xml[$a[1]] = $a[2];
	}
}
$auth = $db -> GetAll("SELECT * FROM sms_authors");
foreach($auth as $a => $line){
	if(!array_key_exists($line['id_author'], $in_xml))
		$db -> Execute("DELETE FROM sms_authors WHERE id_author = '".$line['id_author']."'");
}
?>
[PHP] pobierz, plaintext 

u mnie na kompie 1.5hg, 1gb ram schodzi do 0.7 sekundy no ale konkretnie tutaj jest taki pliczek XML

[XML] pobierz, plaintext 
  <authors>
    <!--Kolekcja [wapsterdump/authors], zawiera listę autorów dzwonków, id - to id autora wykorzystywany później przy opisie dzwonków, name - nazwa autora-->
    <item id="1674" name="000" />
    <item id="1480" name="05 &amp; Radeček" />
    <item id="1649" name="2 + 1" />
    <item id="1388" name="2 Unlimited" />
    <item id="1287" name="24 Love" />
    <item id="1267" name="2Pac" />
    <item id="975" name="3rd Wish" />
    <item id="583" name="4 The Cause" />
[XML] pobierz, plaintext 

z 1551 wpisów takze nic strasznego

a zawartosc pliku info o gadzetach na NOKIE to 167 tysieci LINI SIC!!!

Ten post edytował AcidBurnt 19.06.2006, 22:17:21