analiza danych duzego pliku XML Opcje

[AcidBurnt]

Witam

Sprawa taka pliczek XML wazy 32 mb, w nim mam dane na temat SMSów logosłow, dzwonków, itp z PP wapster.pl no i problem z racji wielkosc pliku nie zabardzo moge Sobie poradzic z jego przecytaniem, wczytaniem do tablicy itp z racji ograniczenia pamieci na moim serwerze do 20. wiec wpadlem na pomysl i dziele Sobie plik na kilka mniejszych

[XML] pobierz, plaintext 
<?xml version="1.0" encoding="utf-8"?>
<wapsterdump>
  <authors>
    <item id="1674" name="000" />
    .
    .
    .
    <item id="1121" name="50 Cent feat. Olivia" />
    <item id="824" name="52 Dębiec" />
  </authors>
  <manufacturer name="Nokia" id="1">
   ..,  tutaj informacje na temat dzwonków logosów itp
  </manufacturer>
  <manufacturer name="Siemens" id="2">
  .
  .
  .
  </manufacturer>
[XML] pobierz, plaintext 

no i napisałem Sobie dla niego coś takieg:

[PHP] pobierz, plaintext 
<?php
error_reporting(E_ALL^E_NOTICE);
echo time()."<br />";
$uchwyt = fopen ("newdump.xml", "r");
if ($uchwyt) {
	while (!feof($uchwyt)) {
		$buffer = fgets($uchwyt, 4096);
 
		if($authors_open){
			fwrite($authors, $buffer);
		}
		if(preg_match('/<authors>/', $buffer)){
			$authors = fopen("authors.xml", 'w+');
			fwrite($authors, $buffer);
			$authors_open = 1;
		}
		if(preg_match('/</authors>/', $buffer)){
			fclose($authors);
			$authors_open = 0;
		}
 
		if($com_open){
			fwrite($com, $buffer);
		}
		if(preg_match('/<manufacturer(.*?)>/', $buffer)){
			preg_match('/<manufacturer name="(.*?)" id="[0-9]{1,2}">/', $buffer, $m);
			$com = fopen("".$m[1].".xml", "w+");
			fwrite($com, $buffer);
			$com_open = 1;
		}
 
		if(preg_match('/</manufacturer>/', $buffer)){
			fclose($com);
			$com_open = 0;		  
		}
	}
	fclose ($uchwyt);
}
echo time()."<br />";
?>
[PHP] pobierz, plaintext 

czyli lece przez cały plik wiersz po wierszu i dziele duzy na małe podzionego na poszczegolne telefony: nokia, siemes tip

no tylko pytanie czy moge to jakos zoptymalizowac czasowo, gdyz operacja ta trwa na serwerze w nazwa.pl 24-28 sekund ;/ moj komp potrzebuje prawie 40.. no a do tego jeszcze bedzie miala dojsc analiza poszczegolnych modeli, sprawdzenie roznic miedzy moja baza a tymi danymi, i wlasnie tez sie tutaj zastanawiam czy docelowo przewalac wszystko do bazy, czy trzymac reszte danych tylko w plikach XML, podzielic konkretne modele na wiecej plików, no w jednym informacje o logach, w innym o dzwonkach, i nie korzystac z bazy....

jakies pomysły? z góry dzieki za wszelkie sugestie.

aha i po tym podziele najwiekszym plikiem jest NOKIA.xml wazy okolo 7.5 MB, no i niesteyt dalej wczyanie tego do jakies tablicy czy cos jest problemem

Ten post edytował AcidBurnt 19.06.2006, 17:02:48