[xml][php][mysql]Duże pliki do bazy MySQL Opcje

[b_chmura]

Witam
Potrzebowałem stworzyć skrypt którym duży plik xml (prawie 250 mb) przerzucę do bazy MySQL.
Na drodze stanęły mi dwie kłody: pamięć ram komputera to tylko 64mb oraz limit wykonywania skryptu 30 sek.

Poniżej przedstawię wam kod który w moim mniemaniu teoretycznie powinien chodzić jednak wciąż dostaję informację o przekroczonym czasie.

[PHP] pobierz, plaintext 
mysql_connect('xxxx', 'xxxx', 'xxxx') or die('Bład! nie można się połączyć z bazą');
mysql_select_db("xxxx") or die('Błąd! nie można wybrać tabeli');
mysql_query("SET NAMES 'utf8'");
 
$fileName  = "baza-produktow.xml";
$table     = 'xxxx';
 
$_SQL['prefix'] = 'xxxx_xml_';
$_SQL['table']  = $table;
$_SQL['query']  = '';
 
 
$timeLimit = ini_get('max_execution_time');
$time      = time();
$limit     = $xmlData['cnt'] = 1000;
$i         = (empty($_GET['start']))? 0: $_GET['start'];
 
while($xmlData['cnt'] == $limit)
{
  if(date("s", time())-date("s", $time) >= ($timeLimit/2)) //teoretycznie jeśli skrypt będzie wykonywał się dłużej jak połowa ustalonego czasu strona powinna się przeładować i zacząć od momentu na którym skończyła
  {
    header("Location: ?start=".$i);
    break;
  }
 
  $start     = $limit*i;
 
  $xmlData   = getTagFromXML($fileName, $table, $start, $limit); //ta funkcja wyciąga X "rekordów" począwszy od X-ego, i oddaje w stringu
  $arrayData = createArrayFormXML($xmlData['data']); //ta z podanego stringa robi tablice z danymi
  $_SQL      = createSqlForOffer($_SQL, $arrayData); //ta tworzy zapytanie sql do bazy danych
               mysql_query($_SQL['queryData']);
               mysql_query($_SQL['queryAttributes']);
  $i++;
}
[PHP] pobierz, plaintext 

Jeśli byłby ktoś wstanie podpowiedzieć ewentualne inne rozwiązanie byłbym wdzięczny.

Pozdrawiam

Ten post edytował b_chmura 1.10.2010, 10:27:57

[zzeus]

[PHP] pobierz, plaintext 
ini_set("max_execution_time", "");
[PHP] pobierz, plaintext 

[b_chmura]

Nie mogę ustalić czasu wykonywania skryptu bo nie wiem ile on będzie trwał (lub może być różny. Więc odpada.

[nospor]

I dlatego dostales kod na ustawienie czasu FOREVER

[b_chmura]

Na serwerach nazwa.pl nie można zmienić czasu wykonywania skryptu. Jakieś inne pomysły? Ewentualnie dlaczego moje rozwiązanie się nie sprawdza?

[CuteOne]

To może zamiast kombinować zrób to ten sposób:

[PHP] pobierz, plaintext 
 
$select = mysql_query("SELECT row FROM xml_to_db");
	$r = mysql_fetch_array($select);
 
	$_db_start = $r['row'];
 
	$i = 1;
 
	while(1) { 
 
		if($i > 100) {
 
			mysql_query("UPDATE xml_to_db SET row = {$limit}");
			header("Location: index.php");
		}
 
		$start   = $_db_start + $i;
		$limit	 = $start + $i;
 
		$xmlData   = getTagFromXML($fileName, $table, $start, $limit); //ta funkcja wyciąga X "rekordów" począwszy od X-ego, i oddaje w stringu
		$arrayData = createArrayFormXML($xmlData['data']); //ta z podanego stringa robi tablice z danymi
		$_SQL      = createSqlForOffer($_SQL, $arrayData); //ta tworzy zapytanie sql do bazy danych
				   mysql_query($_SQL['queryData']);
				   mysql_query($_SQL['queryAttributes']);
 
		$_db_start = $limit;
 
	  $i++;
	}
[PHP] pobierz, plaintext 

nie jest to eleganckie rozwiązanie ale powinno działać ;]

[b_chmura]

Problem w czym innym leży. Nie mogę załadować tak dużego pliku z powodu braku pamięci a zwiększyć jej odgórnie nie mogę.

[lukaskolista]

rozwiazanie jest proste - zapisuj pliki na dysku, a w bazie ich sciezki

[b_chmura]

ale ja chce je przenieść do bazy danych. Nie chce ich mieć w plikach.

[Crozin]

Jak rozumiem ma to być jednorazowa operacja, więc... ściągnij sobie ten plik na swój lokalny komputer, potraktuj go całego simplyxmlemem, zapisz dane do bazy, wyeksportuj bazę. Trochę czasu stracisz czekając aż dane się ściągną/wyślą, ale w tym czasie możesz porobić coś pożytecznego.

Nie będziesz się musiał bawić w jakieś partycjonowanie XMLa itp. itd.