[xml][php][mysql]Duże pliki do bazy MySQL Opcje

[b_chmura]

Witam
Potrzebowałem stworzyć skrypt którym duży plik xml (prawie 250 mb) przerzucę do bazy MySQL.
Na drodze stanęły mi dwie kłody: pamięć ram komputera to tylko 64mb oraz limit wykonywania skryptu 30 sek.

Poniżej przedstawię wam kod który w moim mniemaniu teoretycznie powinien chodzić jednak wciąż dostaję informację o przekroczonym czasie.

[PHP] pobierz, plaintext 
mysql_connect('xxxx', 'xxxx', 'xxxx') or die('Bład! nie można się połączyć z bazą');
mysql_select_db("xxxx") or die('Błąd! nie można wybrać tabeli');
mysql_query("SET NAMES 'utf8'");
 
$fileName  = "baza-produktow.xml";
$table     = 'xxxx';
 
$_SQL['prefix'] = 'xxxx_xml_';
$_SQL['table']  = $table;
$_SQL['query']  = '';
 
 
$timeLimit = ini_get('max_execution_time');
$time      = time();
$limit     = $xmlData['cnt'] = 1000;
$i         = (empty($_GET['start']))? 0: $_GET['start'];
 
while($xmlData['cnt'] == $limit)
{
  if(date("s", time())-date("s", $time) >= ($timeLimit/2)) //teoretycznie jeśli skrypt będzie wykonywał się dłużej jak połowa ustalonego czasu strona powinna się przeładować i zacząć od momentu na którym skończyła
  {
    header("Location: ?start=".$i);
    break;
  }
 
  $start     = $limit*i;
 
  $xmlData   = getTagFromXML($fileName, $table, $start, $limit); //ta funkcja wyciąga X "rekordów" począwszy od X-ego, i oddaje w stringu
  $arrayData = createArrayFormXML($xmlData['data']); //ta z podanego stringa robi tablice z danymi
  $_SQL      = createSqlForOffer($_SQL, $arrayData); //ta tworzy zapytanie sql do bazy danych
               mysql_query($_SQL['queryData']);
               mysql_query($_SQL['queryAttributes']);
  $i++;
}
[PHP] pobierz, plaintext 

Jeśli byłby ktoś wstanie podpowiedzieć ewentualne inne rozwiązanie byłbym wdzięczny.

Pozdrawiam

Ten post edytował b_chmura 1.10.2010, 10:27:57

[CuteOne]

To może zamiast kombinować zrób to ten sposób:

[PHP] pobierz, plaintext 
 
$select = mysql_query("SELECT row FROM xml_to_db");
	$r = mysql_fetch_array($select);
 
	$_db_start = $r['row'];
 
	$i = 1;
 
	while(1) { 
 
		if($i > 100) {
 
			mysql_query("UPDATE xml_to_db SET row = {$limit}");
			header("Location: index.php");
		}
 
		$start   = $_db_start + $i;
		$limit	 = $start + $i;
 
		$xmlData   = getTagFromXML($fileName, $table, $start, $limit); //ta funkcja wyciąga X "rekordów" począwszy od X-ego, i oddaje w stringu
		$arrayData = createArrayFormXML($xmlData['data']); //ta z podanego stringa robi tablice z danymi
		$_SQL      = createSqlForOffer($_SQL, $arrayData); //ta tworzy zapytanie sql do bazy danych
				   mysql_query($_SQL['queryData']);
				   mysql_query($_SQL['queryAttributes']);
 
		$_db_start = $limit;
 
	  $i++;
	}
[PHP] pobierz, plaintext 

nie jest to eleganckie rozwiązanie ale powinno działać ;]