[xml][php][mysql]Duże pliki do bazy MySQL Opcje

[b_chmura]

Witam
Potrzebowałem stworzyć skrypt którym duży plik xml (prawie 250 mb) przerzucę do bazy MySQL.
Na drodze stanęły mi dwie kłody: pamięć ram komputera to tylko 64mb oraz limit wykonywania skryptu 30 sek.

Poniżej przedstawię wam kod który w moim mniemaniu teoretycznie powinien chodzić jednak wciąż dostaję informację o przekroczonym czasie.

[PHP] pobierz, plaintext 
mysql_connect('xxxx', 'xxxx', 'xxxx') or die('Bład! nie można się połączyć z bazą');
mysql_select_db("xxxx") or die('Błąd! nie można wybrać tabeli');
mysql_query("SET NAMES 'utf8'");
 
$fileName  = "baza-produktow.xml";
$table     = 'xxxx';
 
$_SQL['prefix'] = 'xxxx_xml_';
$_SQL['table']  = $table;
$_SQL['query']  = '';
 
 
$timeLimit = ini_get('max_execution_time');
$time      = time();
$limit     = $xmlData['cnt'] = 1000;
$i         = (empty($_GET['start']))? 0: $_GET['start'];
 
while($xmlData['cnt'] == $limit)
{
  if(date("s", time())-date("s", $time) >= ($timeLimit/2)) //teoretycznie jeśli skrypt będzie wykonywał się dłużej jak połowa ustalonego czasu strona powinna się przeładować i zacząć od momentu na którym skończyła
  {
    header("Location: ?start=".$i);
    break;
  }
 
  $start     = $limit*i;
 
  $xmlData   = getTagFromXML($fileName, $table, $start, $limit); //ta funkcja wyciąga X "rekordów" począwszy od X-ego, i oddaje w stringu
  $arrayData = createArrayFormXML($xmlData['data']); //ta z podanego stringa robi tablice z danymi
  $_SQL      = createSqlForOffer($_SQL, $arrayData); //ta tworzy zapytanie sql do bazy danych
               mysql_query($_SQL['queryData']);
               mysql_query($_SQL['queryAttributes']);
  $i++;
}
[PHP] pobierz, plaintext 

Jeśli byłby ktoś wstanie podpowiedzieć ewentualne inne rozwiązanie byłbym wdzięczny.

Pozdrawiam

Ten post edytował b_chmura 1.10.2010, 10:27:57

[Crozin]

Jak rozumiem ma to być jednorazowa operacja, więc... ściągnij sobie ten plik na swój lokalny komputer, potraktuj go całego simplyxmlemem, zapisz dane do bazy, wyeksportuj bazę. Trochę czasu stracisz czekając aż dane się ściągną/wyślą, ale w tym czasie możesz porobić coś pożytecznego.

Nie będziesz się musiał bawić w jakieś partycjonowanie XMLa itp. itd.