PHP nie usuwa starych danych z pamięci podczas zapytań MySQL Opcje

[adbacz]

W bazie danych jest coś koło 132 000 rekordów oraz ponad 140 tabel. Chcę stworzyć dump tej bazy danych w PHP. Wszystko działa poprawnie, tylko, że PHP nie usuwa danych z pamięci i gromadzi je w sobie, mimo, że juz z nich dawno nie korzystam.

Wartości sA przypisywane do zmiennych, które po skończeniu usuwam metodą unset(). Podczas pętli pod tabelach, na jej końcu wywołuje metodę memory_get_peak_usage(true), któa wskazuje mi stale rosnącą wielkość zajętej pamięci przez PHP.

Dodam tylko, że w trakcie tworzenia dump-u, zapytania są dzielone na kawałki po 5000 elementów, i zapisywane do pliku, po czym znowu jest zapisywane do zmiennej 5000 elementów i zapisywane do pliku. Za każdym razem ta zmienna, w której znajdywała się treść tych zapytań też jest usuwana metodą unset(). Mimo to, ilośc zajętej pamięci stale rośnie.

PHP 5.3.10

Dwie metody pobierania danych z bazy: czyste zapytania poprzez funkcję mysql_query oraz przez PDO. W obu przypadkach wstępuje ten sam problem.

[phpion]

Próbowałeś zmniejszyć paczkę z 5000 do np. 500? I czy faktycznie przekracza pamięć czy limit czasu wykonania?

[nospor]

http://php.net/manual/pl/function.mysql-free-result.php

[adbacz]

Zmniejszałem paczki, ale wszystko zostaje w pamięci. A zmniejszenie paczek zwiększa tylko czas na wygenerowanie pełnej kopii bazy.

@nospor - użyłem mysql_free_result(), oraz dla PDO - PDO::closeCursor() ale to nic nie daje.

[nospor]

Wiesz, teraz to my jedynie możemy wróżyć z fusów.... Pokaż kod, to będziemy mogli konkretnie pogadać.

[adbacz]

Cała treść metody z klasy, w której znajduje się.

[PHP] pobierz, plaintext 
file_put_contents(BASEPATH.'/Cache/dump.sql', '');
 
    $tables = $this->db->query('SHOW TABLE STATUS')->fetchAll(); 
 
    for($i=0, $count=count($tables); $i<$count; $i++)
    {
      $result = $this->db->query('SHOW CREATE TABLE `'.$tables[$i]['Name'].'`');
      $createTableQuery =  $result->fetchAll();
 
      if(isset($createTableQuery[0]['Create Table']))
      {
        $tablesDefinitions = $createTableQuery[0]['Create Table'].";\n\r\n\r\n\r\n\r";
      }
      else
      {
        $table = $this->db->query('SHOW COLUMNS FROM `'.$tables[$i]['Name'].'`')->fetchAll();
 
        $tablesDefinitions = 'CREATE TABLE IF NOT EXISTS `'.$tables[$i]['Name'].'` ('."\r\n";
 
        $primary = '';
 
        for($j=0, $countj=count($table); $j<$countj; $j++)
        {
          if(!empty($tablecontent) && strpos($tables[$i]['Name'], 'backup') === false)
          { 
            $valuesDefinitions .= '`'.$table[$j]['Field'].'`, ';
          }
          $tablesDefinitions .= '`'.$table[$j]['Field'].'` '.$table[$j]['Type'].' COLLATE '.$tables[$i]['Collation'].' '.($table[$j]['Null'] == 'YES' ? 'NULL' : 'NOT NULL').(($table[$j]['Default'] != '' && $table[$j]['Default'] != null) ? ' DEFAULT \''.$table[$j]['Default'].'\'' : '').($table[$j]['Extra'] == 'auto_increment' ? ' AUTO_INCREMENT' : '').",\r\n";
 
          if($table[$j]['Key'] != '')
          {
            if($table[$j]['Key'] == 'PRI')
            {
              $primary .= ', PRIMARY KEY (`'.$table[$j]['Field'].'`)';
            }
            elseif($table[$j]['Key'] == 'UNI')
            {
              $primary .= ', UNIQUE KEY `'.$table[$j]['Field'].'` (`'.$table[$j]['Field'].'`)';
            }
            elseif($table[$j]['Key'] == 'MUL')
            {
              $primary .= ', KEY `'.$table[$j]['Field'].'` (`'.$table[$j]['Field'].'`)';
            }
          }
        }
 
        $tablesDefinitions = substr($tablesDefinitions, 0, strlen($tablesDefinitions)-3);
 
        $tablesDefinitions .= $primary."\r\n".') ENGINE='.$tables[$i]['Engine'].' DEFAULT COLLATE='.$tables[$i]['Collation'].' '.(isset($tables[$i]['Auto_increment']) ? 'AUTO_INCREMENT='.$tables[$i]['Auto_increment'] : '').' ;'."\r\n\r\n\r\n";
      }
 
      $result->closeCursor();
 
      file_put_contents(BASEPATH.'/Cache/dump.sql', $tablesDefinitions, FILE_APPEND);
 
      if(strpos($tables[$i]['Name'], 'backup') === false)
      {                                        
        $stmt   = $this->db->query('SELECT * FROM `'.$tables[$i]['Name'].'`');
        $this->array1 = array();
        $this->array2 = array();
        $rows   = 0;
        $cut    = 5000;
 
        while($row = $stmt->fetch(\PDO::FETCH_ASSOC))
        {
          foreach($row as $key => $val)
            $this->array1[]  = str_replace('\'', '\'\'', $val);
 
          $this->array2[]   = '(\''.implode('\', \'', $row).'\')';
          $this->array1      = array();
          $rows++;
 
          if($rows == $cut)
          {
            if($this->array2 !== array())
              file_put_contents(BASEPATH.'/Cache/dump.sql', 'INSERT INTO `'.$tables[$i]['Name'].'` VALUES '."\r\n  ".implode(', ', $this->array2).";\r\n\r\n\r\n", FILE_APPEND);
 
            unset($this->array2);
 
            $this->array2 = array();
            $rows         = 0;
          }
        }
 
        if($valuesArray2 !== array())
          file_put_contents(BASEPATH.'/Cache/dump.sql', 'INSERT INTO `'.$tables[$i]['Name'].'` VALUES '."\r\n  ".implode(', ', $this->array2).";\r\n\r\n\r\n", FILE_APPEND);
 
        $this->array1 = array();
        $this->array2 = array();
      }
 
      echo memory_get_peak_usage(true).' - '.number_format(microtime(true) - START_TIME, 4).'<br />';
    }
[PHP] pobierz, plaintext 

[nospor]

1) Przy drugim nie robisz closeCursor

2) Nie buforuj wyników. Ustaw parametr PDO::MYSQL_ATTR_USE_BUFFERED_QUERY na false

[adbacz]

Dzięki Ci wielkie @nospor. Zmiana buforowania rzeczywiście dała rezultat.