Witaj Gościu! ( Zaloguj | Rejestruj )

Forum PHP.pl

 
 Reply to this topicStart new topic
> Fatal error
masterix
post 25.05.2007, 12:50:59
Post #1





Grupa: Zarejestrowani
Postów: 93
Pomógł: 0
Dołączył: 7.09.2004

Ostrzeżenie: (0%)
-----

Witam,

Przy wykonywaniu skryptu dostaję taki błąd:

Cytat
Fatal error: Allowed memory size of 16777216 bytes exhausted (tried to allocate 7577913 bytes)

Widziałem na forum już podobne tematy i problemy z tym jednak nie pomogło mi ich przeczytanie. Pobieram dane ze zdalnej strony i zawsze po ponad 700 stronach wywala mi się:
[PHP] pobierz, plaintext 
  1. <?php
  2.  
  3.   ob_start();
  4.  
  5.   require_once( '../inc/config.php' );
  6.  
  7.  
  8.  
  9. echo '<?xml version="1.0" encoding="utf-8"?>
  10.  
  11. <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
  12.  
  13. <html xmlns="http://www.w3.org/1999/xhtml">
  14.  
  15. <head>
  16.  
  17. <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
  18.  
  19. <title>Instalator</title>
  20.  
  21. </head>
  22.  
  23. <body xml:lang="pl">'; 
  24.  
  25. 	try
  26.  
  27. 	{
  28.  
  29. 	  $pdo = new PDO('mysql:host=localhost;dbname='.$db, $user, $pass);
  30.  
  31.  
  32.  
  33. 	  $pdo -> setAttribute( PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION );
  34.  
  35.  
  36.  
  37. 	}
  38.  
  39. 	catch( PDOException $error )
  40.  
  41. 	{
  42.  
  43. 	  die ( 'Error: '. $error -> getMessage() );
  44.  
  45. 	}
  46.  
  47.  
  48.  
  49.  
  50.  
  51.  ?>
  52.  
  53. 	<p>Witam w instalatorze skryptu.<br /><br />
  54.  
  55. 	Pobieranie danych ze zdalnego serwera może potrwać długo, mimo że zostało podzie
    lone na kilka etapów. Każdy etap może potrwać nawet kilkadzisiąt minut dlatego pr
    oszę o uzbrojenie się w cierpliwość a następnie naciśnięcie przycisku DALEJ.</p>
  56.  
  57. 	<form action="get_du_mp.php" method="post">
  58.  
  59. 	<input type="submit" name="go" value="Dalej">
  60.  
  61. 	</form>
  62.  
  63.  <?php
  64.  
  65.   }
  66.  
  67.   else
  68.  
  69.   {
  70.  
  71. 	try
  72.  
  73. 	{
  74.  
  75. 	  $pdo = new PDO('mysql:host=localhost;dbname='.$db, $user, $pass);
  76.  
  77.  
  78.  
  79. 	  $pdo -> setAttribute( PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION );
  80.  
  81.  
  82.  
  83. 	}
  84.  
  85. 	catch( PDOException $error )
  86.  
  87. 	{
  88.  
  89. 	  die ( 'Error: '. $error -> getMessage() );
  90.  
  91. 	}
  92.  
  93. 	if ( isset( $_GET['from'] ) ) $from = $_GET['from'];
  94.  
  95. 	else $from = 0;
  96.  
  97. 	if ( !isset( $_GET['max'] ) )
  98.  
  99. 	{
  100.  
  101. 		$stmt_tmp = $pdo -> prepare( 'SELECT id FROM `tmp_mp_du` WHERE type = "du"');
  102.  
  103. 		$stmt_tmp -> execute();
  104.  
  105. 		$max = $stmt_tmp -> rowCount();
  106.  
  107. 		$stmt_tmp -> closeCursor();
  108.  
  109. 	}
  110.  
  111.  
  112.  
  113. 		$stmt = $pdo -> prepare( 'SELECT `url`, `year` FROM `tmp_mp_du` WHERE `type` = "du" LIMIT '.$from.', 500' );
  114.  
  115. 		//$stmt -> bindValue( ':from', $from, PDO::PARAM_INT );
  116.  
  117. 		$stmt -> execute();
  118.  
  119. 		$results = array();
  120.  
  121. 		$years = array();
  122.  
  123. 		while ( $row = $stmt -> fetch() )
  124.  
  125. 		{
  126.  
  127. 		  $results[] = $row['url'];
  128.  
  129. 		  $years[] = $row['year'];
  130.  
  131. 		}
  132.  
  133. 		$stmt -> closeCursor();
  134.  
  135.  
  136.  
  137. 		$stmt = $pdo -> prepare( 'INSERT INTO `documents`( id, type, name, year, number, text ) VALUES( null, "Dziennik Ustaw", :name, :year, :number, :text ) ' );
  138.  
  139. 		$stmt -> bindParam( ':name', $name, PDO::PARAM_STR );
  140.  
  141. 		$stmt -> bindParam( ':year', $year, PDO::PARAM_INT );
  142.  
  143. 		$stmt -> bindParam( ':number', $number, PDO::PARAM_INT );
  144.  
  145. 		$stmt -> bindParam( ':text', $text );
  146.  
  147. 		if ( isset( $_GET['number'] ) ) $number = $_GET['number'];
  148.  
  149. 		else $number = 1;
  150. 		$i = 0;
  151.  
  152. 		foreach( $results as $match )
  153.  
  154. 		{
  155.  
  156. 		  $cr_tmp = curl_init( $match );
  157.  
  158. 		  curl_setopt( $cr_tmp, CURLOPT_RETURNTRANSFER, TRUE );
  159.  
  160. 		  $docs_data = curl_exec( $cr_tmp );
  161.  
  162. 		  curl_close( $cr_tmp );
  163.  
  164. 		  //preg_match( '%<table[^>]class="txs">(.*?)<div[^>]class="nagl">%i', $docs_data, $match );
  165.  
  166. 		  if ( strpos( $docs_data, 'PDF' ) !== false )
  167.  
  168. 		  {
  169.  
  170. 			$text = substr( $docs_data, strpos( $docs_data, '<div class="dopisek">' ) );
  171.  
  172. 			$text = strip_tags( $text, '<div><a>' );
  173.  
  174. 			$text = preg_replace( '%href="../../pdf/(.*?).pdf%i', "href='http://bap-psp.lex.pl/serwis/pdf/$1.pdf'", $text );
  175.  
  176. 			preg_match( '%<title>(.*?)</title>%i', $text, $name );
  177.  
  178. 			$text = iconv( "CP1250", "UTF-8", $text );
  179.  
  180. 			$year = $years[ $i ];
  181.  
  182. 			$name = iconv( "CP1250", "UTF-8", 'Dziennik Ustaw '.$year.' '.$name[0] );
  183.  
  184. 			$stmt -> execute();
  185.  
  186. 			++$number;
  187.  
  188. 		  }
  189.  
  190. 		  else
  191.  
  192. 		  {
  193.  
  194. 			$text = substr( $docs_data, strpos( $docs_data, '<table class="txs">') );
  195.  
  196. 			$text = preg_replace( '%<script(.*?)</html>%i', '', $text );
  197.  
  198. 			preg_match( '%Dz.U.[0-9]+.[0-9]+.[0-9]+%', $text, $name );
  199.  
  200. 			$text = iconv( "CP1250", "UTF-8", $text );
  201.  
  202. 			$year = $years[ $i ];
  203.  
  204. 			$name = iconv( "CP1250", "UTF-8", 'Dziennik Ustaw '.$year.' '.$name[0] );
  205.  
  206. 			$stmt -> execute();
  207.  
  208. 			++$number;
  209.  
  210. 		  }
  211. 		  ++$i;
  212.  
  213. 		}
  214.  
  215. 		$stmt -> closeCursor();
  216.  
  217. 		$from = $from + 500;
  218.  
  219. 		//$_GET['number'];
  220.  
  221. 		if ( $max < $from )
  222.  
  223. 		{
  224.  
  225. 			//unset( $_GET['max'] );
  226.  
  227. 			header( "Location:get_du_mp2.php" );
  228.  
  229. 		}
  230.  
  231. 		else 
  232.  
  233. 		{
  234.  
  235. 			//print_r( $_GET );
  236.  
  237. 			//header("Location:get_du_mp.php?go=1&max=$max&from=$from&number=$number");
  238. 			echo "<a href='get_du_mp.php?go=1&max=$max&from=$from&number=$number'>Dalej</a>";
  239.  
  240. 		}
  241.  
  242.  
  243.  
  244. 	}
  245.  
  246. ?>
  247.  
  248. </body></html>
[PHP] pobierz, plaintext
Wszystko się wykonuje w pętli, stron jest około 20000 jednak już przed tysiącem się sypie. W inym skrypcie podobnie pobierałem dane, rekordów było 7000 i pobrało. W czym jest problem? A może trzeba do tego zagadnienia zupełnie inaczej podeść? Jeśli tak to jak?

Z góry dziękuję za wszelkie odpowiedzi.

pzdr.

Ten post edytował masterix 25.05.2007, 12:54:03
Go to the top of the page
+Quote Post
zibra
post 25.05.2007, 13:53:33
Post #2





Grupa: Zarejestrowani
Postów: 34
Pomógł: 0
Dołączył: 26.10.2005
Skąd: Wrocław

Ostrzeżenie: (0%)
-----

Nie zagłębiałem isę w Twój kod, ale miałem ten sam błąd przy uploadowaniu obrazków przez php i u mnie pomogło dodanie funkcji imagedestroy(); może spróbuj powywalać na końcu pętli niepotrzebne dane w zmiennych czy tablicach?
Go to the top of the page
+Quote Post
masterix
post 25.05.2007, 14:15:14
Post #3





Grupa: Zarejestrowani
Postów: 93
Pomógł: 0
Dołączył: 7.09.2004

Ostrzeżenie: (0%)
-----

Nie pomogło, nadal dokłądnie ten sam błąd.
Go to the top of the page
+Quote Post
thornag
post 25.05.2007, 15:03:55
Post #4





Grupa: Zarejestrowani
Postów: 504
Pomógł: 2
Dołączył: 31.03.2006
Skąd: Londyn

Ostrzeżenie: (0%)
-----

W php.ini zwieksz maksymalna pamiec jaka skrypt moze wykorzystac. Jesli nie masz dostepu do php.ini popros administratora. Z drugiej strony jesli to jednorazowa operacja moze odpal z konsoli ?


--------------------
"Wizja czasu jest szeroka, lecz kiedy sie przez nia przechodzi, czas staje sie waskimi drzwiami"
Go to the top of the page
+Quote Post
masterix
post 25.05.2007, 15:09:38
Post #5





Grupa: Zarejestrowani
Postów: 93
Pomógł: 0
Dołączył: 7.09.2004

Ostrzeżenie: (0%)
-----

Nie mogę limitu zmienić, już próbowałem.

Jeśli odpalę z konsoli to ten limit mnie nie obowiązuje? Jeśli tak to możesz mnie krótko poinstruować jak to zrobić? Dostęp do shella mam.

pzdr.
Go to the top of the page
+Quote Post
thornag
post 25.05.2007, 15:11:28
Post #6





Grupa: Zarejestrowani
Postów: 504
Pomógł: 2
Dołączył: 31.03.2006
Skąd: Londyn

Ostrzeżenie: (0%)
-----

E tego rozwiazania nie jestem pewien, aczkolwiek jesli odpalasz skrypt z konsoli to robisz to bez posrednictwa serwera http,

man php

o ile dobrze pamietam
# php -e plik.php

Moge sie mylic nie mam teraz jak sprawdzic sad.gif


--------------------
"Wizja czasu jest szeroka, lecz kiedy sie przez nia przechodzi, czas staje sie waskimi drzwiami"
Go to the top of the page
+Quote Post
« Następny starszy · PHP · Następny nowszy »
 

Reply to this topicStart new topic
1 Użytkowników czyta ten temat (1 Gości i 0 Anonimowych użytkowników)
0 Zarejestrowanych:

 

Tryb wyświetlania: Standardowy · Przełącz na: Linearny+ · Przełącz na: Drzewo

Śledź ten temat · Wyślij temat na e-mail · Wydrukuj ten temat · Subskrybuj to forum

RSS Wersja Lo-Fi Aktualny czas: 25.06.2025 - 00:24
Powered By IP.Board © 2025  IPS, Inc.
All changes by PHP.pl Administrators
Hosting zapewnia NQ.pl hosting, trac, svn