Witaj Gościu! ( Zaloguj | Rejestruj )

Forum PHP.pl

 
 Reply to this topicStart new topic
> wieszanie się file() i fsockopen(), jak z tym walczyć lub obejść?
Alek
post
Post #1





Grupa: Zarejestrowani
Postów: 47
Pomógł: 0
Dołączył: 25.06.2003
Skąd: Gdynia

Ostrzeżenie: (0%)
-----

Mam skrypt ściągający kilka tysięcy plików z netu (na razie tylko http - strony).
Cały proces trwa trochę, więc chciałbym puścić go "w samopas" na jakimś kompie i pójść np. na kawe. Problem w tym, że co którąś lokację zawiesza się na funkcjach file() (ew. fsockopen(), używany jako zamiennik). Próbowałem różnych sztuczek, aby strona się co jakiś czas sama odświeżyła i nic:(.
Adresy lokacji do pobrania brane są z MySQL, każdy ściągnięty jest oznaczany (żeby 2 razy nie ściągać).

fsockopen() używałem ze względu na parametr timeout, niestety też nie działa.

Oto metody, które zdążyły się już nie sprawdzić:
- wstawienie w nagłówku 
[HTML] pobierz, plaintext 
  1. <META HTTP-EQUIV="Refresh" CONTENT="5">
[HTML] pobierz, plaintext

- zastąpienie file() przez fsockopen()
- java script: setTimeout('location.reload(true)',15000);

Tnę się z tym już trzeci dzień, pomóżcie...
Go to the top of the page
+Quote Post
hwao
post
Post #2


Developer


Grupa: Moderatorzy
Postów: 2 844
Pomógł: 20
Dołączył: 25.11.2003
Skąd: Olkusz
nie rozumie co piszesz biggrin.gif

file_get_contents()

na fsockopen nie powinno sie nic zawieszac winksmiley.jpg

Nastawiles "bez limitu czasu"?

jak objawia sie te "zawiesznie" co sie dzieje? moze masz zle napisane poprostu
Go to the top of the page
+Quote Post
darekpe
post
Post #3





Grupa: Zarejestrowani
Postów: 9
Pomógł: 0
Dołączył: 28.11.2005
Skąd: Belfast, Northern Ireland

Ostrzeżenie: (0%)
-----

A ustawiles dla tego skryptu

Kod
set_time_limit(0)


Nie wiem czy to rozwiaze Twoj problem, ale jest to pewna poszlaka smile.gif

pozdrawiam,
darek


--------------------
--
Darek Pelka
BlueCube Interactive
Belfast, Northern Ireland
Go to the top of the page
+Quote Post
Alek
post
Post #4





Grupa: Zarejestrowani
Postów: 47
Pomógł: 0
Dołączył: 25.06.2003
Skąd: Gdynia

Ostrzeżenie: (0%)
-----

Oto mój kłopot:

[PHP] pobierz, plaintext 
  1. <?
  2. class HTTPRequest
  3. {
  4.    var $_fp;		// HTTP socket
  5.    var $_url;		// full URL
  6.    var $_host;		// HTTP host
  7.    var $_protocol;	// protocol (HTTP/HTTPS)
  8.    var $_uri;		// request URI
  9.    var $_port;		// port
  10.  
  11.    // scan url
  12.    function _scan_url()
  13.    {
  14. 	   $req = $this->_url;
  15.  
  16. 	   $pos = strpos($req, '://');
  17. 	   $this->_protocol = strtolower(substr($req, 0, $pos));
  18.  
  19. 	   $req = substr($req, $pos+3);
  20. 	   $pos = strpos($req, '/');
  21. 	   if($pos === false)
  22. 		   $pos = strlen($req);
  23. 	   $host = substr($req, 0, $pos);
  24.  
  25. 	   if(strpos($host, ':') !== false)
  26. 	   {
  27. 		   list($this->_host, $this->_port) = explode(':', $host);
  28. 	   }
  29. 	   else
  30. 	   {
  31. 		   $this->_host = $host;
  32. 		   $this->_port = ($this->_protocol == 'https') ? 443 : 80;
  33. 	   }
  34.  
  35. 	   $this->_uri = substr($req, $pos);
  36. 	   if($this->_uri == '')
  37. 		   $this->_uri = '/';
  38.    }
  39.  
  40.    // constructor
  41.    function HTTPRequest($url)
  42.    {
  43. 	   $this->_url = $url;
  44. 	   $this->_scan_url();
  45.    }
  46.  
  47.    // download URL to string
  48.    function DownloadToString()
  49.    {
  50. 	   $crlf = "\r\n";
  51. 	   $response='';
  52.  
  53. 	   // generate request
  54. 	   $req = 'GET ' . $this->_uri . ' HTTP/1.0' . $crlf
  55. 		   .	'Host: ' . $this->_host . $crlf
  56. 		   .	$crlf;
  57.  
  58. 	   // fetch
  59. 	   $this->_fp = fsockopen(($this->_protocol == 'https' ? 'ssl://' : '') . $this->_host, $this->_port, $errno, $errstr, 4);
  60. 	   fwrite($this->_fp, $req);
  61. 	   while(is_resource($this->_fp) && $this->_fp && !feof($this->_fp))
  62. 		   $response .= fread($this->_fp, 1024);
  63. 	   fclose($this->_fp);
  64.  
  65. 	   // split header and body
  66. 	   $pos = strpos($response, $crlf . $crlf);
  67. 	   if($pos === false)
  68. 		   return($response);
  69. 	   $header = substr($response, 0, $pos);
  70. 	   $body = substr($response, $pos + 2 * strlen($crlf));
  71.  
  72. 	   // parse headers
  73. 	   $headers = array();
  74. 	   $lines = explode($crlf, $header);
  75. 	   foreach($lines as $line)
  76. 		   if(($pos = strpos($line, ':')) !== false)
  77. 			   $headers[strtolower(trim(substr($line, 0, $pos)))] = trim(substr($line, $pos+1));
  78.  
  79. 	   // redirection?
  80. 	   if(isset($headers['location']))
  81. 	   {
  82. 		   $http = new HTTPRequest($headers['location']);
  83. 		   return($http->DownloadToString($http));
  84. 	   }
  85. 	   else
  86. 	   {
  87. 		   return($body);
  88. 	   }
  89.    }
  90. }
  91. // class END ================================
  92.  
  93. error_reporting(E_ALL);
  94. ob_start(); // wlaczamy buforowanie wyjscia
  95. ?>
  96.  
  97. <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
  98. <HTML>
  99. <HEAD>
  100. 	<META HTTP-EQUIV="content-type" CONTENT="text/html; charset=iso-8859-2">
  101. 	<META NAME="Language" CONTENT="pl">
  102. 	<META NAME="robots" CONTENT="none">
  103. 	<META HTTP-EQUIV="Refresh" CONTENT="10">
  104. 	<!-- poniższy skrypt był użyty jako jeden ze sposobów odswiezenia -->
  105. 	<script language="Javascript">
  106. 		var time=15;
  107. 		function timer(name){
  108. 			time--;
  109. 			document.formularz.zegar.value=time;
  110. 			if(time>0){
  111. 				timeout=setTimeout("timer('next')",1000);
  112. 			}
  113. 			else{
  114. 				setTimeout('location.reload(true)',3000);
  115. 				document.execCommand('Stop');
  116. 				window.stop();
  117. 			}
  118. 		}
  119. 	</script>
  120. </HEAD>
  121. <BODY>
  122. <!--
  123. <img src="gfx/fwd.gif" onLoad="timer('next')">
  124. Do odświeżenia pozostało: <form name="formularz"><INPUT TYPE="TEXT" NAME="zegar" size="3" READONLY></FORM>
  125. -->
  126.  
  127. <?
  128. ob_flush(); flush();
  129. $katalog_nowe_tresci	= '_nowe_tresci';
  130. $error_log='error_logs/'.date('Y-m-d').'.htm';
  131. // ==========================================================================
  132.  
  133. $sql="SELECT id,url FROM urls AND czy_skanowano=0 ORDER BY id LIMIT 100 ";
  134. $result=mysql_query($sql);
  135.  
  136. if(mysql_num_rows($result)==0){
  137. 	exit('Brak adresów do przetworzenia - koniec skanowania.');
  138. };
  139.  
  140. // przechodzimy przez wynik zapytania
  141. while($bip=mysql_fetch_array($result)){
  142. 	$plik_zawartosc = $katalog_nowe_tresci.'/'.$bip['id'].'.htm';
  143. 	clearstatcache();
  144. 	$adres=str_replace('$',"%24",trim($bip['url']));
  145. 	echo 'Przetwarzam: ('.$bip['id'].') <a href="'.$adres.'" target="_blank">'.htmlspecialchars($adres).'</a><br>';
  146. 	ob_flush(); flush();
  147.  
  148. 	$r= new HTTPRequest($adres);
  149. 	$s= $r->DownloadToString();
  150. 	$z=explode("\n",$s);
  151. 	if(count($z)==0 || $z==FALSE){
  152. 		echo '<b>Problem z ściągnięciem:</b> <a href="'.$adres.'" target="_blank">'.htmlspecialchars($adres).'</a><br>';
  153. 		ob_flush(); flush();
  154. 		continue;
  155. 	}
  156.  
  157. 	// zapis strony do pliku
  158. 	if(($fp=fopen($plik_zawartosc,'w'))===FALSE){
  159. 		echo '<b>Błąd otwarcia pliku strony:</b> <a href="'.$adres.'" target="_blank">'.htmlspecialchars($adres).'</a><br>';
  160. 		ob_flush(); flush();
  161. 		exit('Błąd otwarcia pliku strony');
  162. 	}
  163. 	foreach($z as $l){
  164. 		// usunac wszystkie PHPSESSID itp
  165. 		$l=trim($l);
  166. 		$l = eregi_replace("sessid=[[:alnum:]]*",'',$l);
  167. 		$l = eregi_replace("sid=[[:alnum:]]*",'',$l);
  168. 		$l = eregi_replace("sessionid=[[:alnum:]]*",'',$l);
  169. 		if(fwrite($fp,"$l\n")===FALSE){ //zapisywanie linia po linii
  170. 			echo '<b>Błąd zapisu pliku strony:</b> <a href="'.$adres.'" target="_blank">'.htmlspecialchars($adres).'</a><br>';
  171. 			ob_flush(); flush();
  172. 			exit('Błąd zapisu pliku strony');
  173. 		}
  174. 	}
  175. 	if(fclose($fp)===FALSE){
  176. 		echo '<b>Błąd zamknięcia pliku strony:</b> <a href="'.$adres.'" target="_blank">'.htmlspecialchars($adres).'</a><br>';
  177. 		ob_flush(); flush();
  178. 		exit('Błąd zamknięcia pliku strony');
  179. 	}
  180. 	unset($fp,$z,$l);
  181.  
  182. 	if(!file_exists($plik_zawartosc) || filesize($plik_zawartosc)==0){
  183. 		clearstatcache();
  184. 		echo '<b>Problem z zapisem:</b> <a href="'.$adres.'" target="_blank">'.htmlspecialchars($adres).'</a><br>';
  185. 		ob_flush(); flush();
  186. 		continue;
  187. 	}
  188. 		ob_flush(); flush();
  189. } // END OF while($bip=mysql_fetch_array($result_bipy))
  190.  
  191. ob_end_flush();
  192. flush();
  193. ?>
  194.  
  195. </BODY>
  196. </HTML>
[PHP] pobierz, plaintext


poprawiam
---
nospor

@darekpe: wyglada na to że set_time_limit() jest zablokowane na serwerze na którym biega ten skrypt

@hwao:
ustawiłem: 
[PHP] pobierz, plaintext 
  1. <?php
  2. fsockopen(($this->_protocol == 'https' ? 'ssl://' : '') . $this->_host, $this->_port, $errno, $errstr, 4);
  3. ?>
[PHP] pobierz, plaintext


"zawiecha" polega na tym że:
albo strona się pozornie dalej wczytuje (Trwa wczytywanie... w belce)
albo jest status "Zakończono", ale pasek postępu ładowania ciągle jest widoczny (jak i klepsydra)
Go to the top of the page
+Quote Post
« Następny starszy · PHP · Następny nowszy »
 

Reply to this topicStart new topic
1 Użytkowników czyta ten temat (1 Gości i 0 Anonimowych użytkowników)
0 Zarejestrowanych:

 

Tryb wyświetlania: Standardowy · Przełącz na: Linearny+ · Przełącz na: Drzewo

Śledź ten temat · Wyślij temat na e-mail · Wydrukuj ten temat · Subskrybuj to forum

RSS Aktualny czas: 19.08.2025 - 05:39
Powered By IP.Board © 2025  IPS, Inc.
All changes by PHP.pl Administrators
Hosting zapewnia NQ.pl hosting, trac, svn