Pobranie strony internetowej z poziomu php, jak to ugryźć :) Opcje

[L_Devil]

Witam!

Chciałbym napisać prosty system katalogów stron internetowych. User podawałby adres swojej strony, a mój skrypt odwiedzałby go, spisywał META, itp. O ile potafię rozbić stronę ukrytą w zmiennej na konkretne znaczniki, odczytać meta i a href'y, o tyle problemem jest dostanie tej strony.

Moje pytanie brzmi: Jak otworzyć stronę internetową przez php i dostać jej zawartość do zmiennej? Słyszałem, że może do tego posłużyć fsockopen...

Z góry dzięki za wszelką pomoc

[gszesiek]

proponowałbym przeszukać choćby te forum - był temat omawiany (niedawno)

[ActivePlayer]

proponuje tez lekture komentarzy na fsockopen" title="Zobacz w manualu php" target="_manual

[L_Devil]

użyłem tej funkcji:

[PHP] pobierz, plaintext 
<?php
function doPost($uri,$postdata,$host){
	   $da = fsockopen($host, 80, $errno, $errstr);
	   if (!$da) {
		   echo "$errstr ($errno)<br/>n";
		   echo $da;
	   }
	   else {
		   $salida ="POST $uri  HTTP/1.1rn";
		   $salida.="Host: $hostrn";
		   $salida.="User-Agent: php Scriptrn";
		   $salida.="Content-Type: application/x-www-form-urlencodedrn";
		   $salida.="Content-Length: ".strlen($postdata)."rn";
		   $salida.="Connection: closernrn";
		   $salida.=$postdata;
		   fwrite($da, $salida);
					 while (!feof($da))
			   $response.=fgets($da, 128);
		   $response=split("rnrn",$response);
		   $header=$response[0];
		   $responsecontent=$response[1];
		   if(!(strpos($header,"Transfer-Encoding: chunked")===false)){
			   $aux=split("rn",$responsecontent);
			   for($i=0;$i<count($aux);$i++)
				   if($i==0 || ($i%2==0))
					   $aux[$i]="";
			   $responsecontent=implode("",$aux);
		   }//if
		   return chop($responsecontent);
	   }//else
   }//function-doPost
?>
[PHP] pobierz, plaintext 

W taki sposób:

[PHP] pobierz, plaintext 
<?php
if($temp_database)
{
	$temp_database['url'] = "http://localhost/moja_strona/plik.php"; // to dostaję z bazy danych
	$temp = substr($temp_database['url'], 7);
	$temp_arr = explode("/", $temp);
	$host = $temp_arr[0];
	$temp_arr[0] = "";
	$postdata = "";
	$temp = implode("/", $temp_arr);
	echo doPost($temp, "", $host);
}
?>
[PHP] pobierz, plaintext 

I dostałem na dzień dobry stronę z Internal Server Error... po czym jeszcze powtórzoną kilkadziesiąt razy poprawną stronę odbiorcy... co robię nie tak?

Ten post edytował L_Devil 20.10.2006, 18:48:13

[eai]

[PHP] pobierz, plaintext 
<?php
 
$source = file('http://www.strona.pl/');
$source = implode('', $source);
 
preg_match('/<title>(.*?)</title>/si', $source , $title);
preg_match('/name="description" *content="(.*?)"/si', $source , $description);
preg_match('/name="keywords" *content="(.*?)"/si', $source , $keywords);
 
echo 'Tytul strony: ' . $title[1] . ' <br />';
echo 'Opis strony: ' . $description[1] . ' <br />';
echo 'Slowa kluczowe: ' . $keywords[1] . ' <br />';
 
?>
[PHP] pobierz, plaintext 

Warto tez pobrac jakie kodowanie jest na stronie, i przekonwertowac do kodowania ktorego uzywasz.

[L_Devil]

Testuję to na własnym Apachu... wywołuję to tylko raz - po czym w logach apacha znajduję:

Kod

localhost - - [21/Oct/2006:17:33:34 +0200] "GET /testpage/test_page HTTP/1.0" 200 537
localhost - - [21/Oct/2006:17:33:33 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:33 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:32 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:32 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:33 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:31 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:31 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:29 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:32 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:31 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:27 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:31 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:26 +0200] "GET /testpage/index.php HTTP/1.1" 200 8341
localhost - - [21/Oct/2006:17:33:29 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:27 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:27 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:30 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:30 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:30 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:28 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:32 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:29 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:29 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:27 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:28 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:30 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:28 +0200] "GET /testpage/test_page HTTP/1.0" 200 20
localhost - - [21/Oct/2006:17:33:28 +0200] "GET /testpage/test_page HTTP/1.0" 200 20

O co tu chodzi?

(Po uruchomieniu strony, mięli strasznie długo, komputer zaczyna ostro pracować, itp.)

Ten post edytował L_Devil 21.10.2006, 16:37:07

[lenczewski]

http://my.opera.com/lenczewski/blog/show.dml/156176

[L_Devil]

file_get_contents() dał ten sam efekt... strona została pobrana kilkadziesiąt razy, zamiast raz. Na pewno nie wywołuję tego w pętli (sprawdzam echo jedno przed file_get_contents... drukuje na ekran tylko raz). Co jest nie tak?

Apache 2.0.52
php 5.0.4

[D4rky]

daj jakiś większy kawałek kodu, który teraz używasz, to się zobaczy o co chodzi