Przeglądanie internetu za pomocą php fsockopen(), fsockopen() Opcje

[pacmen]

Witam

Chciałbym stworzyć robota – bota do indeksowania stron, który samodzielnie chodzi po necie i indeksuje po słowach kluczowych. Nie mam pojęcia od czego miałbym się zabrać, może jest jakiś podobny skrypt w necie. Jedyny jaki mam pomysł to wykorzystanie funkcji fsockopen() ale nasuwają mi się kilka pytań korzystając z przykładu manuala:

[PHP] pobierz, plaintext 
<?php
$fp = fsockopen("www.example.com", 80, $errno, $errstr, 30);
if (!$fp) {
echo "$errstr ($errno)<br />\n";
} else {
$out = "GET / HTTP/1.1\r\n";
$out .= "Host: www.example.com\r\n";
$out .= "Connection: Close\r\n\r\n";
 
fwrite($fp, $out);
while (!feof($fp)) {
echo fgets($fp, 128);
}
fclose($fp);
}
?>
[PHP] pobierz, plaintext 

Chciałbym wykorzystywać adresy www.example.com/index.php,html czy htm nie tylko po domenach
innym problemem jest przekierowanie strony w nagłówku na inną stronę

Jakieś pomysły spostrzeżenia (IMG:http://forum.php.pl/style_emoticons/default/questionmark.gif)

(IMG:http://forum.php.pl/uwaga.gif)
~mike_mech

[hwao]

Kiedys napisalem klase wspomagajaca prace z http (latwiejsze wysylanie danych:) )

hwao.be/code

Tu gdzies lezy (podajrze w http)

Musisz poprostu przeparsowac headery wysylane przez serwer i te wysylane w ciele dokumentu.

[pacmen]

Proszę o przykłady lub jakieś adresy do stron z opisem, nie odsyłajcie mnie tylko do manuala.

[splatch]

cURL