[php]Spider na własną stronę. Opcje

[Mike122]

Potrzebuję stworzyć sobie "bota" który znajdzie wszystkie strony tylko w moim serwisie.
Więc po przeczytaniu paru różnych tematów na forach stworzyłem kod który znajduje linki i wyświetla je.
jednak posiadam pewien problem jak zrobić aby nie wyświetlał 4 czy 6 razy tych samych linków.
Chodzi mi żeby był raz 1 link.

[PHP] pobierz, plaintext 
<?php
	$url = "index.html";
	$link =  implode('', file($url));
	if(preg_match_all('/<a[^>]+?hrefs*?=s*?("|')?(.*?)(?(1)1[^>]*>|(?:s[^>]*>|>))(.*?)</a>/si', $link, $sub)){
		foreach($sub[2] as $value){
			if (!eregi('http://', $value)) {
				$link =  implode('', file($value));
				if(preg_match_all('/<a[^>]+?hrefs*?=s*?("|')?(.*?)(?(1)1[^>]*>|(?:s[^>]*>|>))(.*?)</a>/si', $link, $sub)){
					foreach($sub[2] as $value){
						if (!eregi('http://', $value)){
							echo ($value);
							echo ("<br />");
							}
						}
					}
				}
			}
		}
	}
?>
[PHP] pobierz, plaintext 

Uwagi i propozycje do do zamiany jakiś funkcji mile widziane. Pozdrawiam i proszę o pomoc.

[Mike122]

Zrobiłem tak jak radziliście i nic już nie wyświetla (IMG:http://forum.php.pl/style_emoticons/default/tiredsmiley.gif)

[PHP] pobierz, plaintext 
<?php
$web = "index.html";
$web = implode('', file($web));
if(preg_match_all('/<a[^>]+?hrefs*?=s*?("|')?(.*?)(?(1)1[^>]*>|(?:s[^>]*>|>))(.*?)</a>/si', $web, $sub)){
	foreach($sub[2] as $url){
		if(!eregi("http://", $url)){
			if(!in_array($url, $sub[2])){
				$web =  implode('', file($url));
				if(preg_match_all('/<a[^>]+?hrefs*?=s*?("|')?(.*?)(?(1)1[^>]*>|(?:s[^>]*>|>))(.*?)</a>/si', $web, $sub)){
					foreach($sub[2] as $url){
						if (!eregi("http://", $url)){
							if(!in_array($url, $sub[2])){
								echo ($url);
								echo ("<br />");
							}
						}
					}
				}
			}
		}
	}
}
?>
[PHP] pobierz, plaintext 

Po zabraniu znaku !

[PHP] pobierz, plaintext 
<?php
if(!in_array($url, $sub[2])){
								echo ($url);
								echo ("<br />");
							}
?>
[PHP] pobierz, plaintext 

Wyświetla tak jak przedtem wszytko. (IMG:http://forum.php.pl/style_emoticons/default/sadsmiley02.gif)