[php]Spider na własną stronę. Opcje

[Mike122]

Potrzebuję stworzyć sobie "bota" który znajdzie wszystkie strony tylko w moim serwisie.
Więc po przeczytaniu paru różnych tematów na forach stworzyłem kod który znajduje linki i wyświetla je.
jednak posiadam pewien problem jak zrobić aby nie wyświetlał 4 czy 6 razy tych samych linków.
Chodzi mi żeby był raz 1 link.

[PHP] pobierz, plaintext 
<?php
	$url = "index.html";
	$link =  implode('', file($url));
	if(preg_match_all('/<a[^>]+?hrefs*?=s*?("|')?(.*?)(?(1)1[^>]*>|(?:s[^>]*>|>))(.*?)</a>/si', $link, $sub)){
		foreach($sub[2] as $value){
			if (!eregi('http://', $value)) {
				$link =  implode('', file($value));
				if(preg_match_all('/<a[^>]+?hrefs*?=s*?("|')?(.*?)(?(1)1[^>]*>|(?:s[^>]*>|>))(.*?)</a>/si', $link, $sub)){
					foreach($sub[2] as $value){
						if (!eregi('http://', $value)){
							echo ($value);
							echo ("<br />");
							}
						}
					}
				}
			}
		}
	}
?>
[PHP] pobierz, plaintext 

Uwagi i propozycje do do zamiany jakiś funkcji mile widziane. Pozdrawiam i proszę o pomoc.