[php]Spider na własną stronę. Opcje

[Mike122]

Potrzebuję stworzyć sobie "bota" który znajdzie wszystkie strony tylko w moim serwisie.
Więc po przeczytaniu paru różnych tematów na forach stworzyłem kod który znajduje linki i wyświetla je.
jednak posiadam pewien problem jak zrobić aby nie wyświetlał 4 czy 6 razy tych samych linków.
Chodzi mi żeby był raz 1 link.

[PHP] pobierz, plaintext 
<?php
	$url = "index.html";
	$link =  implode('', file($url));
	if(preg_match_all('/<a[^>]+?hrefs*?=s*?("|')?(.*?)(?(1)1[^>]*>|(?:s[^>]*>|>))(.*?)</a>/si', $link, $sub)){
		foreach($sub[2] as $value){
			if (!eregi('http://', $value)) {
				$link =  implode('', file($value));
				if(preg_match_all('/<a[^>]+?hrefs*?=s*?("|')?(.*?)(?(1)1[^>]*>|(?:s[^>]*>|>))(.*?)</a>/si', $link, $sub)){
					foreach($sub[2] as $value){
						if (!eregi('http://', $value)){
							echo ($value);
							echo ("<br />");
							}
						}
					}
				}
			}
		}
	}
?>
[PHP] pobierz, plaintext 

Uwagi i propozycje do do zamiany jakiś funkcji mile widziane. Pozdrawiam i proszę o pomoc.

[kornel-php]

Może twórz sobie tablice z linkami, które już 'znalazłeś' i sprawdzaj, czy każdy kolejny znaleziony już czasem do niej nie należy...

Ewentualnie możesz sobie tworzyć baze danych ze znalezionymi i tam sprawdzać czy już istnieje...


Jednak druga opcja jest bezsensowna i lepiej dodawać linki do tablicy.

---
kolega UDAT mnie wyprzedził (IMG:http://forum.php.pl/style_emoticons/default/winksmiley.jpg)

Ten post edytował kornel-php 30.06.2007, 13:47:28