[php]Spider na własną stronę. Opcje

[Mike122]

Potrzebuję stworzyć sobie "bota" który znajdzie wszystkie strony tylko w moim serwisie.
Więc po przeczytaniu paru różnych tematów na forach stworzyłem kod który znajduje linki i wyświetla je.
jednak posiadam pewien problem jak zrobić aby nie wyświetlał 4 czy 6 razy tych samych linków.
Chodzi mi żeby był raz 1 link.

[PHP] pobierz, plaintext 
<?php
	$url = "index.html";
	$link =  implode('', file($url));
	if(preg_match_all('/<a[^>]+?hrefs*?=s*?("|')?(.*?)(?(1)1[^>]*>|(?:s[^>]*>|>))(.*?)</a>/si', $link, $sub)){
		foreach($sub[2] as $value){
			if (!eregi('http://', $value)) {
				$link =  implode('', file($value));
				if(preg_match_all('/<a[^>]+?hrefs*?=s*?("|')?(.*?)(?(1)1[^>]*>|(?:s[^>]*>|>))(.*?)</a>/si', $link, $sub)){
					foreach($sub[2] as $value){
						if (!eregi('http://', $value)){
							echo ($value);
							echo ("<br />");
							}
						}
					}
				}
			}
		}
	}
?>
[PHP] pobierz, plaintext 

Uwagi i propozycje do do zamiany jakiś funkcji mile widziane. Pozdrawiam i proszę o pomoc.

[UDAT]

Zbieraj linki np. do tablicy, a potem sprawdzaj czy już ten link już został dodany, np. przez in_array" title="Zobacz w manualu PHP" target="_manual

[kornel-php]

Może twórz sobie tablice z linkami, które już 'znalazłeś' i sprawdzaj, czy każdy kolejny znaleziony już czasem do niej nie należy...

Ewentualnie możesz sobie tworzyć baze danych ze znalezionymi i tam sprawdzać czy już istnieje...


Jednak druga opcja jest bezsensowna i lepiej dodawać linki do tablicy.

---
kolega UDAT mnie wyprzedził (IMG:http://forum.php.pl/style_emoticons/default/winksmiley.jpg)

Ten post edytował kornel-php 30.06.2007, 13:47:28

[Mike122]

Zrobiłem tak jak radziliście i nic już nie wyświetla (IMG:http://forum.php.pl/style_emoticons/default/tiredsmiley.gif)

[PHP] pobierz, plaintext 
<?php
$web = "index.html";
$web = implode('', file($web));
if(preg_match_all('/<a[^>]+?hrefs*?=s*?("|')?(.*?)(?(1)1[^>]*>|(?:s[^>]*>|>))(.*?)</a>/si', $web, $sub)){
	foreach($sub[2] as $url){
		if(!eregi("http://", $url)){
			if(!in_array($url, $sub[2])){
				$web =  implode('', file($url));
				if(preg_match_all('/<a[^>]+?hrefs*?=s*?("|')?(.*?)(?(1)1[^>]*>|(?:s[^>]*>|>))(.*?)</a>/si', $web, $sub)){
					foreach($sub[2] as $url){
						if (!eregi("http://", $url)){
							if(!in_array($url, $sub[2])){
								echo ($url);
								echo ("<br />");
							}
						}
					}
				}
			}
		}
	}
}
?>
[PHP] pobierz, plaintext 

Po zabraniu znaku !

[PHP] pobierz, plaintext 
<?php
if(!in_array($url, $sub[2])){
								echo ($url);
								echo ("<br />");
							}
?>
[PHP] pobierz, plaintext 

Wyświetla tak jak przedtem wszytko. (IMG:http://forum.php.pl/style_emoticons/default/sadsmiley02.gif)

[UDAT]

Co ty zrobiłeś??

Dajesz na początku $links = array ( );
a zamiast wypisywania dajesz:

[PHP] pobierz, plaintext 
<?php
if ( ! in_array ( $link, $links ) ) {
	$links []= $link;
	echo $link;
}
?>
[PHP] pobierz, plaintext 

Ten post edytował UDAT 30.06.2007, 17:15:06