Spider (wyszukiwanie URL-i), Klasa, PHP5 Opcje

[Fipaj]

[PHP] pobierz, plaintext 
<?php
class Spider {
	public $urls = array ();
	function doSearch ($url) {
		if (!in_array ($url, $this -> urls)) {
			$this -> urls[] = $url;
			$site = file_get_contents ($url);
			print ('Przeparsowano dokument: ' . $url . "\n");
			$data = explode ('"', $site);
			foreach ($data as $item) {
				if (ereg ('^http://', $item) && !ereg ('w3', $item)) {
					print (' ' . $item . "\n");
					$urls[] = $item;
					sleep (1);
				}
			}
			return $urls;
		}
	}
	function recursiveSearch ($url) {
		$items = $this -> doSearch ($url);
		if (is_array ($items)) {
			foreach ($items as $item) {
				if (!in_array ($item, $this -> urls)) {
					$urls = $this -> recursiveSearch ($item);
				}
			}
		}
		return $urls;
	}
}
$spider = new Spider;
$spider -> recursiveSearch ('http://fipaj.livenet.pl/wiki');
?>
[PHP] pobierz, plaintext 

Podajesz URL, Spider wyświetla na ekranie znalezione na stronie URL-e, po czym za nimi podąża... I tak w kółko ;-)

Jak gdyby komuś się nudziło w sobotnie popołudnie - polecam puścić w terminalu, ładnie to wygląda. Dla lepszych wrażeń estetycznych dodałem sleep (1).

Przyda się też wszystkim tym, którzy zabierają się do pisania wyszukiwarki

Pozdrawiam,
Fipaj

Ten post edytował Fipaj 18.03.2006, 16:30:13

[NuLL]

To jakis wydajnosciowy joke :?:

Przeciez to dziwaczne rozbiajanie tresci calej strony mozna zastapic preg_match_all" title="Zobacz w manualu php" target="_manual - przeciez to absurd robic cos takiego.

Pozatym

[PHP] pobierz, plaintext 
<?php
spider::search("www.php.pl");
?>
[PHP] pobierz, plaintext 

Tworzenie obiektu i jeszcze wywolywanie metody nie jest potrzebne dla takiej blachostki.

[Fipaj]

Wydajnościowy joke - tak, to jest wydajnościowy joke:

Jak gdyby komuś się nudziło w sobotnie popołudnie - polecam puścić w terminalu, ładnie to wygląda. Dla lepszych wrażeń estetycznych dodałem sleep (1).

...

A PCRE nie znam ;-)

Spiderka zrobiłem dla zabawy, po małej przebudowie robocik potrafi stworzyć jednak bardzo ciekawą rzecz - mapkę linków wychodzących z danej strony WWW. Opakować to jeszcze w GD i wyjdzie całkiem całkiem ;-)

edit:
OK, jutro pouczę się PCRE i napiszę bocika od nowa ;-)
----
> ktorzy zabijaja serwery
"ktorzy zabijaja swoje serwery" ;-)

Ten post edytował Fipaj 24.03.2006, 20:28:05

[NuLL]

Nie ucz ludzi pisac takie rzeczy, bo potem wyrasta pokolenie domoroslych programistow ktorzy zabijaja serwery swoimi megawydajnymi skryptami.