Googlebot i inne roboty indeksujące - jak wykrywać, Indeksowanie stron z ograniczonym dostęp Opcje

[xPatryk]

Witam,

w jaki sposób skutecznie sprawdzić, czy strone odwiedza bot indeksujący jakiejś wyszukiwarki czy normalny użytkownik?

Chodzi mi o to, że większość stron w naszym serwisie (artykuły, forum, etc) jest dostępnych tylko dla zarejestrowanych użytkowników (rejestracja jest darmowa, nimniej wymagana ze względu na konieczność utrzymania wysokiego poziomu merytorycznego serwisu), ale zalezaloby nam na ich normalnym indeksowaniu przez wyszukiwarki, zwlaszcza, ze zawieraja wiele materialow niedostepnych nigdzie indziej w Polskim Internecie...


Tylko jak najlepiej sprawdzić, kto odwiedza stronę?

Pozdrawiam i proszę o pomoc
Patryk

[Ozzy]

Ostatnio miałem podobny problem, bo mi boty statsy psuły i zrobiłem cos takiego:

[PHP] pobierz, plaintext 
<?php
 
	public function detectBot($host) {
 
		$botHosts = array('googlebot', 'msnbot', 'crawl', 'robot', 'spider', 'search', 'w3.org', 'rootmode');
		$botAgents = array('bot', 'avant', 'java', 'findlinks');
 
		foreach($botHosts As $bot) if(strpos($host, $bot) !== false) { $this->markAsBot(); break; }
		foreach($botAgents As $bot) if(strpos($this->registry['request']['ua'], $bot) !== false) { $this->markAsBot(); break; }
 
	}
 
?>
[PHP] pobierz, plaintext 

Uwzględnia to tylko te boty, które akurat w przypadku tej strony zawyżały statystyki.
Wpis z avantbrowser też uznałem jako bota, bo to co robi ta nakładka to szczyt głupoty;)

Uznanie za bota ma dalsze konsekwencje w markAsBot(), czyli nie przekazywanie SessID w adresie itd....

Ten post edytował Ozzy 30.12.2005, 18:42:07