Googlebot i inne roboty indeksujące - jak wykrywać, Indeksowanie stron z ograniczonym dostęp Opcje

[xPatryk]

Witam,

w jaki sposób skutecznie sprawdzić, czy strone odwiedza bot indeksujący jakiejś wyszukiwarki czy normalny użytkownik?

Chodzi mi o to, że większość stron w naszym serwisie (artykuły, forum, etc) jest dostępnych tylko dla zarejestrowanych użytkowników (rejestracja jest darmowa, nimniej wymagana ze względu na konieczność utrzymania wysokiego poziomu merytorycznego serwisu), ale zalezaloby nam na ich normalnym indeksowaniu przez wyszukiwarki, zwlaszcza, ze zawieraja wiele materialow niedostepnych nigdzie indziej w Polskim Internecie...


Tylko jak najlepiej sprawdzić, kto odwiedza stronę?

Pozdrawiam i proszę o pomoc
Patryk

[yavaho]

Boty mozna wykryc np w ten sposob:

[PHP] pobierz, plaintext 
<?php
if(eregi('(googlebot)+|(msnbot)+|(altavista)+',$_SERVER["HTTP_USER_AGENT"])){
// tresc lub linki tylko dla bota
}
?>
[PHP] pobierz, plaintext 

Albo zupelnie odwrotnie. Mozna wykrywac przegladarki, a wszystko co nie zostanie zidentyfikowane traktowac jak bota.

Ale ja bylbym ostrozny z wpuszczaniem botow do zasobow dostepnych tylko po zalogowaniu. To tak jakby uzytkownik sie zalogowal i oddal myszke swojemu 2-letniemu dziecku, ktore by klikało we wszystko w co da sie kliknac na stronie (IMG:http://forum.php.pl/style_emoticons/default/biggrin.gif) . A jezeli sa tam przyciski typu: usuń moj profil, kopiuj cos tam, wyslij poczta cos tam! I co wtedy?