Googlebot i inne roboty indeksujące - jak wykrywać, Indeksowanie stron z ograniczonym dostęp Opcje

[xPatryk]

Witam,

w jaki sposób skutecznie sprawdzić, czy strone odwiedza bot indeksujący jakiejś wyszukiwarki czy normalny użytkownik?

Chodzi mi o to, że większość stron w naszym serwisie (artykuły, forum, etc) jest dostępnych tylko dla zarejestrowanych użytkowników (rejestracja jest darmowa, nimniej wymagana ze względu na konieczność utrzymania wysokiego poziomu merytorycznego serwisu), ale zalezaloby nam na ich normalnym indeksowaniu przez wyszukiwarki, zwlaszcza, ze zawieraja wiele materialow niedostepnych nigdzie indziej w Polskim Internecie...


Tylko jak najlepiej sprawdzić, kto odwiedza stronę?

Pozdrawiam i proszę o pomoc
Patryk

[NoiseMc]

Kod

$_SERVER['HTTP_USER_AGENT']

Zawiera informację o tym czym jest przeglądana Twoja strona.

W przypadku Googlebot jest to:

Kod

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

IMHO nie wiem czy dobrym pomysłem jest wpuszczać na strony dostępne po zalogowaniu kogoś kto identyfikuje jako Googlebot bo można w prosty sposób podszyć się pod niego i zczytać całą zawartość strony czyli na przykład jeżeli ktoś "przedstawi się" jako Googlebot wysyłając w nagłówkach powyższy ciąg znaków może przeszukać całą stronę pod kątem na przykład plików do ściągania i ściągnąć je sobie bez logowania nie mówiąc już o wyciągnięciu całej treści strony.

Dodam, że odpada też sprawdzanie z jakiego IP pochodzi żądanie ponieważ Google wysyła swoje boty z różnych adresów.

Lepszym pomysłem byłoby wyciągnięcie słów kluczowych, które powinny zostać zaindeksowane przez Google i po rozpoznaniu, że odwiedza nas właśnie Google "zaserwować" mu stronę z czystym tekstem powrzucanym w <h1> i <p> nasyconym odpowiednimi słowami.

Ten post edytował NoiseMc 14.12.2005, 19:48:33