indexowanie stron dostępnych po zalogowaniu Opcje

[szczypior]

Witam

Czy jeśli strona ma ustawione info dla robotów index-follow to czy linkom widocznym tylko po zalogowaniu też "grozi" zaindeksowanie?

Wydaje mi się że nie, ale chętnie poznam opinie innych, czy aby na pewno boty nie mają swoich "sposobów".

Pozdrawiam
Andrzej

[Grabarz]

Prawdę mówiąc jak ustawisz w pliku robost.txt wartośc np:

Kod

User-agent: *
Disallow: /jakiś_katalog/strona.html

Lub na stronie dasz odwołanie:

[HTML] pobierz, plaintext 
<meta name="Robots" content="none">
[HTML] pobierz, plaintext 

to ktoś już ładnie kiedys stwierdził, że całość zadziała jak kartka "zakaz kradzieży" w sklepie.
Bo niby roboty sprawdzają te wartości, ale nie indexują strony tylko dlatego "że nie wypada".
Chodzi mi o boty typu GoogleBot itp. bo boty napisane przez większość pojedynczych osób, to juz całą stronę elegancko przemielą (np. w celu znalezinia adresu e-mail a potem wysyłania na niego reklam...)

Jezeli chcesz coś naprawdę ukryć - musisz zrobic dostęp na hasło.
Mimo to, że np. GoogleBot umie się logować przez tzw. "AuthType Basic" w PHP, to wątpie, że będzie znał hasło...