Dziwny problem z robots.txt Opcje

[djgarsi]

Witam.
Mam bardzo dziwny problem z plikiem robots.txt. Otóż wgrałem owy plik z treścią pozwalającą indeksowanie wszystkim robotom całego serwisu (User-agent: * Allow: /), jednak po odpaleniu pliku w przeglądarce wyświetla się tak: "User-agent: * Disallow: /".

Co może być tego przyczyną?
Proszę o pomoc.

[franki01]

Myślę, że problem trzeba prześledzić na konkretnym przypadku, mając dostęp do serwera. Jedyne co przychodzi mi na myśl to jakieś przekierowanie w httpd.conf albo .htaccess w którymś z katalogów wyżej. Cała domena albo serwer może np. korzystać z jednego robots.txt. Sprawdź czy jeśli zrobisz katalog katalog_wlasnie_stworzony i wejdziesz na http://twojadomena.pl/katalog_wlasnie_stworzony/robots.txt, czy wyświetli tak samo treść z Disallow. Jeśli tak, musisz pogrzebać w konfiguracji serwera albo poszukać odpowiedzialnego za to .htaccess.

Ten post edytował franki01 27.04.2013, 16:47:42

[djgarsi]

No i tu jest rzecz bardzo ciekawa. Gdy wrzuciłem ten sam plik robots.txt do podkatalogu to w przeglądarce wyświetla się normalnie czyli Allow.
Jedynie w katalogu głównym wywala disallow :/

[franki01]

Stwórz plik .htaccess w głównym katalogu z treścią:

Kod

RewriteEngine off

i napisz czy jest ok.

[djgarsi]

Niestety nadal to samo. Nie wiem czy to ma jakieś znaczenie ale na innych witrynach (stoją na tym samym serwerze) tego problemu nie ma.
Napisałem już do hostingodawcy i zobaczymy co on na to.

Edit:
Problem rozwiązany. Jak napisała administracja: "wspomniana niedogodność związana była z konfiguracją nginx".

Ten post edytował djgarsi 29.04.2013, 08:51:16