Plik robots.txt Opcje

[cinus_pl]

Czy ilosc podstron zablokowanych dla bota w robots.txt moze spowodowac spadek strony w wyszukiwarce?

[thek]

Zależy co masz pod frazą "duplicate content" na myśli.
Jeśli w obrębie serwera to Ci już podpowiedziano powyżej:
1. Redirect 301 na jeden właściwy adres. Tutaj wiele osób nie zdaje sobie sprawy z własnych reguł. jeśli mają w regułce coś w stylu: ^artykul_(.*),([0-9]+).html to artykul_jhfbjhsd,1.html i artykul_yjfgfgf,1.html wskazuje na to samo i robi duplicate content. Podobnie udostępnianie tego samego pod różnymi linkami w stylu artykul.php?id=1 oraz artykul_yjfgfgf,1.html nie powinno mieć miejsca. Ustal jeden główny i sprawdzaj przy wejściu poprawność. Jeśli napotkasz niezgodność - 301 na prawidłowy.
2. Canonical dla wariantywnych lub zbyt podobnych do siebie wersji.


Jeśli w porównaniu do tych co rżną Ci tekst ze strony i jako własny upubliczniają lub na stronach będących mirrorami Twojej. Niektóre zaplecza SEO nie przystosowane do Pandy robią copy-paste opisów, tekstów z jednego portalu na inny, za to masz wciery. Tu też powinien być canonical do źródła. A na rżnących... musisz mieć lepsze linkowanie wewnętrzne i zewnętrzne. Wtedy będziesz uznany przez roboty za oryginalny, pierwotny tekst, dostawcę treści innymi słowy.