[inne] Ograniczenia dla robotów Opcje

[Puzi]

Witam,
Czy istnieje możliwość zdefiniowania w pliku robots.txt aby roboty wyszukiwarek miały dostęp do strony 1 raz dziennie?

Pozdrawiam

Ten post edytował Puzi 27.03.2013, 09:38:10

[in5ane]

Myślę, że można to rozwiązać za pomocą PHP. Tutaj masz IP popularnych robotów: http://chceme.info/ips/ Musisz stworzyć sobie tabelę w bazie, np.

Kod

bot (tinyint) || lastVisit (id)

bot (typu tinyint) w bazie to numer bota, np. 1 - google, 2 - msn/live, 3 - yahoo. Skoro z powyższego linku wiesz, jakie mają IP, to musisz np. na stronie głównej (lub na każdej podstronie) sprawdzić IP odwiedzającego, jak znajdzie się jakiś z tego zakresu, to sprawdzasz czy lastVisit (data w formie unixowej) było już dzisiaj, jeżeli było danego bota, to po prostu blokujesz mu dostęp do strony, jeżeli nie to puszczasz go dalej. Użytkowników nie będących w wyżej wymienionym zakresie przepuszczasz od razu. Nie jestem pozycjonerem i nie mam pojęcia jaki to będzie miało wpływ na roboty, ale myślę, że powinno zadziałać.

Ten post edytował in5ane 27.03.2013, 10:31:32

[nospor]

jeżeli było danego bota, to po prostu blokujesz mu dostęp do strony, jeżeli nie to puszczasz go dalej.

Fajne.... i teraz taki robot patrzy, że strony nie ma i indeksuje fajnie....

[in5ane]

Dlatego napisałem, że nie wiem, jaki to będzie miało wpływ na działania robotów. W takim wypadku nie widzę innej możliwości. W pliki robots nie da się tak zabezpieczyć.

[Puzi]

Dostęp dla robotów chcę ograniczyć ponieważ ich żądania powodują bardzo duże obciążenie serwera. Jednak nie mogę zablokować dostępu do strony w taki sposób jak in5ane zaproponowałeś gdyż raczej będą problemy z indeksowaniem strony.

Jak na razie spróbuję użyć w pliku robots.txt czegoś takiego:

Kod

User-agent: *
Crawl-delay: 10

Ograniczy to liczbę żądań.

Jeśli ma ktoś inne pomysły to proszę pisać.