![]() |
![]() |
![]()
Post
#1
|
|
Grupa: Zarejestrowani Postów: 142 Pomógł: 9 Dołączył: 3.03.2011 Ostrzeżenie: (0%) ![]() ![]() |
Jest serwer postawiony na vps.
Od piątku coś dziwnego się dzieje, ponieważ top pokazuje, że proces mysqld zużywa od 40% do 70% cpu, ale mtop pokazuje tylko zwykle pojedyncze zapytania, lub wręcz tylko "show processes". Serwer w wersji z lenny'ego, czyli bodajże 5.0.51a? |
|
|
![]() |
![]()
Post
#2
|
|
![]() Grupa: Zarejestrowani Postów: 255 Pomógł: 23 Dołączył: 1.12.2003 Ostrzeżenie: (10%) ![]() ![]() |
mtop dość rzadko odświeża, co tam jeszcze działa? Spory ruch na WWW?
-------------------- Tani hosting - Hekko.pl | PHP 5.2/5.3/5.4/5.5/5.6 | MySQL 5.5 |
Hosting już od 49 zł rocznie! Domena pl do każdego pakietu! |
|
|
![]()
Post
#3
|
|
Grupa: Zarejestrowani Postów: 142 Pomógł: 9 Dołączył: 3.03.2011 Ostrzeżenie: (0%) ![]() ![]() |
W międzyczasie poszukaliśmy i okazało się, że toto bydło nas odwiedzało i ostro trzepało:
http://discoveryengine.com/discobot.html NA razie dostało bana na jedno IP, a jak się powtórzy to dostanie na cala klasę. Tak przy okazji - można zrobić bana ip w .htaccess na cześć klasy? |
|
|
![]()
Post
#4
|
|
Grupa: Zarejestrowani Postów: 590 Pomógł: 107 Dołączył: 25.10.2011 Ostrzeżenie: (0%) ![]() ![]() |
Wszyscy by tylko banowali. A na stronie dokumentacji, którą podałeś. wisi jak byk, że wystarczy wykorzystać plik "robots.txt".
I problem powinieneś mieć z głowy: Kod How can I stop your crawler from visiting my website?
If you would like our crawler to stop visiting your site, please add the following lines to your robots.txt file: User-agent: discobot Disallow: / |
|
|
![]()
Post
#5
|
|
![]() Grupa: Moderatorzy Postów: 4 362 Pomógł: 714 Dołączył: 12.02.2009 Skąd: Jak się położę tak leżę :D ![]() |
A co za różnica czy dasz disallow po stronie robots czy już na etapie htaccess?
![]() ![]() -------------------- Najpierw był manual... Jeśli tam nie zawarto słów mądrości to zapytaj wszechwiedzącego Google zadając mu własciwe pytania. A jeśli i on milczy to Twój problem nie istnieje :D
|
|
|
![]()
Post
#6
|
|
Grupa: Zarejestrowani Postów: 142 Pomógł: 9 Dołączył: 3.03.2011 Ostrzeżenie: (0%) ![]() ![]() |
Wszyscy by tylko banowali. A na stronie dokumentacji, którą podałeś. wisi jak byk, że wystarczy wykorzystać plik "robots.txt". I problem powinieneś mieć z głowy: Kod How can I stop your crawler from visiting my website? If you would like our crawler to stop visiting your site, please add the following lines to your robots.txt file: User-agent: discobot Disallow: / No ale nie był, bot totalnie olał sobie wpis do robots.txt, dopiero wycięcie IP w .htaccess pomogło |
|
|
![]()
Post
#7
|
|
![]() Grupa: Moderatorzy Postów: 15 467 Pomógł: 1451 Dołączył: 25.04.2005 Skąd: Szczebrzeszyn/Rzeszów ![]() |
Bo podejrzewam, że robots.txt jest odczytywany na starcie indeksowania.
-------------------- ![]() ZCE :: Pisząc PW załączaj LINK DO TEMATU i TYLKO w sprawach moderacji :: jakiś błąd - a TREŚĆ BŁĘDU? :: nie ponaglaj z odpowiedzią via PW! |
|
|
![]()
Post
#8
|
|
Grupa: Zarejestrowani Postów: 142 Pomógł: 9 Dołączył: 3.03.2011 Ostrzeżenie: (0%) ![]() ![]() |
Bo podejrzewam, że robots.txt jest odczytywany na starcie indeksowania. Też tak sądzę - ale mógłby z raz na dobę sobie to refreszować, teraz za to ma bana po IP i jest spokój. Jakoś boty googla, twengi czy innych takich potrafią "czytać" serwis "po bożemu" Ten post edytował skleps 20.12.2011, 18:53:10 |
|
|
![]() ![]() |
![]() |
Aktualny czas: 20.08.2025 - 00:02 |