Wielkie logi serwera, i duży upload.. jak zapobiec ? Opcje

[Immanuel]

Witam,

Zainstalowałem krasnala i po kilku minutach od włączenia serwera plik "access.log" zajmuje 3 MB.
A upload wynosi MAX czyli 32 KB/s...

oto fragment loga:

Kod

220.160.39.241 - - [21/Oct/2006:11:56:59 +0200] "GET http://campaigns.interclick.com/iccached/scripts/adDisplays/layerAdsCommon.js HTTP/1.0" 200 5721 "http://www.earlyimpact.com/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Q312461)"
220.191.231.206 - - [21/Oct/2006:11:57:07 +0200] "GET http://search.pointcom.com/xml.php?Terms=life+insurance+quote&strict=1&affiliate=collegesky&IP=84.40.149.235 HTTP/1.1" 200 153 "-" "lwp-trivial/1.40"
59.40.94.176 - - [21/Oct/2006:11:57:11 +0200] "GET http://media.fastclick.net/w/pop.cgi?sid=26859&m=2&tp=2&v=1.8&c=24 HTTP/1.0" 200 146 "http://www.hispaniconline.com/a&e/index.html" "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0; T312461)"
220.160.39.241 - - [21/Oct/2006:11:57:12 +0200] "GET http://a1.interclick.com/getAdJs.aspx?a=&b=2,3,4,5&c=1&d=&wsid=4548 HTTP/1.0" 200 8026 "http://www.earlyimpact.com/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Q312461)"
222.141.204.109 - - [21/Oct/2006:11:57:12 +0200] "GET http://adserving.cpxinteractive.com/rw?title=New%20offer%21&qs=iframe3%3F%2EmUAAJxgAABofQIAbgQBAAIAAAAAAP8AAAAHDAICAAJjiAAAQ6sBAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAABficli4qas%2EAAAA%2DAZ2sj8AAAAAAAAAAAAAAEi2xL4%2EAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA5hgPA3jTggGSPg
9IXGwORy%2DeNwM0cOKcaGqqvQAAAAA%3D%2C%2Chttp%3A%2F%2Fwww%2Elowrider%2Ecom%2F HTTP/1.0" 200 553 "http://www.lowrider.com/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.0.3705)"
220.191.231.206 - - [21/Oct/2006:11:57:12 +0200] "GET http://xml.nbcsearch.com/xml.php?Terms=broker&affiliate=finance76&IP=84.40.149.235&rpp=10 HTTP/1.0" 200 127 "-" "lwp-trivial/1.40"
220.160.39.241 - - [21/Oct/2006:11:57:14 +0200] "GET http://campaigns.interclick.com/iccached/scripts/adDisplays/runOverlay.js HTTP/1.0" 200 3431 "http://www.earlyimpact.com/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Q312461)"
210.51.163.64 - - [21/Oct/2006:11:57:14 +0200] "GET http://www.parkingsite.com/cs/index.php?domain=popbeautysecret.com HTTP/1.1" 200 - "-" "Mozilla/4.0 (compatible; MSIE6.0; Windows NT 5.2; MyIE2; Poco 0.31; KKBOX; .NET CLR 1.1.4322)"
222.141.204.109 - - [21/Oct/2006:11:57:15 +0200] "GET http://ad.yieldmanager.com/iframe3?.mUAAJxgAABofQIAbgQBAAIAAAAAAP8AAAAHDAICAAJjiAAAQ6sBAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAABficli4qas.AAAA-AZ2sj8AAAAAAAAAAAAAAEi2xL4.AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAA5hgPA3jTggGSPg9IXGwORy-eNwM0cOKcaGqqvQAAAAA=,,http://www.lowrider.com/ HTTP/1.0" 200 655 "http://adserving.cpxinteractive.com/rw?title=New%20offer%21&qs=iframe3%3F%2EmUAAJxgAABofQIAbgQBAAIAAAAAAP8AAAAHDAICAAJjiAAAQ6sBAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAABficli4qas%2EAAAA%2DAZ2sj8AAAAAAAAAAAAAAEi2xL4%2EAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA5hgPA3jTggGSPg
9IXGwORy%2DeNwM0cOKcaGqqvQAAAAA%3D%2C%2Chttp%3A%2F%2Fwww%2Elowrider%2Ecom%2F" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.0.3705)"
222.88.106.250 - - [21/Oct/2006:11:57:15 +0200] "GET http://media.fastclick.net/w/pop.cgi?sid=28956&m=2&tp=2&v=1.8&c=28 HTTP/1.0" 200 146 "http://www.carnewk.com/" "Mozilla/4.76 [en] (X11; U; SunOS 5.8 sun4u)"
222.141.204.109 - - [21/Oct/2006:11:57:19 +0200] "GET http://www.burstnet.com/cgi-bin/ads/ad11624a.cgi/v=2.0S/sz=468x60A|728x90A/50185/RETURN-CODE/JS/ HTTP/1.0" 200 643 "http://www.cluas.com/" "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)"
220.160.39.241 - - [21/Oct/2006:11:57:20 +0200] "GET http://campaigns.interclick.com/iccached/images/custom/cpxInteractive/06-07-26/cpx.html HTTP/1.0" 200 646 "http://www.earlyimpact.com/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Q312461)"
222.141.204.109 - - [21/Oct/2006:11:57:21 +0200] "GET http://qnet.hit.gemius.pl/pp_gemius.js HTTP/1.0" 200 1279 "http://ad.yieldmanager.com/iframe3?.mUAAJxgAABofQIAbgQBAAIAAAAAAP8AAAAHDAICAAJjiAAAQ6sBAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAABficli4qas.AAAA-

[MrMag]

wylacz logowanie?

a tak na serio to mozesz zrobic logrotate co okreslony czas, czyli stary plik przenoscic gdzies indziej (lub wywalic) i logowac do nowego.

mozesz tez troche ograniczyc "wielkosc" wpisu dajac w configu apacha (LogFormat) zamiast combined - common.

Ten post edytował MrMag 21.10.2006, 12:35:56

[Immanuel]

jakie logowanie ?
gdzie to sie wylacza ?
jestem lama na razie

jak spowodować, żeby upload wynosił 0 KB/s
nikomu nie udostępniałem IP mojego serwera... a tu nagle 32KB/s UL

Ten post edytował Immanuel 21.10.2006, 12:40:52

[MrMag]

co prawda nigdy nie wylaczalem w ogole logowania, ale sproboj w httpd.conf albo jakis tam innym pliku za to odpowiedzialnym postawic # przed ErrorLog <sciezka> i CustomLog <sciezka>. Nie wiem czy to pomoze ewentualnie pokombinuj z LogLevel

a co do dziwnych wywolan to trudno z tym walczyc bo to zwykle boty. chyba, ze ktos ci sie wlamal i rozzyslasz spam

na linuxie mozesz plik logow ustawic jako /dev/null

Ten post edytował MrMag 21.10.2006, 12:49:33

[Immanuel]

mi nie chodzi o rozmiar loga
tylko o upload
żeby zablokować wszelkie boty i szukacze

[MrMag]

boty googla itp to mozna zablokowac, zeby nie zwiedzaly, ale takie to chyba maly procent tego, co robi niechciane wywolania. nie wiem, jak sie tego pozbyc. byc moze sie nie da wcale. no chyba, ze bedziesz blokowal dane adresy ip, ale to chyba walka z wiatrakami bo nastepnym razem bedzie to inne ip.

mozesz postawic tez apacha na innym porcie - ale nie wiem na ile jest to dopuszczalne rozwiazanie.

[Immanuel]

to na każdy serwer się ładują te boty ?
przecież mam ogranocziny UL i zależy mi tam żeby go jak najefektywniej wykorzystać
a tu cały czas jest ruch na łączu...

[MrMag]

raczej tak. u mnie tez cos takiego jest i poprosu trzeba sie przyzwyczaic. tak maly upload to rzeczywiscie duzy problem

nie wiem na ile by sie dalo to zablokowac firewallem jakims (mysle tu raczej o filtrach typu iptables na linuxie), ale tutaj nie mam doswiadczenia, wiec sie nie bede wypowiadal. moze ktos wie lepiej

[dr_bonzo]

1. czy chcesz miec dostep do serwera z zewnatrz?
Nie -- daj

Kod

Listen 127.0.0.1

w httpd.conf

2. chwilowo zabraklo mi pomyslow

[Immanuel]

a czy teraz strona będzie np. widoczna dla innych spoza sieci LAN ?

[dr_bonzo]

Bedzie widoczna tylko dla ciebie (przeczytaj jeszcze raz tamto moje pytanie).

[Immanuel]

tylko ja chcę, żeby inni mieli możliwość przeglądania zawartości strony
a boty zabierają mi cały upload :[

[MrMag]

wlasciwie to 32 kB/s zjedzone przez boty to az niemozliwe. zobacz czy to na pewno schodzi z www a nie jakiegos innego programu. na jakim systemie operacyjnym masz to?

[Immanuel]

na pewno tylko z serwera
bo po wyłączeniu serwera, wszystko wraca do normy
system XP Pro

EDIT: na razie, czasowo, zmieniłem regułę w firewallu, aby dopuszczał tylko 127.0.0.1...

Ten post edytował Immanuel 21.10.2006, 20:51:25