Re: [Lug-bg] Филтриране на Web Crawlers чрез iptables

[Marian Marinov <mm@xxxxxxxx>]

Аз лично имам решението с apache модулите
и със tool който следи логовете и лимитира. Наблюденията които имаме с 
колегите от моята фирма е, че този tool не товари много и върши добра 
работа(но това е само за нашата фирма и нашата ситуация :)).

Дори ако искаш мога да ти пратя копие на tool-а за анализ на логовете.

Пробвали сме със robots.txt но има толкова много роботи които не го разбират :
( така, че в крайна сметка преминахме към лимити в самият apache.

Поздрави
  Мариян
On Tuesday 29 July 2008 14:01:46 Веселин Михайлов wrote:
>   Виж, това наистина е един доста ключов момент. Може да се направи нещо
> комбинирано - за по-известните паяци за които се знае че разбират от
> разширен синтаксис и го спазват - robots.txt. А за всички останали на които
> не можем да се доверим - iptables. Ще трябва да помисля и направя малко
> тестове по въпроса. :)
>
> 2008/7/29 Georgi Chorbadzhiyski <gf@xxxxxxxxxxx>
>
> > On 07/29/08 11:54, Веселин Михайлов wrote:
> > >   Проблема е със предимно Google, Yahoo! и Twiceler, тъй като те
> >
> > най-често
> >
> > > обхождат сайтовете. Май идеята на Лазаров може би ще свърши по-добра
> >
> > работа.
> >
> > Само ако паяците разбират разширения синтаксис на robots.txt
> >
> > --
> > Georgi Chorbadzhiyski
> > http://georgi.unixsol.org/
> > _______________________________________________
> > Lug-bg mailing list
> > Lug-bg@xxxxxxxxxxxxxxxxxx
> > http://linux-bulgaria.org/mailman/listinfo/lug-bg


_______________________________________________
Lug-bg mailing list
Lug-bg@xxxxxxxxxxxxxxxxxx
http://linux-bulgaria.org/mailman/listinfo/lug-bg