Re: [Lug-bg] Филтриране на Web Crawlers чрез iptables

[Lazarov <lazcorp@xxxxxxxxxx>]

Веселин Михайлов wrote:
> Здравейте група!
>
>   Имам следният въпрос, над който се чудя и не успявам да стигна до 
> работещо решение. Възможно ли е (и как) да се ограничат временно 
> връзките на Web Crawler-те (IP адресите им) чрез лимит?
>
>   Рових и четох документация, но нещо ми се изплъзва. Идеята е когато 
> един "паяк" направи определено количество връзки към хоста да бъде 
> блокиран за определено време (примерно час).
>
>   Възможно ли е това да стане само с iptables или ще трябва да се пише 
> някакъв допълнителен скрипт/демон който да го прави?
>
> Поздрави!
> ------------------------------------------------------------------------
>
> _______________________________________________
> Lug-bg mailing list
> Lug-bg@xxxxxxxxxxxxxxxxxx
> http://linux-bulgaria.org/mailman/listinfo/lug-bg
>   
Имаш проблем с определени роботи или като цяло имаш проблем с тях?
Някой разбират от лимити в robots.txt:
User-agent: *
Request-rate: 1/60
Visit-time: 0200-0600

Това ще ги лимитира да влизат само веднъж на минута (за всяка търсачка) 
и само в часовата зона от 2ч до 6ч през ноща (UTC)

Все пак сподели дали имаш проблем с конкретни паяци или?
_______________________________________________
Lug-bg mailing list
Lug-bg@xxxxxxxxxxxxxxxxxx
http://linux-bulgaria.org/mailman/listinfo/lug-bg