Re: [Lug-bg] Филтриране на Web Crawlers чрез iptables

[Georgi Chorbadzhiyski <gf@xxxxxxxxxxx>]

On 07/28/08 15:55, Веселин Михайлов wrote:
>   Имам следният въпрос, над който се чудя и не успявам да стигна до работещо
> решение. Възможно ли е (и как) да се ограничат временно връзките на Web
> Crawler-те (IP адресите им) чрез лимит?
> 
>   Рових и четох документация, но нещо ми се изплъзва. Идеята е когато един
> "паяк" направи определено количество връзки към хоста да бъде блокиран за
> определено време (примерно час).
> 
>   Възможно ли е това да стане само с iptables или ще трябва да се пише
> някакъв допълнителен скрипт/демон който да го прави?

Има доста видове лимити, които можеш да приложиш (connlimit, hashlimit,
limit) виж man iptables

Ето ти един пример:

iptables -A INPUT -s XX.XX.XX.XX/YY -p tcp --dport 80 --syn -m limit --limit 5/hour -j ACCEPT
iptables -A INPUT -s XX.XX.XX.XX/YY -p tcp --dport 80 -j LOG
iptables -A INPUT -s XX.XX.XX.XX/YY -p tcp --dport 80 -j REJECT

XX.XX.XX.XX/YY ти е мрежата, която искаш да има достъп до порт
tcp/80 по 5 пъти на час макс.

Това дето си решил да го правиш не скалира особено, най-малкото
защото трябва да изровиш на crawler-ите ip мрежите, а не зная те
колко често се сменят и колко са.

-- 
Georgi Chorbadzhiyski
http://georgi.unixsol.org/
_______________________________________________
Lug-bg mailing list
Lug-bg@xxxxxxxxxxxxxxxxxx
http://linux-bulgaria.org/mailman/listinfo/lug-bg