Re: [Lug-bg] Филтриране на Web Crawlers чрез iptables

[Lazarov <lazcorp@xxxxxxxxxx>]

Специалино паяците на Google можеш да лимитираш през Google Webmaster 
(https://www.google.com/webmasters/sitemaps/siteoverview)

Веселин Михайлов wrote:
>   Благодаря на всички за бързите отговори. Аз също успях да стигна до 
> едно работещо решение. Остана ми малко да доизкусуря скрипта и ще го 
> публикувам в блога си тия дни. В крайна сметка се оказа че решението 
> което замислих не е чак толкова добро, защото най-вероятно ще се 
> отрази на ранковете на сайтовете заради това временно прекъсване (за 
> това не бях помислил особенно :) ).
>
>   Относно идеята за скрипт който наблюдава логовете - това ми беше 
> първата идея, но идеята е да бъде свършено това с минимално 
> натоварване на машината, затова питах за варианти само с iptables.
>
>   Жоро, относно списъка с IP адреси на "паяците", може да бъде намерен 
> на http://www.iplists.com.
>
>   Проблема е със предимно Google, Yahoo! и Twiceler, тъй като те 
> най-често обхождат сайтовете. Май идеята на Лазаров може би ще свърши 
> по-добра работа. ;)
>
>   Още един път - благодаря на всички.
>

_______________________________________________
Lug-bg mailing list
Lug-bg@xxxxxxxxxxxxxxxxxx
http://linux-bulgaria.org/mailman/listinfo/lug-bg