Re: [Lug-bg] Филтриране на Web Crawlers чрез iptables

["Веселин Михайлов" <melkor.vmm@xxxxxxxxx>]

  Виж, това наистина е един доста ключов момент. Може да се направи нещо комбинирано - за по-известните паяци за които се знае че разбират от разширен синтаксис и го спазват - robots.txt. А за всички останали на които не можем да се доверим - iptables. Ще трябва да помисля и направя малко тестове по въпроса. :)

2008/7/29 Georgi Chorbadzhiyski <gf@xxxxxxxxxxx>

On 07/29/08 11:54, Веселин Михайлов wrote:
>   Проблема е със предимно Google, Yahoo! и Twiceler, тъй като те най-често
> обхождат сайтовете. Май идеята на Лазаров може би ще свърши по-добра работа.

Само ако паяците разбират разширения синтаксис на robots.txt

--
Georgi Chorbadzhiyski
http://georgi.unixsol.org/
_______________________________________________

Lug-bg mailing list
Lug-bg@xxxxxxxxxxxxxxxxxx
http://linux-bulgaria.org/mailman/listinfo/lug-bg

_______________________________________________
Lug-bg mailing list
Lug-bg@xxxxxxxxxxxxxxxxxx
http://linux-bulgaria.org/mailman/listinfo/lug-bg