|
|
Re: [Lug-bg] Филтриране на Web Crawlers чрез iptables
- Subject: Re: [Lug-bg] Филтриране на Web Crawlers чрез iptables
- From: Georgi Chorbadzhiyski <gf@xxxxxxxxxxx>
- Date: Tue, 29 Jul 2008 12:21:27 +0300
- Organization: Unix Solutions (http://unixsol.org)
On 07/29/08 11:54, Веселин Михайлов wrote:
> Проблема е със предимно Google, Yahoo! и Twiceler, тъй като те най-често
> обхождат сайтовете. Май идеята на Лазаров може би ще свърши по-добра работа.
Само ако паяците разбират разширения синтаксис на robots.txt
--
Georgi Chorbadzhiyski
http://georgi.unixsol.org/
_______________________________________________
Lug-bg mailing list
Lug-bg@xxxxxxxxxxxxxxxxxx
http://linux-bulgaria.org/mailman/listinfo/lug-bg
|
|
|