> Проще таких фильтровать либо через robots.txt либо особо наглых отрубать
> целыми подсетями на файерволле.
> У webmasterworld.com хороший список нежелательных ботов
> http://www.webmasterworld.com/robots3
Разве для ботов строки:
User-agent: имя бота
Disallow: /
является 100% гарантией, что бот не будет его игнорить и качать?
--
С уважением,
Дугин Сергей mailto:drug@xxxxxxxxx
QWARTA