On Monday 25 September 2006 19:57, Монашёв Михаил wrote:
> Здравствуйте, sjsoft.
>
> > Это поможет тока до тех пор, пока создатели ботов не поймут, в чем
> > прикол. Уж такой не хитрый текст кука подставить в запрос совсем не
> > сложно. Поверьте моему опыту написания ботов. Более надежным было бы
> > установка кука как индетификации с каким либо числом/кодом который бы
> > можно было проверять по таблицам. но это долго и нудно. В любом
> > случае, хотя бы название и значения кука нада сделать непонятным
> > интуитивно...
>
> Про спам-боты я и не говорю. Просто сейчас развелось очень много
> ботов, качающих контент и не отдающих со своих поисковиков
> посетителей. Кроме того существует куча ботов, которые просто для
> каких-то своих целей качают. Пример: IBM Research Lab. Причём все они
> прописывают нормальные юзер-агенты, а не маскируются браузерами. Ради
> интереса заведите англоязычный блог на wordperss-е и через пару
> месяцев посмотрите кто его будет скачивать: 90% - это боты. Причём
> основные генераторы трафика: Гугл, Яха, МСН и ask будут занимать в
> этих 90% менее трети. :-(
Проще таких фильтровать либо через robots.txt либо особо наглых отрубать
целыми подсетями на файерволле.
У webmasterworld.com хороший список нежелательных ботов
