Re: Как сделать задержку при передаче соединения бакэнду

[jackal <me@xxxxxxxxx>]

Я делал подобное для себя почти год назад. Может поможет:

http://jackal.in/2008/09/ogranichenie-otdachi-kontenta-s-bekendov-dlja-botov.html

On Monday 01 September 2008 20:11:46 Виктор Вислобоков wrote:
> > Для многих роботов можно ограничить скорость через Crawl-delay в
> > robots.txt:
>
> Проблема в том, что robots.txt - это территория сайта, а мы рулим
> сервером вообще-то :)
>
> > От адекватных ботов, вроде ботов популярных поисковиков, limit_rate
> > отлично подходит для снижения нагрузки на сайт.
>
> Если бы все боты были адекватными, я бы не полез задавать этот вопрос.
> Индексируют и в несколько потоков и с разных адресов.



-- 
С уважением, Евгений.