Re: Как сделать задержку при передаче соединения бакэнду

[jackal <me@xxxxxxxxx>]

Ну во-первых яндекс "присасывается" в ограниченное кол-во потоков с кипаливом.

А во-вторых, изначально задача была - выдавать ответы ботам с *задержкой*. 
Этого можно добиться с помощью limit_rate. Скажем, если среднее тело 10кБ, 
выставив limit_rate 1k, - страница будет отдаваться 10 секунд. Что и 
требовалось.

Далее, ни одна поисковая система не натравливает *дополнительно* ботов из-за 
того что через ОДНО соединение контент отдается МЕДЛЕННО. Таким образом 
задача сводится к следующему:
а) Некое количество ботов параллельно жрут, при этом количество ботов == 
const, вне зависимости от скорости отдачи контента каждому из них.
б) Нужно уменьшить нагрузку на бэкенды.
в) Все запросы ботов должны быть удовлетворены (т.е. нельзя часть отсеивать).

Вполне себе решение, и на мой взгляд - единственное (удовлетворящее 
условиям) - ограничить скорость отдачи КАЖДОГО соединения, т.е. через 
limit_rate, причем limit_rate должен быть заведомо меньше среднего тела 
ответа (причем в N раз, где N - число, во сколько раз нужно снизить нагрузку 
на бэкенды).
Если limit_rate будет больше среднего тела ответа, то фактически он работать 
не будет, особенно для ботов, не поддерживающих кипалив (коих большинство).

On Tuesday 02 September 2008 18:05:05 Виктор Вислобоков wrote:
> Согласно документации limit_rate выставляется на ОДНО соединение. При
> открытии следующих соединений, они получают столько же. Тогда в чём
> смысл? Ну выставлю я грубо говоря Yandex-Bot limit_rate, придёт ещё 10
> таких же. Отказать я им вроде как не могу (сорвётся индексирование). В
> общем, конечно, limit_rate что-то даст, но не совсем то, что я бы
> хотел.
>
> 2 сентября 2008 г. 13:27 пользователь Михаил Монашёв
>
> <postmaster@xxxxxxxxxxxxx> написал:
> > Здравствуйте, Виктор.
> >
> >>> От адекватных ботов, вроде ботов популярных поисковиков, limit_rate
> >>> отлично подходит для снижения нагрузки на сайт.
> >
> > ВВ> Если бы все боты были адекватными, я бы не полез задавать этот
> > вопрос. ВВ> Индексируют и в несколько потоков и с разных адресов.
> >
> > Зато юзер-агент один. По нему и надо limit_rate выставлять.
> >
> >
> > --
> >
> > С уважением,
> > Михаил Монашёв, SoftSearch.ru
> > mailto:postmaster@xxxxxxxxxxxxx
> > ICQ# 166233339
> > http://michael.mindmix.ru/
> > Без бэкапа по жизни.



-- 
С уважением, Евгений.