Re: [apache-talk] mod_accel и краулеры

[Igor Sysoev <is@rambler-co.ru>]

On Wed, 25 Sep 2002, Dmitry Belyavsky wrote:

> On Wed, 25 Sep 2002, Igor Sysoev wrote:
> 
> > > Есть ли мысли, как справиться с обратной задачей - добиться того, чтобы
> > > страница, честно отданная браузеру, не отдавалась пришедшему вслед
> > > краулеру? Писать 15 RewriteRule на frontend не предлагать - а без этого
> > > какое-то слово, попавшее в рубрикатор, будет на всех страницах, чего не
> > > хочется.
> >
> > Есть заметка accel_nocache.
> > Вместо её можно тестировать такую же переменную среды, но только при
> > условии, что mod_accel собран с флагом MOD_ACCEL_NOTE_TEST - я
> > его использовал для тестирования этой заметки.
> > Возможно, тетсирвоание только заметки не совсем удобно - видимо,
> > надо будет сделать и переменную среды.
> >
> > А как вы определяет краулеры ?
> 
> На бекенде... То есть правильный ответ - "Никак"?

А на бекенде - как :) ?

> Запросы поисковика можно как-то отловить по заголовкам?

Известных - да, но у вас, видимо, другая задача.

Игорь Сысоев
http://sysoev.ru

=============================================================================
=               Apache-Talk@lists.lexa.ru mailing list                      =
Mail "unsubscribe apache-talk" to majordomo@lists.lexa.ru if you want to quit.
=       Archive avaliable at http://www.lexa.ru/apache-talk                 =