[apache-talk] Re: [apache-talk] mod_accel и краулеры

[Alex Tutubalin <lexa@lexa.ru>]

> 
> Что совой о пень, что пнем о сову - все равно 15 regexp'ов на frontend'е
> вещательного сервера.

Я прошу прощения, а каким святым духом вещательный сервер отличит
краулер от честного васи пупкина на диалапе ? Кроме как по User-Agent
(либо по IP - но это чревато всякими интересными последствиями) мне
способов неизвестно. Соответственно, все User-Agents всяко где-то 
перечислять, можно их перечислить в map-е, которая будет использоваться
в rewriterule, тогда правило будет одно.

Заодно можно искать краулеров по логам (количеству запросов за период)
и пополнять map-у динамически.

Алексей Тутубалин
mailto: lexa@lexa.ru
Web: http://www.lexa.ru/lexa 

=============================================================================
=               Apache-Talk@lists.lexa.ru mailing list                      =
Mail "unsubscribe apache-talk" to majordomo@lists.lexa.ru if you want to quit.
=       Archive avaliable at http://www.lexa.ru/apache-talk                 =