Hello Dmitry,
Wednesday, September 25, 2002, 1:00:35 PM, you wrote:
> Приветствую!
> В очередной раз пытаемся решить проблему отдачи страниц краулерам.
> Представление для краулера и для браузера должно отличаться, и
> представление для краулера кешировать не стоит - иначе юзер, пришедший
> туда же с браузером до устаревания кеша, получит что-то непотребное.
Вообще-то подобная выдача разного контента поисковым роботам и
посетителям называется поисковым спамом, за это поисковики могут
забанить ваш домен. Вы этого хотите? =)
По технической части:
Вот одно из решений:
Роботы ходят с определённых сетей.
Поэтому можно сделать следующее:
1 Нат, + 2 внутренних IP
На одном (A) живёт честный апач для посетителей, на втором (B) для роботов.
При приходе запроса из сети робота, пакет отправляется к "B",
из сети человека "A".
Установка акселя на A, и т.д. по вкусу.
Best regards,
Oleg mailto:ilin@rinet.ru
=============================================================================
= Apache-Talk@lists.lexa.ru mailing list =
Mail "unsubscribe apache-talk" to majordomo@lists.lexa.ru if you want to quit.
= Archive avaliable at =
