ПРОЕКТЫ 


  АРХИВ 


Apache-Talk @lexa.ru 

Inet-Admins @info.east.ru 

Filmscanners @halftone.co.uk 

Security-alerts @yandex-team.ru 

nginx-ru @sysoev.ru 


  СТАТЬИ 


  ПЕРСОНАЛЬНОЕ 


  ПРОГРАММЫ 



ПИШИТЕ
ПИСЬМА












     АРХИВ :: nginx-ru
Nginx-ru mailing list archive (nginx-ru@sysoev.ru)

[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: Подскажите - как боротьс я с парсерами


  • To: nginx-ru@xxxxxxxxx
  • Subject: Re: Подскажите - как боротьс я с парсерами
  • From: "vitaly@xxxxxxxxxxx" <vitaly@xxxxxxxxxxx>
  • Date: Wed, 27 Apr 2011 11:07:50 +0400
  • Dkim-signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=rcdesign.ru; s=google; h=domainkey-signature:mime-version:in-reply-to:references:date :message-id:subject:from:to:content-type; bh=sR+LB6WN/UpOeCXjHR9xlae6F7luXTpIsIToxcLae+A=; b=Lei66IzIA0C2rsuDCoZWUytcB4ZApGdhCSYKMKdYpQaaya2kNAuVQC7Y6gZkMCvMh+ XQ6bQWVhUzLSRbog8dBN8ns0c7mRqiMSfdDxXtW2LzHxTlDvGsGpB1ey1bgQZDcuqQ++ 0zPhnlsId2/BB4lsIr4mtSTw6Y+XcbYblFijk=
  • Domainkey-signature: a=rsa-sha1; c=nofws; d=rcdesign.ru; s=google; h=mime-version:in-reply-to:references:date:message-id:subject:from:to :content-type; b=as4cTQZC9VnsiqSnpXjtlHJBxF2R/hpqM+x28wgho4oP8TDmNsPXhruIXhKXuL/VWg KoLYQn3hDOpRfOlErtSK55rjousidXF0o4iUfI7tvEuoBZf/nwxgZzJBCcAgkvd4Vmcs X20MB4Ze1AX6Df5dJbwmV7OEkzyuE4nLH0mH8=
  • In-reply-to: <4DAEA577.7040203@xxxxxxxx>
  • References: <4DAEA577.7040203@xxxxxxxx>

Поисковики могут слать до 10 запросов в секунду.

Отдавайте избранным подправленное содержание. Например, с ценой на 5-15% больше.

Vitaly Puzrin
http://www.rcdesign.ru


20 апреля 2011 г. 13:20 пользователь maxim <maxim@xxxxxxxx> написал:
У нас портал. На нем обьявления.
И возникает ситуация когда конкуренты начинают парсить скриптами сайт и копипастить обьявления.
поставил в настройках nginx

http {
.....
 limit_req_zone $binary_remote_addr zone=one:5m rate=25r/s;
 limit_zone two $binary_remote_addr  1m;
.....

server {
        listen 80;
......
limit_req zone=one burst=35 nodelay;
limit_conn   two  5;

Но не помогло. Вчера была такая картина
Айпи                 Время                         Хиты
93.126.72.176   20:28:07 - 20:28:07 1
93.126.72.176   20:28:06 - 20:28:06 1
93.126.72.176   20:28:05 - 20:28:05 1
93.126.72.176   20:28:05 - 20:28:05 1
93.126.72.176   20:28:04 - 20:28:04 1
93.126.72.176   20:28:04 - 20:28:04 1
93.126.72.176   20:28:04 - 20:28:04 1
93.126.72.176   20:28:03 - 20:28:03 1
93.126.72.176   20:28:02 - 20:28:02 1
....
93.126.72.176   20:26:52 - 20:26:52 1
93.126.72.176   20:26:51 - 20:26:51 1
93.126.72.176   20:26:51 - 20:26:51 1
93.126.72.176   20:26:51 - 20:26:51 1

Тоесть с этого айпи каждую секунду происходит одно соединение.
Понятно что это не человек.
Подскажите как с таким боротся? Возможно я неверно  указал настройки? Или это не силами nginx делается?


_______________________________________________
nginx-ru mailing list
nginx-ru@xxxxxxxxx
http://nginx.org/mailman/listinfo/nginx-ru


_______________________________________________
nginx-ru mailing list
nginx-ru@xxxxxxxxx
http://nginx.org/mailman/listinfo/nginx-ru


 




Copyright © Lexa Software, 1996-2009.