Nginx-ru mailing list archive (nginx-ru@sysoev.ru)
[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]
Re: Можно ли огранивать limit_r ate по времени? Если нет, м ожет переменную завести?
- To: nginx-ru@xxxxxxxxx
- Subject: Re: Можно ли огранивать limit_r ate по времени? Если нет, м ожет переменную завести?
- From: Sergey Shepelev <temotor@xxxxxxxxx>
- Date: Fri, 1 Oct 2010 14:01:02 +0400
- Dkim-signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=gmail.com; s=gamma; h=domainkey-signature:mime-version:received:received:in-reply-to :references:date:message-id:subject:from:to:content-type :content-transfer-encoding; bh=g5zTzVa+p0wJYCHaloNfqIXdJBYB4Nw3gHoU8Xn3+Uk=; b=H9vau63ciN4W4YNuR3PnWpvOKdc4oyA5drKeNVZNz7DwD6CWQR3F0aco6P6To7JHoK KoXltQC0jxettEhS765iXu/D8aljSJJvRFfITy+fhaPWWf7gqR0iLeTSeXE1iIPLaTno EBmfdNGR4KeBqeATwv5VnTvpyQAjr1CeOqLkY=
- Domainkey-signature: a=rsa-sha1; c=nofws; d=gmail.com; s=gamma; h=mime-version:in-reply-to:references:date:message-id:subject:from:to :content-type:content-transfer-encoding; b=EPFQPjYBTbyiWtkdaYMiQMEXPz283gkB4CaAhDkznIpySIeoNx+CnFe8ZcXYBIexP0 QA1YgUcMwxhkijDrwZzgKo8zxf2iWMBS/XkjA+M1et7ZFnVZgi/O+ARi4rEg+lly/nUz 4UNISOx1+t1VnlvZmTsEXgNMCSKHOl+EyfLFo=
- In-reply-to: <AANLkTim2waHvmPq3CKZnyFo7dmJpA8dvX41JDfYS5v_U@xxxxxxxxxxxxxx>
- References: <AANLkTimxG09RDC=6hLC7+_SwPttVzSgUH5rfM=E706rb@xxxxxxxxxxxxxx> <4CA59692.6090205@xxxxxxxxx> <AANLkTim2waHvmPq3CKZnyFo7dmJpA8dvX41JDfYS5v_U@xxxxxxxxxxxxxx>
2010/10/1 Виктор Вислобоков <corochoone@xxxxxxxxx>:
> Хех. По поводу robots.txt могут сказать две вещи:
> 1. Файл robots.txt относится к содержимому сайта клиента! Хостер в сайт
> клиента лазить не должен!
> 2. Далеко не все боты читают robots.txt и используют его директивы в деле
> касающемся скорости и частоты индексации. Например, директива Crawl-delay:
> понимается только Яндексом, а остальные на неё кладут.
>
> Далее, лично мне неизвестны директивы, которые позволяют задать разное
> поведение индексирующего робота в зависимости от времени суток. Может
> известны вам? :)
>
http://en.wikipedia.org/wiki/Robots_exclusion_standard #Extended standard
http://www.conman.org/people/spc/robots2.html
...
Request-rate: 1/5 # maximum rate is one page every 5 seconds
Visit-time: 0600-0845 # only visit between 06:00 and 08:45 UTC (GMT)
Но, разумеется, практически никто этого не поддерживает.
_______________________________________________
nginx-ru mailing list
nginx-ru@xxxxxxxxx
http://nginx.org/mailman/listinfo/nginx-ru
|
