Re: Проблема при >1500 одновременных коннект ов.

[Вадим <lvm@xxxxxxxxx>]

Alex Vorona пишет:
> 10.02.2009 14:28, Вадим wrote:
> > Artemiev Igor пишет:
> > > On Tue, Feb 10, 2009 at 10:27:00AM +0300, Igor Sysoev wrote:
> > > > Симптомы другие: здесь - 100% загрузка sata'шных дисков.
> > > Симптомы всё те же - резкое падение отдачи по сети. C диска читается 
> > > на пределе, а по сети отдаётся на порядок меньше.
> > Встречал подобную ситуацию:
> > 20 sata винтов (1 тб.) 8 ядер, 8 гб. RAM, Linux, Samba, Nginx
> > Конфигурация отдает большие файлы и отдает неплохо. Выжимали 1.5 
> > гигабита (500-1000 соединений) и можно было больше, да не требовалось.
> > Все работает хорошо, до тех пор пока утилизация жестких дисков не 
> > достигает 100%. Как только появляется популярный файл, на который 
> > нападают 100-200 активных клиентов, жесткий диск, на котором он лежит 
> > - умирает. При этом отдача снижается почти на порядок (в реальном 
> > случае с 1.3 гбит до 200 мегабит) хоть и остальные 19 жестких дисков 
> > не нагружены.
> > I/O с перегруженного диска медленно => блокировки воркеров => тормоза 
> > других клиентов, которые работают со свободными жесткими дисками => 
> > снижение отдачи трафика. При этом load average взлетает до 100 и выше.
> > По-моему ничего, кроме ускорения дисковой подсистемы сделать нельзя. 
> > gmirror, mdraid (raid10), популярные файлы в tmpfs, SSD (в порядке 
> > увеличения предпочтения) могут помочь.
> > Если у кого-то есть мысли буду рад выслушать.
> Над каждым диском свой nginx. Снаружи балансер, знающий на какой из этих 
> nginx'ов нужно проксировать/редиректить любой запрос.
X-воркеров на N-дисков + хитрый балансировщик, который знает где какие 
файлы лежат - сложно все это.  Самое лучшее, конечно, это если бы в 
nginx появился полноценный aio.