Re: Проблема при >1500 одновременных коннектов.

[Igor Sysoev <is@xxxxxxxxxxxxx>]

On Mon, Feb 09, 2009 at 05:35:36PM +0100, ArjLover wrote:

> упс, был не прав - я же написал, я использую эту настройку, но так как это
> было написано здесь:
> http://lists.lexa.ru/nginx-ru/msg19497.html
> 
> > IS> В общем, научили мы sendfile читать по 2M:
> > IS> #sysctl kern.ipc.sfreadahead
> > IS> kern.ipc.sfreadahead: 2097152
> 
> Это разные патчи или возникла путаница? Что означает данный параметр, кол-во
> блоков по 64к или кол-во байт в чистом виде?
> 
> Позволю себе усомниться в диагнозе, странно если это сата. 1500 соединений -
> отдаем 400 мегабит и все диски 50%, 1600 - все идет прахом. Как-то
> ненатрульно, не нахожу обьяснений.

На мой взгляд, там нет резкого скачка 50% > 100%, а есть постепенный
переход к 100%.

> P.S. Похоже у меня другой патч. Нет у меня такой строчки в
> sys/kern/uipc_syscalls.c
> 
> int readahead = sfreadahead * MAXBSIZE;
> 
> Стоит перепатчиться?

Нет, второй патч идеологически правильнее, но на в данном случае ничего
не изменит.

> 9 февраля 2009 г. 16:18 пользователь Igor Sysoev <is@xxxxxxxxxxxxx> написал:
> 
> > On Mon, Feb 09, 2009 at 03:22:18PM +0100, ArjLover wrote:
> >
> > > Диски никак не организованы. Все одиночные, скази, они и маленькие
> > конечно
> > > относительно сата, загружены всегда на 10%, в пиках до 30-40 %, но это
> > когда
> > > сата давно в 100% уперлись. На графиках дисков показан результат "iostat
> > -c
> > > 2 -w 1 -x ad8" - берется последняя цифра в процентах. На gstat как-то
> > забыл
> > > посмотреть во время проблемы. Когда нормально, то сата-диски по версии
> > gstat
> > > отдают 13-18МБ/c, кол-во операций 60-90, т.е. ровно бьется с выставленным
> > > kern.ipc.sfreadahead=524288. Ранее упомянутый iostat при этом показывает
> > > ~30%
> > > Судя по новому для меня слову "sfreadahead" - использую первый патч, там
> > про
> > > это ничего не было. Пойду сейчас искать последний.
> >
> > sfreadahead - это kern.ipc.sfreadahead. Послдений патч здесь:
> > http://www.lexa.ru/nginx-ru/msg20575.html
> >
> > > MAXPHYS конечно увеличен, а в чем тогда смысл патча без него?
> > > define MAXPHYS         (1024 * 1024)
> > >
> > > по прежнему подозреваю что заканчивается что-то мне неизвестное.
> >
> > Я думаю, что заканичвается sata.
> >
> > > 8 февраля 2009 г. 16:33 пользователь Igor Sysoev <is@xxxxxxxxxxxxx>
> > написал:
> > >
> > > > On Sun, Feb 08, 2009 at 03:56:17PM +0100, ArjLover wrote:
> > > >
> > > > > Добрый день!
> > > > >
> > > > > Жил-жил, пять лет плавно росла популярность, плавно тюнился и тут
> > бац..
> > > > > Какой-то непонятный предел в развитии? Подозреваю что серверу не
> > хватает
> > > > > каких-то ресурсов, но не могу понять каких. По ссылке
> > > > > http://multiki.arjlover.net/problem/  можно посмотреть на снимки
> > mrtg с
> > > > > моими комментариями о происходящем. Если вкратце, то при неком
> > абсолютно
> > > > > четком кол-ве посетителей сервер начинает резко обваливаться - падает
> > > > траф,
> > > > > а нагрузку на диски зашкаливает в потолок (обратнозависмые
> > показатели!!!)
> > > > и
> > > > > так продолжается пока в полночь народ чуток не уйдет. Может конечно
> > диски
> > > > и
> > > > > уходят в запарку, но как-то невероятно резко. 1400 коннектов - отдаем
> > 400
> > > > > мегабит, 1500 - бац! 100 мегабит и сервер еле живой. Подскажите какие
> > > > > параметры надо проверить?
> > > > > Freebsd 6.3
> > > > > 4GB
> > > > > SCSI+SATA
> > > >
> > > > Как организованы диски ?
> > > >
> > > > > sysoev patch
> > > > > kern.ipc.sfreadahead=524288
> > > > > kern.ipc.sfrefer=1
> > > >
> > > > Какой вариант патча используется ? В последнем варианте нужно в
> > > > sfreadahead указывать число блоков по 64K.
> > > >
> > > > А sfrefer для больших файлов скорее вреден, чем полезен.
> > > >
> > > > Увеличивался ли MAXPHYS ?
> > > >
> > > > > nginx 7.0.30
> > > > > sendfile       on;
> > > > > use kqueue;
> > > > >
> > > > > P.S. Интересный факт забыл, не знаю к какому месту прилепить - если
> > > > убрать
> > > > > лимит с канала и посетителей не 1500, т.е. сервер нормально "дышит",
> > то
> > > > траф
> > > > > на сервере возрастает 440 мегабит и там прилипает в ровную полку,
> > хотя и
> > > > > канал есть и все ресурсы которые я мониторю - тоже не в пределе,
> > спрос на
> > > > > трафик - многократно бОльший, но не отдает! Кажется между этими двумя
> > > > > ситуациями есть связь. Какая-то моща у него кончается. Какая???
> > > > >
> > > > > --
> > > > > Best regards,
> > > > > Anton Kuznetsov.
> > > >
> > > > --
> > > > Игорь Сысоев
> > > > http://sysoev.ru
> > > >
> > > >
> > >
> > >
> > > --
> > > Best regards,
> > > Anton Kuznetsov.
> >
> > --
> > Игорь Сысоев
> > http://sysoev.ru
> >
> >
> 
> 
> -- 
> Best regards,
> Anton Kuznetsov.

-- 
Igor Sysoev
http://sysoev.ru/en/