nginx/1.2.3 стримит видео, упираемся в 1.5 Гб/c (две 1Гб сетевухи в bond) и nginx начинает с задержкой в начале (несколько секунд, иногда до минуты) отдавать файлы, при этом iowait 20-30%, si ~ 20%.
moov-атом точно перенесен в начала файла? Во всех файлах?
20-30 и 20% это пики на ядре или среднее по 4 ядрам?
Популярные файлы лежат на ssd, остальное на hdd.
Сколько всего ssd и обычных дисках. И не в массивах ли они часом?
На сервере 4 физических процессора, имеет смысл поднимать кол-во worker_processes?
4 это мало. Я бы поднял штук до 20. Не повредит уж точно.
Имеет-ли смысл включать AIO? linux 2.6.38 SMP x86_64
Без aio отдаем 4 Гбит.
Или может упираемся в сетевухи? Cетевые прерывания распределены по ядрам равномерно. И когда стояла одна сетевуха - она на 1Гб стримила нормально.
00:19.0 Ethernet controller: Intel Corporation 82578DM Gigabit Network Connection (rev 05)
04:00.0 Ethernet controller: Intel Corporation 82574L Gigabit Network Connection
ЕМНИП, обе e1000. Не умеют очереди.
Если есть возможность поставьте ту, которая на igb. 4 очереди, каждую на свое ядро.