может быть причина в том, что воркер заблокирован sendfile'ом другому
клиенту? Я наблюдал похожую ситуацию. Попробуйте отключить sendfile :) и
проверить.
А других способов решить проблему нет? Я помню, что когда мы только першли на
nginx, попробовали отключить sendfile и результат нас не очень устроил.