Тут проблема не в nginx'e, пишите в списки рассылки ядрер linux,
freebsd чтобы меняли логику сокетов - если прослушивается 0.0.0.0 и
1.2.3.4, все запросы пришедшие на 1.2.3.4 все равно направлять на
0.0.0.0.
Как раз для сокетов это очень правильное поведение. А для HTTP - нелогично.
