Сервер не справл яется с нагрузкой

[Yaroslav Muravskiy <support@xxxxxxxxxxxxxxxxxx>]

Здравствуйте, последнее время почти невозможно подключится к серверу, 
соединение с  сервером длится около 2 минут  иногда и более. Количество 
конектов около 350 - 400. Настройка сервера следующая:
nginx -V
nginx version: nginx/0.5.8
built by gcc 3.4.6 20060404 (Red Hat 3.4.6-3)
configure arguments: --prefix=/usr/local/nginx 
--conf-path=/usr/local/nginx/conf/nginx.conf 
--error-log-path=/var/log/nginx/error.log 
--http-log-path=/var/log/nginx/access.log 
--pid-path=/var/run/nginx/nginx.pid --with-http_stub_status_module 
--with-http_perl_module
--------
nginx.conf:

worker_processes  2;

error_log  /var/log/nginx/error.log;
pid        /var/run/nginx/nginx.pid;

worker_rlimit_nofile  10240;

events {
   worker_connections  2048;
}

http {
   include       /usr/local/nginx/conf/mime.types;
   default_type  application/octet-stream;

   log_format main '$remote_addr - $remote_user [$time_local] 
"$request" ' '$status $body_bytes_sent "$http_refer
er" ' '"$http_user_agent"'; #"$http_x_forwarded_for";

   access_log  /var/log/nginx/access.log  main;

    client_header_timeout  60;
    client_body_timeout    60;
    send_timeout           120;

   sendfile        on;
   tcp_nopush     on;

   keepalive_timeout  20;
   tcp_nodelay        on;
   limit_rate         512K;
   limit_zone   one  $binary_remote_addr  10m;
   limit_conn   one  5;
.......
#ulimit -n  1024
Подскажите в чем может быть проблема? И как исправить? По фтп выдача 
нормальная.