с PAM проблема не имеет ничего общего.
Правка limits.conf потожет только если nginx запускать через runuser/su.
В rhel для установок ulimit - изучать /etc/sysconfig/. В иных дистрибутивах -
править init/rc-скрипты.
Это он пишет про лимит на max open files.
ulimit -n
рихтуй в /etc/security/limits.conf