posix semaphores patch

[Igor Sysoev <igor@xxxxxxxxx>]

Прилагаемый патч использует ожидание на POSIX семафорах при доступе
к разделяемой памяти. Должно помочь уменьшить потребление процессора
при старте или он-лайн апгрэйде конфигураций с большими кэшами или
большим числом рабочих процессов.

Тестировалось на FreeBSD 8.2. На FreeBSD до версий 7.2 тестировать смысла
нет - там семафоры нерабочие. На 7.2+ нужно убедиться, что семафоров
достаточно: "sysctl p1003_1b.sem_nsems_max". По умолчанию их 32.
На 8.2+ их можно увеличивать на лету. На каждую зону нужно по одному
семафору. Текущее число семафоров можно увидеть с помощью
sysctl p1003_1b.nsems

Интересно также протестировать на других платформах - Линуксе и Солярисе.
В логах стоит обратить внимание на alert'ы.
nginx не удаляет семафоры по завершении работы. По идее, они должны
автоматически удаляться ядром. На это тоже нужно обратить внимание.


-- 
Игорь Сысоев
http://sysoev.ru

Index: src/event/ngx_event.c
===================================================================
--- src/event/ngx_event.c       (revision 3907)
+++ src/event/ngx_event.c       (working copy)
@@ -519,6 +519,7 @@
     shared = shm.addr;
 
     ngx_accept_mutex_ptr = (ngx_atomic_t *) shared;
+    ngx_accept_mutex.spin = (ngx_uint_t) -1;
 
     if (ngx_shmtx_create(&ngx_accept_mutex, shared, cycle->lock_file.data)
         != NGX_OK)
Index: src/os/unix/ngx_posix_config.h
===================================================================
--- src/os/unix/ngx_posix_config.h      (revision 3907)
+++ src/os/unix/ngx_posix_config.h      (working copy)
@@ -96,6 +96,11 @@
 #include <ngx_auto_config.h>
 
 
+#if (NGX_HAVE_POSIX_SEM)
+#include <semaphore.h>
+#endif
+
+
 #if (NGX_HAVE_POLL)
 #include <poll.h>
 #endif
Index: src/os/unix/ngx_linux_config.h
===================================================================
--- src/os/unix/ngx_linux_config.h      (revision 3907)
+++ src/os/unix/ngx_linux_config.h      (working copy)
@@ -58,6 +58,11 @@
 #include <ngx_auto_config.h>
 
 
+#if (NGX_HAVE_POSIX_SEM)
+#include <semaphore.h>
+#endif
+
+
 #if (NGX_HAVE_SYS_PRCTL_H)
 #include <sys/prctl.h>
 #endif
Index: src/os/unix/ngx_freebsd_config.h
===================================================================
--- src/os/unix/ngx_freebsd_config.h    (revision 3907)
+++ src/os/unix/ngx_freebsd_config.h    (working copy)
@@ -68,6 +68,11 @@
 #include <ngx_auto_config.h>
 
 
+#if (NGX_HAVE_POSIX_SEM)
+#include <semaphore.h>
+#endif
+
+
 #if (NGX_HAVE_POLL)
 #include <poll.h>
 #endif
Index: src/os/unix/ngx_solaris_config.h
===================================================================
--- src/os/unix/ngx_solaris_config.h    (revision 3907)
+++ src/os/unix/ngx_solaris_config.h    (working copy)
@@ -57,6 +57,11 @@
 #include <ngx_auto_config.h>
 
 
+#if (NGX_HAVE_POSIX_SEM)
+#include <semaphore.h>
+#endif
+
+
 #if (NGX_HAVE_POLL)
 #include <poll.h>
 #endif
Index: src/os/unix/ngx_darwin_config.h
===================================================================
--- src/os/unix/ngx_darwin_config.h     (revision 3907)
+++ src/os/unix/ngx_darwin_config.h     (working copy)
@@ -56,6 +56,11 @@
 #include <ngx_auto_config.h>
 
 
+#if (NGX_HAVE_POSIX_SEM)
+#include <semaphore.h>
+#endif
+
+
 #if (NGX_HAVE_POLL)
 #include <poll.h>
 #endif
Index: src/core/ngx_shmtx.c
===================================================================
--- src/core/ngx_shmtx.c        (revision 3907)
+++ src/core/ngx_shmtx.c        (working copy)
@@ -16,9 +16,160 @@
 {
     mtx->lock = addr;
 
+    if (mtx->spin == (ngx_uint_t) -1) {
+        return NGX_OK;
+    }
+
+    mtx->spin = 2048;
+
+#if (NGX_HAVE_POSIX_SEM)
+
+    if (sem_init(&mtx->sem, 1, 0) == -1) {
+        ngx_log_error(NGX_LOG_ALERT, ngx_cycle->log, ngx_errno,
+                      "sem_init() failed");
+    } else {
+        mtx->semaphore = 1;
+    }
+
+#endif
+
     return NGX_OK;
 }
 
+
+void
+ngx_shmtx_destory(ngx_shmtx_t *mtx)
+{
+#if (NGX_HAVE_POSIX_SEM)
+
+    if (mtx->semaphore) {
+        if (sem_destroy(&mtx->sem) == -1) {
+            ngx_log_error(NGX_LOG_ALERT, ngx_cycle->log, ngx_errno,
+                          "sem_destroy() failed");
+        }
+    }
+
+#endif
+}
+
+
+ngx_uint_t
+ngx_shmtx_trylock(ngx_shmtx_t *mtx)
+{
+    ngx_atomic_uint_t  val;
+
+    val = *mtx->lock;
+
+    return ((val & 0x80000000) == 0
+            && ngx_atomic_cmp_set(mtx->lock, val, val | 0x80000000));
+}
+
+
+void
+ngx_shmtx_lock(ngx_shmtx_t *mtx)
+{
+    ngx_uint_t         i, n;
+    ngx_atomic_uint_t  val;
+
+    ngx_log_debug0(NGX_LOG_DEBUG_CORE, ngx_cycle->log, 0, "shmtx lock");
+
+    for ( ;; ) {
+
+        val = *mtx->lock;
+
+        if ((val & 0x80000000) == 0
+            && ngx_atomic_cmp_set(mtx->lock, val, val | 0x80000000))
+        {
+            return;
+        }
+
+        if (ngx_ncpu > 1) {
+
+            for (n = 1; n < mtx->spin; n <<= 1) {
+
+                for (i = 0; i < n; i++) {
+                    ngx_cpu_pause();
+                }
+
+                val = *mtx->lock;
+
+                if ((val & 0x80000000) == 0
+                    && ngx_atomic_cmp_set(mtx->lock, val, val | 0x80000000))
+                {
+                    return;
+                }
+            }
+        }
+
+#if (NGX_HAVE_POSIX_SEM)
+
+        if (mtx->semaphore) {
+            val = *mtx->lock;
+
+            if ((val & 0x80000000)
+                && ngx_atomic_cmp_set(mtx->lock, val, val + 1))
+            {
+                ngx_log_debug1(NGX_LOG_DEBUG_CORE, ngx_cycle->log, 0,
+                               "shmtx wait %XA", val);
+
+                if (sem_wait(&mtx->sem) == -1) {
+                    ngx_log_error(NGX_LOG_ALERT, ngx_cycle->log, ngx_errno,
+                                  "sem_wait() failed while waiting on shmtx");
+                }
+
+                ngx_log_debug0(NGX_LOG_DEBUG_CORE, ngx_cycle->log, 0,
+                               "shmtx awoke");
+
+                continue;
+            }
+        }
+
+#endif
+
+        ngx_sched_yield();
+    }
+}
+
+
+void
+ngx_shmtx_unlock(ngx_shmtx_t *mtx)
+{
+    ngx_atomic_uint_t  val, old, wait;
+
+    if (mtx->spin != (ngx_uint_t) -1) {
+        ngx_log_debug0(NGX_LOG_DEBUG_CORE, ngx_cycle->log, 0, "shmtx unlock");
+    }
+
+    for ( ;; ) {
+
+        old = *mtx->lock;
+        wait = old & 0x7fffffff;
+        val = wait ? wait - 1 : 0;
+
+        if (ngx_atomic_cmp_set(mtx->lock, old, val)) {
+            break;
+        }
+    }
+
+#if (NGX_HAVE_POSIX_SEM)
+    {
+
+    if (wait == 0 || !mtx->semaphore) {
+        return;
+    }
+
+    ngx_log_debug1(NGX_LOG_DEBUG_CORE, ngx_cycle->log, 0,
+                   "shmtx wake %XA", old);
+
+    if (sem_post(&mtx->sem) == -1) {
+        ngx_log_error(NGX_LOG_ALERT, ngx_cycle->log, ngx_errno,
+                      "sem_post() failed while wake shmtx");
+    }
+    }
+#endif
+}
+
+
 #else
 
 
@@ -65,4 +216,62 @@
 }
 
 
+ngx_uint_t
+ngx_shmtx_trylock(ngx_shmtx_t *mtx)
+{
+    ngx_err_t  err;
+
+    err = ngx_trylock_fd(mtx->fd);
+
+    if (err == 0) {
+        return 1;
+    }
+
+    if (err == NGX_EAGAIN) {
+        return 0;
+    }
+
+#if __osf__ /* Tru64 UNIX */
+
+    if (err == NGX_EACCESS) {
+        return 0;
+    }
+
 #endif
+
+    ngx_log_abort(err, ngx_trylock_fd_n " %s failed", mtx->name);
+
+    return 0;
+}
+
+
+void
+ngx_shmtx_lock(ngx_shmtx_t *mtx)
+{
+    ngx_err_t  err;
+
+    err = ngx_lock_fd(mtx->fd);
+
+    if (err == 0) {
+        return;
+    }
+
+    ngx_log_abort(err, ngx_lock_fd_n " %s failed", mtx->name);
+}
+
+
+void
+ngx_shmtx_unlock(ngx_shmtx_t *mtx)
+{
+    ngx_err_t  err;
+
+    err = ngx_unlock_fd(mtx->fd);
+
+    if (err == 0) {
+        return;
+    }
+
+    ngx_log_abort(err, ngx_unlock_fd_n " %s failed", mtx->name);
+}
+
+#endif
Index: src/core/ngx_shmtx.h
===================================================================
--- src/core/ngx_shmtx.h        (revision 3907)
+++ src/core/ngx_shmtx.h        (working copy)
@@ -15,95 +15,23 @@
 typedef struct {
 #if (NGX_HAVE_ATOMIC_OPS)
     ngx_atomic_t  *lock;
+#if (NGX_HAVE_POSIX_SEM)
+    ngx_uint_t     semaphore;
+    sem_t          sem;
+#endif
 #else
     ngx_fd_t       fd;
     u_char        *name;
 #endif
+    ngx_uint_t     spin;
 } ngx_shmtx_t;
 
 
 ngx_int_t ngx_shmtx_create(ngx_shmtx_t *mtx, void *addr, u_char *name);
-
-
-#if (NGX_HAVE_ATOMIC_OPS)
-
-static ngx_inline ngx_uint_t
-ngx_shmtx_trylock(ngx_shmtx_t *mtx)
-{
-    return (*mtx->lock == 0 && ngx_atomic_cmp_set(mtx->lock, 0, ngx_pid));
-}
-
-#define ngx_shmtx_lock(mtx)   ngx_spinlock((mtx)->lock, ngx_pid, 1024)
-
-#define ngx_shmtx_unlock(mtx) (void) ngx_atomic_cmp_set((mtx)->lock, ngx_pid, 
0)
-
-#define ngx_shmtx_destory(mtx)
-
-
-#else
-
-static ngx_inline ngx_uint_t
-ngx_shmtx_trylock(ngx_shmtx_t *mtx)
-{
-    ngx_err_t  err;
-
-    err = ngx_trylock_fd(mtx->fd);
-
-    if (err == 0) {
-        return 1;
-    }
-
-    if (err == NGX_EAGAIN) {
-        return 0;
-    }
-
-#if __osf__ /* Tru64 UNIX */
-
-    if (err == NGX_EACCESS) {
-        return 0;
-    }
-
-#endif
-
-    ngx_log_abort(err, ngx_trylock_fd_n " %s failed", mtx->name);
-
-    return 0;
-}
-
-
-static ngx_inline void
-ngx_shmtx_lock(ngx_shmtx_t *mtx)
-{
-    ngx_err_t  err;
-
-    err = ngx_lock_fd(mtx->fd);
-
-    if (err == 0) {
-        return;
-    }
-
-    ngx_log_abort(err, ngx_lock_fd_n " %s failed", mtx->name);
-}
-
-
-static ngx_inline void
-ngx_shmtx_unlock(ngx_shmtx_t *mtx)
-{
-    ngx_err_t  err;
-
-    err = ngx_unlock_fd(mtx->fd);
-
-    if (err == 0) {
-        return;
-    }
-
-    ngx_log_abort(err, ngx_unlock_fd_n " %s failed", mtx->name);
-}
-
-
 void ngx_shmtx_destory(ngx_shmtx_t *mtx);
+ngx_uint_t ngx_shmtx_trylock(ngx_shmtx_t *mtx);
+void ngx_shmtx_lock(ngx_shmtx_t *mtx);
+void ngx_shmtx_unlock(ngx_shmtx_t *mtx);
 
-#endif
 
-
 #endif /* _NGX_SHMTX_H_INCLUDED_ */
Index: auto/os/freebsd
===================================================================
--- auto/os/freebsd     (revision 3907)
+++ auto/os/freebsd     (working copy)
@@ -49,7 +49,16 @@
     have=NGX_HAVE_AIO_SENDFILE . auto/have
 fi
 
+# POSIX semaphores
+# http://www.freebsd.org/cgi/query-pr.cgi?pr=kern/127545
 
+if [ $osreldate -ge 701106 ]; then
+    echo " + POSIX semaphores should work"
+else
+    have=NGX_HAVE_POSIX_SEM . auto/nohave
+fi
+
+
 # kqueue
 
 if [ \( $osreldate -lt 500000 -a $osreldate -ge 410000 \) Index: auto/unix
===================================================================
--- auto/unix   (revision 3907)
+++ auto/unix   (working copy)
@@ -234,6 +234,18 @@
 . auto/feature
 
 
+ngx_feature="POSIX semaphores"
+ngx_feature_name="NGX_HAVE_POSIX_SEM"
+ngx_feature_run=yes
+ngx_feature_incs="#include <semaphore.h>"
+ngx_feature_path=
+ngx_feature_libs=
+ngx_feature_test="sem_t  sem;
+                  if (sem_init(&sem, 1, 0) == -1) return 1;
+                  sem_destroy(&sem);"
+. auto/feature
+
+
 ngx_feature="struct msghdr.msg_control"
 ngx_feature_name="NGX_HAVE_MSGHDR_MSG_CONTROL"
 ngx_feature_run=no

_______________________________________________
nginx-ru mailing list
nginx-ru@xxxxxxxxx
http://nginx.org/mailman/listinfo/nginx-ru