Nginx-ru mailing list archive (nginx-ru@sysoev.ru)
[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]
Re: Тюнинг по нагрузку и странные ребуты
- To: nginx-ru@xxxxxxxxx
- Subject: Re: Тюнинг по нагрузку и странные ребуты
- From: "Slava Kokorin" <slava.kokorin@xxxxxxxxx>
- Date: Sat, 22 Mar 2008 18:06:53 +0300
- Dkim-signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=gmail.com; s=beta; h=domainkey-signature:received:received:message-id:date:from:to:subject:in-reply-to:mime-version:content-type:references; bh=64M55oEzecEtug6TrqPDVqJSbro4MktbaHhB0KKxynk=; b=RhLD1U/Erd4xerUUbBlHNof+81RZCVrOVWE++KAb5ewzKF3qLLYWaWele/ZcDMTDr5TSzgvySK95WGUtmV73Q7xh+SeeC6H6hdZvSox6/FEr0ITHJAWaP3eg1WqNyU/8RgHUUiVjcPvZmn11EvhwZLU1pkm4OTbIXskT/glNnto=
- Domainkey-signature: a=rsa-sha1; c=nofws; d=gmail.com; s=beta; h=message-id:date:from:to:subject:in-reply-to:mime-version:content-type:references; b=uFkdzl616R6m2aaGlUsge07oHqhLmEXue5z/Hg0RR2zcIsS+pbzXBncbuAWwSqlaEMpbEl3lsx/oQbKFw+iV9Wv0VE/ya2bLGqbrp3f0upLbxCwuxlzAmI7nigZwRnKBYwFCCs04E7j0FnA3GJluCHXfH6eSMU6WX7i2yPx13R4=
- In-reply-to: <1815711334.20080322124046@xxxxxxxxxxxxx>
- References: <1815711334.20080322124046@xxxxxxxxxxxxx>
У меня был случай с Интеловской матерью (платформа 1325) - тоже самопроизвольно перегружалась машина. Никаких сообщений ни в логах, ни на экране не было. Причём повторялось это на разных операционных системах - и Линукс красная шапка 9 и Windows 2000 (проверял на этих системах специально т.к. производетелем заявлялось что на этих операционках эта платформа прошла стресс-тесты). Иногда сервер работал неделями до такой перезагрузки, иногда через день перегружался а иногда за час несколько раз. В конце концов, перепробовав почти всё из /usr/ports/benchmarks я нашёл-таки программу, использование которой гарантированно вызывала ребут (/usr/ports/benchmarks/netio) и показал это продавцу сервера - только тогда он признал проблему в железе (сказал, что проблема в материнке) и по нашему требованию заменил полностью весь сервер. После этого никаких проблем нет.
22.03.08, Михаил Монашёв <postmaster@xxxxxxxxxxxxx> написал(а):
Здравствуйте,
Осенью я настроил сервер на обслуживание большого числа соединений по
презентации Игоря:
FreeBSD 6.3-PRERELEASE
>cat /boot/loader.conf
autoboot_delay="1"
userconfig_script_load="YES"
beastie_disable="YES"
net.inet.tcp.syncache.hashsize="1024"
net.inet.tcp.syncache.bucketlimit="100"
net.inet.tcp.tcbhashsize="4096"
vm.kmem_size="1G"
kern.ipc.nmbclusters="262144"
net.inet.tcp.hostcache.hashsize="4096"
net.inet.tcp.hostcache.bucketlimit="100"
>cat /etc/sysctl.conf
net.inet.tcp.msl=7500
net.inet.tcp.delayed_ack=0
net.inet.ip.random_id=1
net.inet.ip.fw.dyn_buckets=32768
net.inet.ip.fw.dyn_max=32768
net.inet.ip.fw.dyn_ack_lifetime=120
net.inet.ip.fw.dyn_syn_lifetime=10
net.inet.ip.fw.dyn_fin_lifetime=2
net.inet.ip.fw.dyn_short_lifetime=10
net.inet.tcp.keepidle=40000
net.inet.tcp.keepintvl=40000
net.inet.tcp.keepinit=40000
net.inet.tcp.sendspace=65536
net.inet.tcp.recvspace=16384
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
net.inet.tcp.maxtcptw=40960
net.inet.ip.portrange.randomized=0
# bugly
# net.inet.tcp.nolocaltimewait=1
net.inet.tcp.syncookies=1
kern.ipc.maxsockets=204800
kern.maxfiles=204800
kern.maxfilesperproc=32768
kern.ipc.somaxconn=4096
Сейчас периодически начались самостоятельные ребуты сервера. В логах
FreeBSD пусто. В логах жизнедеятельности железа тоже всё нормально (на
интеловской матери есть одна хрень, которая собирает данные с разных
компонентов сервера и пишет её в свою флэ-память.) Такое ощущение, что
питание просто вытаскивают из сервера на секунду. Происходит такой
ребут раз в 1-2 дня. Мучаюсь уже неделю. Сейчас FreeBSD поднимем до
нормальной версии 6.3, но не уверен, что поможет.
Так вот вопрос: могут ли эти ребуты быть причиной моего кривого
тюнинга FreeBSD. Или же грешить на железо, которое вдруг почему-то
начало глючить...
>vmstat -z
ITEM SIZE LIMIT USED FREE REQUESTS FAILURES
UMA Kegs: 240, 0, 67, 8, 67, 0
UMA Zones: 280, 0, 67, 11, 67, 0
UMA Slabs: 128, 0, 1760, 763, 147183, 0
UMA RCntSlabs: 128, 0, 2328, 340, 130792, 0
UMA Hash: 256, 0, 3, 12, 6, 0
16 Bucket: 152, 0, 69, 56, 118, 0
32 Bucket: 280, 0, 27, 57, 91, 0
64 Bucket: 536, 0, 38, 74, 127, 65
128 Bucket: 1048, 0, 755, 103, 2924, 617837
VM OBJECT: 224, 0, 28720, 42714, 10236642, 0
MAP: 352, 0, 7, 15, 7, 0
KMAP ENTRY: 112, 98406, 21, 276, 164359, 0
MAP ENTRY: 112, 0, 9491, 2356, 36019655, 0
PV ENTRY: 48, 5706864, 2002569, 162039, 2086499412, 0
DP fakepg: 120, 0, 0, 0, 0, 0
mt_zone: 1024, 0, 134, 10, 134, 0
16: 16, 0, 2291, 901, 53841173, 0
32: 32, 0, 5163, 1604, 14835282, 0
64: 64, 0, 2717, 2099, 48217270, 0
128: 128, 0, 4994, 922, 31667804, 0
256: 256, 0, 882, 603, 9527058, 0
512: 512, 0, 1384, 660, 1634008, 0
1024: 1024, 0, 587, 413, 346743, 0
2048: 2048, 0, 57, 329, 404452, 0
4096: 4096, 0, 262, 305, 2182521, 0
Files: 120, 0, 8245, 1458, 37445260, 0
TURNSTILE: 104, 0, 961, 128, 1237, 0
PROC: 856, 0, 149, 331, 371712, 0
THREAD: 608, 0, 676, 284, 9502, 0
KSEGRP: 136, 0, 676, 260, 3008, 0
UPCALL: 88, 0, 0, 0, 5, 0
SLEEPQUEUE: 64, 0, 961, 159, 1237, 0
VMSPACE: 544, 0, 111, 428, 371674, 0
mbuf_packet: 256, 0, 3787, 301, 415797233, 0
mbuf: 256, 0, 556, 1296, 593199194, 0
mbuf_cluster: 2048, 262144, 4088, 568, 148587055, 0
mbuf_jumbo_pagesize: 4096, 0, 0, 0, 0, 0
mbuf_jumbo_9k: 9216, 0, 0, 0, 0, 0
mbuf_jumbo_16k: 16384, 0, 0, 0, 0, 0
ACL UMA zone: 388, 0, 0, 0, 0, 0
g_bio: 216, 0, 4, 9860, 50455273, 0
VNODE: 496, 0, 45795, 44749, 1905792, 0
VNODEPOLL: 152, 0, 0, 0, 0, 0
NAMEI: 1024, 0, 0, 580, 43832293, 0
S VFS Cache: 104, 0, 45784, 26684, 1416847, 0
L VFS Cache: 327, 0, 2908, 4052, 302194, 0
DIRHASH: 1024, 0, 1856, 180, 12081, 0
PIPE: 768, 0, 8, 457, 244287, 0
KNOTE: 120, 0, 7335, 911, 156090348, 0
socket: 616, 204804, 7357, 3611, 17920375, 0
unpcb: 200, 204801, 95, 665, 39511, 0
ipq: 56, 8253, 0, 63, 46, 0
udpcb: 304, 204804, 6, 366, 80825, 0
inpcb: 304, 204804, 11690, 4450, 17799979, 0
tcpcb: 752, 204800, 7246, 3644, 17799979, 0
tcptw: 80, 40995, 4444, 5726, 11187304, 0
syncache: 128, 15370, 51, 355, 6486053, 0
hostcache: 136, 15372, 11163, 289, 60523, 0
tcpreass: 40, 16464, 2, 670, 349949, 0
sackhole: 32, 0, 39, 668, 1124926, 0
ripcb: 304, 204804, 2, 58, 53, 0
rtentry: 264, 0, 38, 32, 41, 0
divcb: 304, 204804, 1, 23, 1, 0
IPFW dynamic rule: 120, 0, 11231, 425, 5436107, 0
SWAPMETA: 288, 116519, 898, 129, 1861, 0
Mountpoints: 792, 0, 12, 18, 12, 0
FFS inode: 192, 0, 45745, 28435, 1905620, 0
FFS1 dinode: 128, 0, 0, 0, 0, 0
FFS2 dinode: 256, 0, 45745, 23480, 1905620, 0
>netstat -s -p tcp
tcp:
388830540 packets sent
127026230 data packets (130426602571 bytes)
2547241 data packets (3184142700 bytes) retransmitted
90608 data packets unnecessarily retransmitted
208 resends initiated by MTU discovery
212916641 ack-only packets (0 delayed)
0 URG only packets
19541 window probe packets
19085752 window update packets
27279475 control packets
347853681 packets received
137363681 acks (for 129899106763 bytes)
16041798 duplicate acks
1610 acks for unsent data
192313042 packets (179744150693 bytes) received in-sequence
1131583 completely duplicate packets (97511822 bytes)
23860 old duplicate packets
7144 packets with some dup. data (4380337 bytes duped)
350145 out-of-order packets (433368103 bytes)
2878 packets (717212 bytes) of data after window
359 window probes
8980292 window update packets
6014 packets received after close
2241 discarded for bad checksums
0 discarded for bad header offset fields
0 discarded because packet too short
11350776 connection requests
6474009 connection accepts
541002 bad connection attempts
0 listen queue overflows
1925 ignored RSTs in the windows
17757687 connections established (including accepts)
17813031 connections closed (including 565736 drops)
2445514 connections updated cached RTT on close
2467782 connections updated cached RTT variance on close
2058318 connections updated cached ssthresh on close
55688 embryonic connections dropped
121980133 segments updated rtt (of 93433055 attempts)
1939824 retransmit timeouts
15977 connections dropped by rexmit timeout
31239 persist timeouts
15 connections dropped by persist timeout
2817074 keepalive timeouts
958555 keepalive probes sent
67906 connections dropped by keepalive
3602212 correct ACK header predictions
140392129 correct data packet header predictions
6494799 syncache entries added
73149 retransmitted
73443 dupsyn
18 dropped
6474009 completed
0 bucket overflow
0 cache overflow
9429 reset
11181 stale
0 aborted
0 badack
87 unreach
0 zone failures
6494817 cookies sent
0 cookies received
389309 SACK recovery episodes
611350 segment rexmits in SACK recovery episodes
861610061 byte rexmits in SACK recovery episodes
2877534 SACK options (SACK blocks) received
303214 SACK options (SACK blocks) sent
0 SACK scoreboard overflow
>netstat -m
4147/1688/5835 mbufs in use (current/cache/total)
3597/1301/4898/262144 mbuf clusters in use (current/cache/total/max)
3597/415 mbuf+clusters out of packet secondary zone in use (current/cache)
0/0/0/0 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/0 9k jumbo clusters in use (current/cache/total/max)
0/0/0/0 16k jumbo clusters in use (current/cache/total/max)
8230K/3024K/11254K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/0/0 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
48518 requests for I/O initiated by sendfile
626 calls to protocol drain routines
P.S.
Как исправить вот это:
>vmstat -z
ITEM SIZE LIMIT USED FREE REQUESTS FAILURES
64 Bucket: 536, 0, 38, 74, 127, 65
^^
128 Bucket: 1048, 0, 755, 103, 2924, 617837
^^^^^^
и надо ли это исправлять?
--
С уважением,
Михаил Монашёв, SoftSearch.ru
mailto:postmaster@xxxxxxxxxxxxx
ICQ# 166233339
http://michael.mindmix.ru/
Без бэкапа по жизни.
--
Regards,
Slava
|
