Lexa Software: Nginx-ru@sysoev.ru archive

С таймаутом 60 секунд всё тоже самое, только клиент дольше ожидает данные.

У тестового клиента очень высокая скорость и со стороны клиента это выглядит как быстро передавшиеся первые 1-4 Мбайта, потом полное молчание со стороны сервера и по таймауту от nginx приходит RST пакет.

Как я понял когда буфер заканчивается sendfile возвращает nginx что он не полностью отдал файл:

2014/03/28 20:40:22 [debug] 9564#0: *99502 sendfile: @0 17775749

2014/03/28 20:40:22 [debug] 9564#0: *99502 sendfile: 1302528, @0 1302528:17775749

а потом nginx по событию готовности клиента вызывает sendfile с последней позиции:

2014/03/28 20:40:22 [debug] 9564#0: *99502 sendfile: @1302528 16473221

но у меня почему то стабильно останавливается передача после этой строки:

2014/03/28 20:40:22 [debug] 9564#0: *99502 sendfile() is not ready (11: Resource temporarily unavailable)

2014/03/28 20:40:22 [debug] 9564#0: *99502 sendfile: -1, @1302528 0:16473221

Это был уже другой пример неудачной передачи и уже на nginx 1.5.12 с таким же spec файлом.

-----------

Вот так выглядит успешная передача:

2014/03/28 20:48:13 [debug] 9529#0: *115723 sendfile: @0 17775749

2014/03/28 20:48:13 [debug] 9529#0: *115723 sendfile: 17775749, @0 17775749:17775749

...

2014/03/28 20:48:13 [debug] 9529#0: *115723 recv: fd:102 -1 of 4096

2014/03/28 20:48:13 [debug] 9529#0: *115723 recv() not ready (11: Resource temporarily unavailable)

-----------

Вот так выглядит успешная передача с включенным limit_rate:

2014/03/28 20:49:35 [debug] 9542#0: *118644 write new buf t:0 f:1 0000000000000000, pos 0000000000000000, size: 0 file: 0, size: 9304019

2014/03/28 20:49:35 [debug] 9542#0: *118644 sendfile: @0 1253376

2014/03/28 20:49:35 [debug] 9542#0: *118644 sendfile: 1253376, @0 1253376:1253376

...

2014/03/28 20:49:35 [debug] 9542#0: *118644 event timer add: 68: 1001:1396025376095

...

2014/03/28 20:49:36 [debug] 9542#0: *118644 event timer del: 68: 1396025376095

...

2014/03/28 20:49:36 [debug] 9542#0: *118644 write old buf t:0 f:1 0000000000000000, pos 0000000000000000, size: 0 file: 1253376, size: 8050643

2014/03/28 20:49:36 [debug] 9542#0: *118644 http write filter: l:1 f:0 s:8050643

2014/03/28 20:49:36 [debug] 9542#0: *118644 http write filter limit 204497

2014/03/28 20:49:36 [debug] 9542#0: *118644 sendfile: @1253376 204800

2014/03/28 20:49:36 [debug] 9542#0: *118644 sendfile: 204800, @1253376 204800:204800

...

2014/03/28 20:49:36 [debug] 9542#0: *118644 event timer add: 68: 1000:1396025377294

...

2014/03/28 20:49:37 [debug] 9542#0: *118644 event timer del: 68: 1396025377294

...

2014/03/28 20:49:37 [debug] 9542#0: *118644 write old buf t:0 f:1 0000000000000000, pos 0000000000000000, size: 0 file: 1458176, size: 7845843

2014/03/28 20:49:37 [debug] 9542#0: *118644 http write filter: l:1 f:0 s:7845843

2014/03/28 20:49:37 [debug] 9542#0: *118644 http write filter limit 204497

2014/03/28 20:49:37 [debug] 9542#0: *118644 sendfile: @1458176 204800

2014/03/28 20:49:37 [debug] 9542#0: *118644 sendfile: 204800, @1458176 204800:204800

...

2014/03/28 20:50:15 [debug] 9542#0: *118644 sendfile: @9240576 63443

2014/03/28 20:50:15 [debug] 9542#0: *118644 sendfile: 63443, @9240576 63443:63443

...

2014/03/28 20:50:15 [debug] 9542#0: *118644 recv: fd:68 -1 of 4096

2014/03/28 20:50:15 [debug] 9542#0: *118644 recv() not ready (11: Resource temporarily unavailable)

28 марта 2014 г., 16:00 пользователь <nginx-ru-request@xxxxxxxxx> написал:

Сообщения, предназначенные для списка рассылки nginx-ru, необходимо
отправлять по адресу
nginx-ru@xxxxxxxxx

Для изменения параметров подписки вы можеже использовать веб-страницу
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Для получения информации о том, как пользовать почтовым интерфейсом,
отправьте письмо, в теле или теме которого будет слово 'help', по
адресу:
nginx-ru-request@xxxxxxxxx

Адрес человека, ответственного за этот список рассылки:
nginx-ru-owner@xxxxxxxxx

При ответе, пожалуйста, измение тему письма так, чтобы она была более
содержательной чем "Re: Содержание дайджеста списка рассылки
nginx-ru..."

Today's Topics:

1. start time is out mp4 stsc chunks (Андрей Василишин)
2. Re: start time is out mp4 stsc chunks (Maxim Dounin)
3. Re: start time is out mp4 stsc chunks (Maxim Dounin)
4. Re: start time is out mp4 stsc chunks (Андрей Василишин)
5. Re: start time is out mp4 stsc chunks (Maxim Dounin)

---------- Пересылаемое сообщение ----------
From: "Андрей Василишин" <a.vasilishin@xxxxxx>
To: nginx-ru@xxxxxxxxx
Cc:
Date: Thu, 27 Mar 2014 14:19:35 +0200
Subject: start time is out mp4 stsc chunks
Добрый день!
Есть такая проблема: есть 2 сервера с одинаковым конфигом, но разными нгинксами, на первом такой:
# nginx -V
nginx version: nginx/1.2.4
configure arguments: --prefix=/etc/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-client-body-temp-path=/var/lib/nginx/body --http-fastcgi-temp-path=/var/lib/nginx/fastcgi --http-log-path=/var/log/nginx/access.log --http-proxy-temp-path=/var/lib/nginx/proxy --lock-path=/var/lock/nginx.lock --pid-path=/var/run/nginx.pid --with-debug --with-file-aio --with-http_flv_module --with-http_geoip_module --with-http_mp4_module --with-http_realip_module --with-http_secure_link_module --with-http_stub_status_module --without-http_scgi_module --without-http_split_clients_module --without-http_ssi_module --without-http_userid_module --without-http_uwsgi_module

на втором такой:
# nginx -V
nginx version: nginx/1.5.7
built by gcc 4.7.2 (Debian 4.7.2-5)
TLS SNI support enabled
configure arguments: --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=www-data --group=www-data --with-http_ssl_module --with-http_realip_module --with-http_addition_module --with-http_sub_module --with-http_dav_module --with-http_flv_module --with-http_mp4_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_random_index_module --with-http_secure_link_module --with-http_stub_status_module --with-http_auth_request_module --with-file-aio --with-http_spdy_module --with-cc-opt='-g -O2 -fstack-protector --param=ssp-buffer-size=4 -Wformat -Werror=format-security' --with-ld-opt=-Wl,-z,relro --with-ipv6 --with-debug

Один и тот же файл mp4 на первом проигрывается и перематывается нормально, а навтором при перемотке возникает ошибка:

2014/03/26 14:01:55 [debug] 51008#0: *118478378 start_sample:16, new count:1
2014/03/26 14:01:55 [debug] 51008#0: *118478378 mp4 stss atom update
2014/03/26 14:01:55 [debug] 51008#0: *118478378 mp4 ctts atom update
2014/03/26 14:01:55 [debug] 51008#0: *118478378 mp4 stsc atom update
2014/03/26 14:01:55 [debug] 51008#0: *118478378 start_sample:16, chunk:1, chunks:0, samples:36
2014/03/26 14:01:55 [error] 51008#0: *118478378 start time is out mp4 stsc chunks in "/var/www/test.com-mst3/files/hd_01/file_720.mp4", client: 176.104.55.60, server: test.com, request: "GET /s/91f3ee1ab9adaf461376a5e94e4f0eb7/hd_01/file_720.mp4?start=3072.76 HTTP/1.1", upstream: "http://127.0.0.1:8080/kino.php?code=91f3ee1ab9adaf461376a5e94e4f0eb7&film=hd_01/file_720.mp4&start=3072.76", host: "test.com", referrer: "http://filmix.net/uppod.swf"
2014/03/26 14:01:55 [debug] 51008#0: *118478378 free: 0000000005600010
2014/03/26 14:01:55 [debug] 51008#0: *118478378 free: 000000000201DAB0
2014/03/26 14:01:55 [debug] 51008#0: *118478378 http finalize request: 500, "/test.com-mst3/files/hd_01/file_720.mp4?code=91f3ee1ab9adaf461376a5e94e4f0eb7&film=hd_01/file_720.mp4&start=3072.76" a:1, c:2
2014/03/26 14:01:55 [debug] 51008#0: *118478378 http special response: 500, "/test.com-mst3/files/hd_01/file_720.mp4?code=91f3ee1ab9adaf461376a5e94e4f0eb7&film=hd_01/file_720.mp4&start=3072.76"
2014/03/26 14:01:55 [debug] 51008#0: *118478378 HTTP/1.1 500 Internal Server Error
Server: nginx/1.5.7

Кто виноват и что делать?

---------- Пересылаемое сообщение ----------
From: Maxim Dounin <mdounin@xxxxxxxxxx>
To: nginx-ru@xxxxxxxxx
Cc:
Date: Thu, 27 Mar 2014 16:59:19 +0400
Subject: Re: start time is out mp4 stsc chunks
Hello!

On Thu, Mar 27, 2014 at 02:19:35PM +0200, Андрей Василишин wrote:

> Добрый день!
> Есть такая проблема: есть 2 сервера с одинаковым конфигом, но разными
> нгинксами, на первом такой:
> # nginx -V
> nginx version: nginx/1.2.4

[...]

> на втором такой:
> # nginx -V
> nginx version: nginx/1.5.7

[...]

> Один и тот же файл mp4 на первом проигрывается и перематывается нормально, а
> навтором при перемотке возникает ошибка:

[...]

> 2014/03/26 14:01:55 [error] 51008#0: *118478378 start time is out mp4 stsc
> chunks in "/var/www/test.com-mst3/files/hd_01/file_720.mp4", client:
> 176.104.55.60, server: test.com, request: "GET
> /s/91f3ee1ab9adaf461376a5e94e4f0eb7/hd_01/file_720.mp4?start=3072.76
> HTTP/1.1", upstream: "http://127.0.0.1:8080/kino.php?code=91f3ee1ab9adaf461376a5e94e4f0eb7&film=hd_01/file_720.mp4&start=3072.76",
> host: "test.com", referrer: "http://filmix.net/uppod.swf"

[...]

> Кто виноват и что делать?

Проблема в том, что в mp4-файле присутствует короткая дорожа.

В старых версиях nginx просто выкидывал все дорожки неизвестных
типов, но начиная с 1.3.5 - оставляет, т.к. предыдущее поведение
ломало субтитры:

*) Change: opening and closing a connection without sending any data in
it is no longer logged to access_log with error code 400.

Чтобы заработало - нужно либо убрать дорожки из файла, либо
обновится до nginx 1.5.10+:

*) Feature: the ngx_http_mp4_module now skips tracks too short for a
seek requested.

Подробнее можно почитать где-то тут:

http://trac.nginx.org/nginx/ticket/414

--
Maxim Dounin
http://nginx.org/

---------- Пересылаемое сообщение ----------
From: Maxim Dounin <mdounin@xxxxxxxxxx>
To: nginx-ru@xxxxxxxxx
Cc:
Date: Thu, 27 Mar 2014 17:06:30 +0400
Subject: Re: start time is out mp4 stsc chunks
Hello!

On Thu, Mar 27, 2014 at 04:59:19PM +0400, Maxim Dounin wrote:

> Hello!
>
> On Thu, Mar 27, 2014 at 02:19:35PM +0200, Андрей Василишин wrote:
>
> > Добрый день!
> > Есть такая проблема: есть 2 сервера с одинаковым конфигом, но разными
> > нгинксами, на первом такой:
> > # nginx -V
> > nginx version: nginx/1.2.4
>
> [...]
>
> > на втором такой:
> > # nginx -V
> > nginx version: nginx/1.5.7
>
> [...]
>
> > Один и тот же файл mp4 на первом проигрывается и перематывается нормально, а
> > навтором при перемотке возникает ошибка:
>
> [...]
>
> > 2014/03/26 14:01:55 [error] 51008#0: *118478378 start time is out mp4 stsc
> > chunks in "/var/www/test.com-mst3/files/hd_01/file_720.mp4", client:
> > 176.104.55.60, server: test.com, request: "GET
> > /s/91f3ee1ab9adaf461376a5e94e4f0eb7/hd_01/file_720.mp4?start=3072.76
> > HTTP/1.1", upstream: "http://127.0.0.1:8080/kino.php?code=91f3ee1ab9adaf461376a5e94e4f0eb7&film=hd_01/file_720.mp4&start=3072.76",
> > host: "test.com", referrer: "http://filmix.net/uppod.swf"
>
> [...]
>
> > Кто виноват и что делать?
>
> Проблема в том, что в mp4-файле присутствует короткая дорожа.
>
> В старых версиях nginx просто выкидывал все дорожки неизвестных
> типов, но начиная с 1.3.5 - оставляет, т.к. предыдущее поведение
> ломало субтитры:
>
> *) Change: opening and closing a connection without sending any data in
> it is no longer logged to access_log with error code 400.

Opps, should be:

*) Change: the ngx_http_mp4_module module no longer skips tracks in
formats other than H.264 and AAC.

> Чтобы заработало - нужно либо убрать дорожки из файла, либо
> обновится до nginx 1.5.10+:
>
> *) Feature: the ngx_http_mp4_module now skips tracks too short for a
> seek requested.
>
> Подробнее можно почитать где-то тут:
>
> http://trac.nginx.org/nginx/ticket/414

--
Maxim Dounin
http://nginx.org/

---------- Пересылаемое сообщение ----------
From: "Андрей Василишин" <a.vasilishin@xxxxxx>
To: nginx-ru@xxxxxxxxx
Cc:
Date: Thu, 27 Mar 2014 20:18:55 +0200
Subject: Re: start time is out mp4 stsc chunks

Чтобы заработало - нужно либо убрать дорожки из файла, либо
обновится до nginx 1.5.10+:

Спасибо за ответы, Максим!
Но есть еще вопросы:
Обновился до
# nginx -V
nginx version: nginx/1.5.12
built by gcc 4.7.2 (Debian 4.7.2-5)
configure arguments: --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=www-data --group=www-data --with-http_geoip_module --with-http_realip_module --with-http_flv_module --with-http_mp4_module --with-http_random_index_module --with-http_secure_link_module --with-http_stub_status_module --with-file-aio --with-http_spdy_module --with-cc-opt='-g -O2 -fstack-protector --param=ssp-buffer-size=4 -Wformat -Werror=format-security' --with-ld-opt=-Wl,-z,relro --with-ipv6 --with-debug

Теперь 500-ой общибки при перемотке нет, но при перемотке просто идет скачиваение файла и при этом не показывается в плеере ничего, кроме полосы загрузки.

Про какие дорожки речь?
# mediainfo file_720.mp4
General
Complete name : file_720.mp4
Format : MPEG-4
Format profile : Base Media
Codec ID : isom
File size : 995 MiB
Duration : 1h 54mn
Overall bit rate mode : Variable
Overall bit rate : 1 211 Kbps
Writing application : Lavf55.19.104

Video
ID : 1
Format : AVC
Format/Info : Advanced Video Codec
Format profile : High@L3.1
Format settings, CABAC : Yes
Format settings, ReFrames : 4 frames
Codec ID : avc1
Codec ID/Info : Advanced Video Coding
Duration : 1h 54mn
Bit rate : 1 024 Kbps
Width : 1 280 pixels
Height : 532 pixels
Display aspect ratio : 2.40:1
Frame rate mode : Constant
Frame rate : 25.000 fps
Color space : YUV
Chroma subsampling : 4:2:0
Bit depth : 8 bits
Scan type : Progressive
Bits/(Pixel*Frame) : 0.060
Stream size : 832 MiB (84%)
Writing library : x264 core 142
Encoding settings : cabac=1 / ref=2 / deblock=1:0:0 / analyse=0x3:0x113 / me=hex / subme=6 / psy=1 / psy_rd=1.00:0.00 / mixed_ref=1 / me_range=16 / chroma_me=1 / trellis=1 / 8x8dct=1 / cqm=0 / deadzone=21,11 / fast_pskip=1 / chroma_qp_offset=-2 / threads=24 / lookahead_threads=4 / sliced_threads=0 / nr=0 / decimate=1 / interlaced=0 / bluray_compat=0 / constrained_intra=0 / bframes=3 / b_pyramid=2 / b_adapt=1 / b_bias=0 / direct=1 / weightb=1 / open_gop=0 / weightp=1 / keyint=50 / keyint_min=5 / scenecut=40 / intra_refresh=0 / rc_lookahead=30 / rc=abr / mbtree=1 / bitrate=1024 / ratetol=1.0 / qcomp=0.60 / qpmin=0 / qpmax=69 / qpstep=4 / ip_ratio=1.40 / aq=1:1.00
Language : English

Audio
ID : 2
Format : AAC
Format/Info : Advanced Audio Codec
Format profile : LC
Codec ID : 40
Duration : 1h 54mn
Bit rate mode : Constant
Bit rate : 192 Kbps
Channel(s) : 6 channels
Channel positions : Front: L C R, Side: L R, LFE
Sampling rate : 48.0 KHz
Compression mode : Lossy
Delay relative to video : -1s 24ms
Stream size : 158 MiB (16%)
Language : Russian

Text
ID : 3
Format : Apple text
Codec ID : text
Duration : 1h 54mn
Bit rate mode : Variable
Bit rate : 0 bps
Delay relative to video : -1s 24ms
Stream size : 135 Bytes (0%)
Language : English

Menu
00:00:00.000 : 1
00:02:49.000 : 2
00:05:38.000 : 3
00:08:32.000 : 4
00:10:52.000 : 5
00:13:50.000 : 6
00:17:46.000 : 7
00:20:37.000 : 8
00:23:30.000 : 9
00:26:28.000 : 10
00:30:05.000 : 11
00:32:16.000 : 12
00:34:57.000 : 13
00:38:15.000 : 14
00:40:28.000 : 15
00:44:47.000 : 16
00:48:09.000 : 17
00:51:25.000 : 18
00:54:31.000 : 19
00:57:23.000 : 20
00:59:57.000 : 21
01:03:05.000 : 22
01:05:23.000 : 23
01:09:21.000 : 24
01:11:17.000 : 25
01:14:01.000 : 26
01:18:25.000 : 27
01:22:44.000 : 28
01:28:46.000 : 29
01:30:17.000 : 30
01:33:47.000 : 31
01:35:32.000 : 32
01:38:17.000 : 33
01:39:41.000 : 34
01:42:54.000 : 35
01:44:20.000 : 36

---------- Пересылаемое сообщение ----------
From: Maxim Dounin <mdounin@xxxxxxxxxx>
To: nginx-ru@xxxxxxxxx
Cc:
Date: Fri, 28 Mar 2014 15:57:04 +0400
Subject: Re: start time is out mp4 stsc chunks
Hello!

On Thu, Mar 27, 2014 at 08:18:55PM +0200, Андрей Василишин wrote:

>
> >>Чтобы заработало - нужно либо убрать дорожки из файла, либо
> >>обновится до nginx 1.5.10+:
> >>
>
> Спасибо за ответы, Максим!
> Но есть еще вопросы:
> Обновился до
> # nginx -V
> nginx version: nginx/1.5.12
> built by gcc 4.7.2 (Debian 4.7.2-5)

[...]

> Теперь 500-ой общибки при перемотке нет, но при перемотке просто идет
> скачиваение файла и при этом не показывается в плеере ничего, кроме полосы
> загрузки.
>
> Про какие дорожки речь?
> # mediainfo file_720.mp4
> General
> Complete name : file_720.mp4
> Format : MPEG-4
> Format profile : Base Media
> Codec ID : isom
> File size : 995 MiB
> Duration : 1h 54mn
> Overall bit rate mode : Variable
> Overall bit rate : 1 211 Kbps
> Writing application : Lavf55.19.104

[...]

> Text
> ID : 3
> Format : Apple text
> Codec ID : text
> Duration : 1h 54mn
> Bit rate mode : Variable
> Bit rate : 0 bps
> Delay relative to video : -1s 24ms
> Stream size : 135 Bytes (0%)
> Language : English

Видимо, проблема в этой дорожке. Она не выглядит короткой, так
что скорее всего ошибка была из-за каких-то нюансов расположения
данных. Но при этом она явно не перемешана с остальными дорожками
(просто из-за очень малого размера), и попытка отдать диапазон
файла "начиная с такой-то секунды", видимо, требует отдачи
практически всего файла, т.к. для этой дорожки данные начинаются в
начале файла.

Наиболее простое решение - убрать из файла эту дорожку.

--
Maxim Dounin
http://nginx.org/

_______________________________________________
nginx-ru mailing list
nginx-ru@xxxxxxxxx
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Regards,
 Alexey Schurov
 e-mail: aa.schurov@xxxxxxxxx
 Mob: +7 9160 624477

Re: nginx-ru Digest, Vol 53, Issue 40