Re: upload module: aborted uploading file (4Gb barrier)

[Valery Kholodkov <valery+nginxru@xxxxxxxxxxx>]

Rush пишет:
> Спасибо всем, кто откликнулся ! Не знаю как ответить всем откликнувшимся 
> сразу - отвечу сам себе, авось заметите:
> 1. Потери в сети 0% гарантированно, у меня прямой гигабытный линк на 
> сервант Intel(R) Xeon(R) CPU E5410 @ 2.33GHz 8Gb + какая то нихреновая 
> корзина на 10 террабайт. Может слишком быстрый сервант и nginx'у не 
> нравится что 50метров в секунду летит ? Сомневаюсь, думаю в рамблерах 
> всяко покруче.
> 2. abort случается и при скорости 1 гигабит, и 100Мбит, и даже 10 (!)
> 3. Обламываются только большие файлы (>2Gb) и в самом конце закачки (??? 
> почему ???)
Насколько я понимаю в современных интернетах, то в них по-видимому есть 
две причины этому:
1) Загрузка забила очередь некоторого сетевого устройства и оно 
отбрасило часть пакетов;
2) Пока загружали файл произошло рассогласование маршрутов и часть 
пакетов потерялась.
Что касается размера, то это, возможно, объясняется теорией больших 
чисел. А именно, если вероятность потери пакета составляет, скажем, 1 на 
миллион, то для загрузок файлов, состоящих из более чем миллиона пакетов 
она будет систематически реализоваться.
> 4. nginx 0.6.32 - 0.6.37, upload module не удалось скомпилить с новым 
> nginx (2Valery Kholodkov - может поставишь теги типа 0.6 и 0.7 ? А лучше 
> две ветки - master и production, в production cherry-pick'ать только 
> проверенное и компиляемое, будем вечно благодарны :)
Только что проверил: 2.0.9 собирается с 0.6.37 и с 0.7.58. Какие ошибки 
выдает компилятор? Какая ОС, платформа?
Что касается веток, то с одной стороны затраты на поддержку двух веток 
пока превышают пользу от них, а с другой стороны запутывают 
нескурпулезного читателя.
> 5. Есть подозрение на глючность брюзеров, удалось залитть 5Гб файл 
> только оперой 64-битной. Но dimkalinux сказал что он залил без проблем. 
> Димка - можно попросить все версии и конфиги в студию/на почту 
> rush.zlo@xxxxxxxxx ?
> 6. Расскажите может как ведро затюнить (2.6.29-rc3 - ubuntu server hardy)
>
> Rush пишет:////
> > upload module не загружает файлы более 4G, отладочный лог ничего 
> > отличного от нормальной загрузки не выдаёт.
> >            client_max_body_size 8G;
> >            upload_max_file_size 16G;
> >
> > 2009/05/20 07:08:18 [alert] 12968#0: *1 aborted uploading file "13 
> > Ghosts [BD Rip] [2001].mkv" to 
> > "/storage/novgorod-e1/DCDN/4/24/0002222244", dest file removed, 
> > client: 213.148.160.88, server: _, request: "POST 
> > /upload/post?X-Progress-ID=7fe1025551864cf5ac2c1324c8d8235e HTTP/1.1", 
> > host: "novgorod-e1.datagrad.ru", referrer: 
> > "http://www.datagrad.ru/hosting/";
> > Точно такая проблема уже всплывала у dimkalinux, но там никто не 
> > обратил внимание на 4Gb барьер, и дело так ничем и не кончилось 
> > (http://www.lexa.ru/nginx-ru/msg23047.html).
> >    * *To*: *nginx-ru@xxxxxxxxx <mailto:nginx-ru@xxxxxxxxxxxxx>*
> >    * *Subject*: *upload module*
> >    * *From*: *dimkalinux <dimkalinux@xxxxxxxxx
> >      <mailto:dimkalinux@xxxxxxxxxxxxx>>*
> >    * Date: Thu, 19 Mar 2009 16:26:52 +0200
> >
> > В error_log постоянно сыпятся такие ошибки:
> >
> > 2009/03/19 13:03:02 [alert] 31030#0: *872396 aborted uploading file
> > "sorokapjatka.avi" to "/var/upload/17/tmp_up/0000000026", dest file
> > removed, client: 10.192.0.45, server: up.lluga.net, request: "POST
> > /upload17?X-Progress-ID=49c203ec01192 HTTP/1.1", host: "up.lluga.net",
> > referrer: "http://up.lluga.net/"; <http://up.lluga.net/%22>;
--
Best regards,
Valery Kholodkov