Re: Re[5]: Отдача больших файлов

["Dmitry Dedukhin" <dedukhin@xxxxxxx>]

Как вариант эффективной раздачи больших файлов можно использовать схему 
бэкенд(хранилище, рэйд-массив)+фронтенд(сервер, с которым "общается" 
пользователь).
После загрузки на фронтенд каждый файл разбивается на небольшие куски 
(2-5МБ), каждый кусок кладется на случайно выбранный бэкенд, идентификатором 
файла является его хэш (md5 например). Информация о расположении кусков 
хранится в простейшем случае в центральной базе (для высоконагруженного 
проекта имеет смысл использовать распределенную БД или её аналог).
При скачивании файла nginx запрашивает информацию о расположении всех кусков 
(или части в случае запроса с заголовком Range) и начинает отдавать файл, 
запрашивая каждый кусок с демона, висящего на каждом бэкенде.
----- Original Message ----- 
From: "shaman" <shaman712@xxxxxxxx>
To: "Михаил Монашёв" <nginx-ru@xxxxxxxxx>
Sent: Tuesday, March 31, 2009 10:44 PM
Subject: Re[5]: Отдача больших файлов


> Здравствуйте.
>
> > У  них или у HP вроде и 512Гигов есть 4U сервера. Пётр Зайцев у себя в
> > блоге писал про такой сервер. Если нельзя никак задачу разнести на
> > несколько серверов, то возможно неплохой выход...
> mhnu>> Не совсем в тему но:
>
> mhnu>> Компания Dell представила компьютер T7500 со 192 гигабайтами 
> оперативной
> mhnu>> памяти стандарта DDR3
> mhnu>> 
> http://nnm.ru/blogs/sickle/anonsirovan_kompyuter_so_192_gigabaytami_operativ
> mhnu>> noy_pamyati/
>
> mhnu>> Конечно память не ЕСС но зато ее много ... Очень много :-)
>
> Эх, когда я создавал эту тему, я хотел узнать как организовать раздачу
> файлов наиболее эффективно на обычном приземленном оборудовании типа
> SATA-дисков и 2-4Гб памяти на борту.
> Если бы у меня были деньги на 10 Тб SSD или SCSI дисков, я бы,
> поверьте, не занимался этим извратом. Если бы были деньги на сервер с
> 512Гб оперативной памяти, мне бы и в голову не пришло браться за
> nginx, все раздавалось бы с помощью PHP-скрипта самым лучшим образом:)
> Мне правда очень интересно, что используют рапидшара, мегааплод и
> другие всемирно известные обменники. Сомневаюсь, что у них там SSD или
> другие подобные технологии.
> А заодно хочу сказать большое спасибо всем, кто поучавствовал в
> беседе, т.к. в результате для меня очень многое прояснилось:) теперь
> собираю деньги на зеркала для своих приземленных SATA винтов:) на SCSI
> денег все еще не хватает))))
>
> --
> С уважением,
> shaman                          mailto:shaman712@xxxxxxxx