Entry V Cubic - производительная настольная система хранения данных

Считается, что настольным системам хранения на 4-6 дисков хватает могучего процессора Annapurna Labs Alpine и 1-2GB RAM. Для домашнего фотоархива может и хватает. NAS-серверу с несколькими пользователями - уже нет.

СХД Entry V Cubic производительна и функциональна. Это полноценная NAS/SAN-платформа под управлением Open-E DSS V7 SOHO. Поддерживаются файловые и блочные сетевые протоколы NFS, SMB/CIFS, FTP, iSCSI.

Внутри: четырехъядерный процессор Intel Xeon E3 1230 v5, 16 GB памяти DDR4 ECC, 36 TB на шести HDD, два порта Gigabit Ethernet, iKVM. Такие системы подходят под ресурсоемкие приложения видеопроизводства, документооборота, резервного хранения. "Так много памяти" нужно хотя бы затем, что ПО использует всю доступную RAM под кэширование чтения - с большим скачком производительности хранилища.

Студия «Анимаград» закрепляет технологическое лидерство в 3D-анимации

3D-анимация – одна из наиболее насыщенных технологиями составляющих современного видеопроизводства. Сценаристы, создатели моделей, рисовальщики, постановщики сцен и оформители готовят на своих рабочих станциях трехмерные векторные объекты. По ним мощные вычислители-рендеры просчитывают и разворачивают во времени динамические последовательности растровых картинок, близкие к реалистичным. Насколько близкие – зависит от мастерства участников творческого процесса и технологической платформы.

Входящая в состав группы FILM.UA украинская студия «Анимаград» известна зрителю анимационными сериалами «Эскимоска» и «Сказочная Русь». В работе находятся полнометражные мультфильмы «Руслан и Людмила» и «Мавка. Лесная песня». Управляющий партнер студии Егор Олесов считает миссией «Анимаграда» представлять украинскую анимацию на уровне мировых стандартов, привлекательно по замыслу и техническому исполнению. Амбиции обязывают осваивать новейшие отраслевые технологии и изучать рынок анимационного контента. Так, студия уникальна в Украине использованием системы Motion Capture (MoCap). Живые актеры в костюмах с датчиками двигаются согласно сценарию будущего фильма, а программное обеспечение собирает с камер-трассировщиков данные о перемещении контрольных точек. Полученные траектории применяют к трехмерным моделям, добавляя достоверности движениям и мимике рисованных персонажей. Такая же технология использовалась для анимации героев «Аватара» и многих других проектов с обилием компьютерной графики.

Расширение производства и жесткий график подготовки проектов потребовали от «Анимаграда» переоснащения вычислительного парка. Не только рабочие станции творцов должны быть производительными. Трехмерный мир становится мультфильмом после завершающего этапа - рендеринга. Этот процесс можно сравнить со съёмкой на камеру, но только все действия персонажей и объектов просчитываются программой. Временные затраты на рендеринг огромны. Для ускорения просчета сцен студии обзаводятся мощными рендер-фермами из объединенных в сеть серверов.

Проектирование и оснащение парка серверов, рабочих станций, дисковых массивов хранения контента, сетевой инфраструктуры «Анимаграда» выполнила компания Entry.

Сетевая структура сегментирована. Одно- и двухпроцессорные рабочие станции распределены в ней по уровню нагрузок и степени вовлеченности в сетевые операции. Генераторы интенсивного трафика включены в сеть 10 Гбит Ethernet – как и все серверы рендер-фермы, состоящей из двухпроцессорных серверов. У рендер-фермы есть собственное хранилище данных: моделей, текстур, промежуточных сцен. Ядро инфраструктуры составляют коммутаторы 40 Гбит Ethernet и основная система хранения данных – программно-определяемый кластер серверов с массивом разделяемого доступа. Подключение по широкому каналу 40 Гбит обеспечивает высокую пропускную способность и низкие задержки передачи данных большому числу потребителей. Инфраструктура имеет запас масштабирования: по рабочим станциям, узлам рендер-фермы, емкости хранения.   

Мастер-шеф этого и других видеопроектов Entry Владимир Грегуль cчитает оптимизацию ИТ-инфраструктуры фундаментом продуктивной творческой работы. Приложения видеопроизводства требуют больших вычислительных ресурсов, скоростных сетей, емких хранилищ промежуточных и готовых материалов, удобных средств командной работы над проектом. Анимация – одна из немногих областей, где отечественные мастера мало в чем уступают западным, а используемые ИТ-инструменты актуальны и эффективны. Мы можем.

Слоеные JBOD

В программно-определяемом хранении объемных данных почти всегда есть расслоение данных по быстрым (SSD) и емким (HDD) носителям. 

Примеры ролей SSD в объемном хранении. В Windows Server 2012 R2 это Write Cache (для сглаживания пиковых обращений), Auto Tieiring (для постоянного хранения горячего пула данных, модицифируемого ОС либо вручную). В ZFS-хранилищах: L2ARC (адаптивный кэш чтения), ZIL (журнал записи).

Производительное хранение первого слоя (Primary storage) – обычно  гибридное хранение, на гармоничной смеси SSD / HDD под горячий и холодный слои.

HGST 4U60 – пример JBOD как основы объемного хранения. Сделан в компоновке 4U / 60 HDD с верхней загрузкой дисков. У него два модуля ввода-вывода с двумя портами SAS 12 Гбит на каждом. Возможны разные варианты подключения JBOD: одиночное, кластерное, с каскадированием. Дисковые карманы универсальные – 3.5”/2.5”. Часть HDD может быть заменена на SSD – если того требует программная модель управления данными. Доступны JBOD’ы на дисках 4-6-8-10TB, общей емкостью 240-360-480-600TB соответственно. Можно заказать частично наполненный JBOD, с 24 дисками из 60.

Учитывая общую большую емкость хранения, понятно, что SSD-слой не может быть микроскопическим.  Идеально подходят SAS SSD емкостью 2TB. В зависимости от приложений, относительная толщина горячего слоя колеблется от 3-5% (хранение VM) до 8-10% (OLTP). К примеру, для варианта JBOD на дисках 10TB, при заполнении HDD 4 рядов из 5 получаем 480TB холодного объема. Заполняя оставшийся ряд SSD по 2TBполучим отношение горячего/холодного объемов ~ 4%.

Приведенные в качестве примера SSD хороши всем: емкостью, высокой производительностью записи коротким блоком (37K IOPS), большим ресурсом перезаписи ячеек (DWPD = 30). И это SAS (!) – со всеми вытекающими преимуществами производительности и отказоустойчивости.

Преодолевая барьеры производительности SDS

Для программно-определяемого хранения (SDS) объемных данных используют комбинации серверов 1U и JBOD – добиваясь гибкости, управляемости, запаса масштабирования и сервисных преимуществ. Наибольшую свободу подключения хранилищ к серверам дают SAS HBA Avago 9305-16e. В базовом контроллере этого хост-адаптера, SAS 3216, по сути реализованы два контроллера на чипе. Его 4 внешних порта 12Гб SAS (SFF-8644) и способность отдавать свыше 1.5 млн. IOPS неоценимы в приложениях с высокими требованиями к производительности и объему хранения. 

На этих SAS HBA можно построить масштабируемую многосвязную сеть SAS без дополнительных коммутаторов. Запас каналов SAS позволяет отвести часть из них под синхронизацию памяти узлов в кластерных конфигурациях.

Типичные устройства хранения в такой сети – HGST 4U60 JBOD, 60-дисковые контейнеры с диапазоном емкости 240-600 ТБ и полностью дублированными системами жизнеобеспечения. Вместо части HDD в них могут использоваться SSD – под кэширование и размещение «горячих» данных. По тестам, такие JBOD способны обслужить более 8900 IOPS и поток шириной 8.9 ГБ/с, при объединении каналов Avago 9305-16e.

Производительная инфраструктура объемного хранения востребована в хостинге виртуальных машин, видеопроизводстве, обработке больших массивов неструктурированных данных.

Анархия в хранении данных: SAN? NAS? JBOD!

Эксперт издания ZDnet Джейсон Перлоу (Jason Perlow) делает панк-прогноз¹ в статье Анархия в хранении данных: будущее без SAN. Будущее - за программно-определяемыми системами хранения, построенными на типовых серверах и JBOD.

¹ Anarchy in the U.K. («Анархия в Соединенном Королевстве»), 1976 — первый сингл британской панк-группы Sex Pistols.

Never Mind the Bollocks, Here’s the Sex Pistols («Забейте на все, вот вам Sex Pistols»), 1977 — их единственный студийный альбом. Считается классикой рок-музыки.

Внутри JBOD

Типичный JBOD HGST 4U60 сделан в компоновке 4U / 60 HDD с верхней загрузкой дисков. У него два модуля ввода-вывода с двумя портами SAS 12 Гбит на каждом. Возможны разные варианты подключения JBOD: одиночное, кластерное, с каскадированием. Резервированы все критичные компоненты: модули ввода-вывода с экспандерами SAS, блоки питания и вентиляции. Дисковые карманы рассчитаны на установку накопителей LFF (емкие HDD) и SFF (производительные SSD). На блок-схеме узлов JBOD видно, что в нем, по сути, реализованы две независимые подсистемы обслуживания дисков. Двойное подключение накопителей SAS/NL SAS гарантирует доступность данных при отказе любого из модулей ввода-вывода.

Наведенная вибрация от нескольких десятков моторов гасится специальным демпфирующим алюминиевым каркасом и дисковыми карманами-вставками. Разумеется, в самих дисках есть датчики ускорений с компенсирующей обратной связью.

Охлаждаются диски вертикальной загрузки подтягиванием холодного воздуха спереди-снизу-вверх, с отводом тепла наружу вытяжными вентиляторами блоков питания. Для равномерного обдува важно заполнение всего дискового ряда, без пустот. Тут таких рядов 5, по 12 HDD в каждом. Не случайно HGST продает свои JBOD вместе с дисками, мотивируя покупателя крайне привлекательной ценой, «массив с дисками по цене дисков». Можно заказывать облегченные старт-киты — JBOD с предустановленными 24 дисками из 60, но и в этом случае производитель призывает докупать HDD дюжинами (рядами). JBOD поставляются с дисками 4-6-8-10TB. Две старшие емкости — с гелиевым наполнением, их энергопотребление почти на четверть меньше «атмосферников».

Устройству с несколькими десятками дисков нужны средства диагностики. В HGST 4U60 мониторинг рабочих параметров возможен из командной строки (CLI). Подключившись к консольному порту (RJ45 — RS-232) на задней панели, через CLI вычитывают информацию о состоянии дисков, скорости вентиляторов, статусе портов экспандеров, температуре датчиков. Для подробного анализа ситуации можно просмотреть операционный лог событий. Есть и другой доступ к CLI — c хост-сервера по SAS-интерфейсу, c расширенными возможностями, включая обновление прошивок самого JBOD.

Как и положено современным JBOD, поддерживаются сервисные подмножества протокола SAS: зонирование T10 и SCSI Enclosure Service (SES). В HGST 4U60 реализована наиболее полная редакция SES-3. По этому протоколу инициаторы (серверы) могут вычитывать из хранилищ информацию о питании, вентиляции, охлаждении, индикации. Все передается по шине данных SAS, дополнительных кабелей не требуется. Поддержка SES обеспечивает контроль и согласование параметров сложных систем хранения. Например, без нее невозможно реализовать повышенный уровень доступности данных в Windows Storage Spaces, так называемый Enclosure Awareness — когда в системе с тремя JBOD отказ одного из хранилищ целиком не приводит к потере доступности, данные поднимаются с оставшихся.

Храните диски в JBOD

JBOD - это контейнеры дисков, подключаемые к хост-серверам по SAS и управляемые их ОС. Коммутируемая сеть SAS строится на самоконфигирируемых расширителях портов (SAS-экспандерах). Ее преимущества: большая пропускная способность, низкие задержки, зонирование дисковых групп, дублирование путей к данным в кластерных конфигурациях, защита целостности данных T10. 

Инициаторы (хост-серверы) обращаются к хранилищам JBOD (в них стоят SAS-экспандеры) напрямую, или через SAS-коммутаторы (те же экспандеры, только во внешнем исполнении). В JBOD ставят HDD (для объема) и SSD (для производительности). 

Как дисковое хранилище, JBOD намного предпочтительнее решений в универсальных серверных корпусах с большим числом дисковых отсеков.

• Конструктив. Спроектированные как дисковые контейнеры, JBOD дают высокую плотность хранения, занимают мало места, хорошо гасят вибрации и отводят тепло.
• Удобство обслуживания. При автономном размещении дисков отказы случаются реже и обслуживаются проще. Когда средства управления и хранения разделены, можно проводить независимые сервисные работы по ним, сохраняя операционную непрерывность.
• Масштабируемость. Емкость дискового пространства при хосте наращивается каскадированием JBOD (scale-up). Горизонтальное масштабирование (scale-out) реализуется в выбранной программной модели хранения.
• Доступность. Системы жизнеобеспечения современных JBOD дублированы. Ошибки дисков обрабатывает ПО хостов. Как именно реализована доступность данных: фейловер-кластером, репликацией на соседние устройства или переподключением к другим хостам — забота архитектора SDS.
• Управляемость. Все диски всех JBOD, подключенных к хостам по интерфейсу SAS, доступны всем хостам и управляются ими. Зонированием на уровне SAS-коммутаторов (а если его поддерживает JBOD — то на нем самом) назначаются права доступа к наборам дисков.

Entry поднимает планку производительности подсистемы ввода/вывода в серверах

В серверных приложениях, критичных к производительности, все решает подбор уместных ресурсов под специфику задач. Пока поставщики типовых серверов по старинке оснащают их наборами дисков SAS HDD 10K rpm и сетевыми картами 1Gb Ethernet, мы предлагаем решения, многократно их превосходящие по продуктивности дискового и сетевого ввода/вывода.

Высокие показатели интенсивности чтения/записи в IOPS, скорость снимаемого с накопителей потока данных в ГБ/сек, низкие задержки обращения обеспечивают дисковые массивы All-Flash Array (AFA) хост-сервера. Скоростное подключение в корпоративную сеть и пропускную способность соединений - адаптеры FC HBA 8-16Гбит и сетевые карты 10-40Гбит Ethernet, с объединением каналов.

От целевого назначения (набора приложений) сервера зависит, SSD какого класса и емкости объединять в массивы, с помощью какого интерфейса  отдавать данные в сеть. 

Массивы AFA наиболее эффективны в серверах высоконагруженных транзакционных баз данных, серверах биллинга, производственных системах с регистрацией данных в реальном времени, для раздачи контента с большим количеством просмотров.

Программно-определяемое хранение. Microsoft Windows Server 2012R2

Microsoft не так давно вышла на тропу программно-определяемого хранения. Ее стандартная серверная ОС Windows Server 2012 R2 - экономное и функционально привлекательное конвергентное решение для вычислений и хранения данных. О подрыве рынка традиционных SAN гремучей смесью Storage Spaces, SAS JBOD, SMB 3.0 и RDMA говорить рано, но с нагрузкой Hyper-V / SQL кластеры под WS 2012 R2 справляются хорошо.

RAID. С технологией Storage Spaces политики 2-way  или 3-way mirror обеспечивают производительность на уровне аппаратного RAID 10.

Spaces. Виртуальные диски, собранные из логических пулов SSD/HDD, дают пользователю лучшее от обоих типов: большую емкость HDD под холодные данные, производительность SSD под горячие данные. Поддерживается динамическое выделение емкости.

Automatic tiering. В двухуровневой схеме хранения SSD/HDD файловая система в фоновом режиме отслеживает обращения к блокам данных и по графику (раз в сутки или чаще - если надо) перемещает популярные блоки на быстрый слой (SSD), с гранулярностью 1MB.

Write-back cache. Сглаживает пики записи на виртуальный диск силами SSD из пула, повышая показатели IOPS.

SMB 3.0. Сетевой протокол, дающий приложениям доступ к данным стороннего сервера. Совместно используемые файлы презентуются всем узлам кластера Scale-Out File Server (SOFS). При отказах клиентское приложение автоматически обслуживается выжившими узлами. Microsoft рекомендует использовать сетевые адаптеры прямого доступа к памяти RDMA для разгрузки процессоров серверов и снижения задержек доступа к данным. Приложения могут работать с совместными файлами в кластере почти так же быстро, как с локальными дисками.

Доступность данных. Непрерывность файловых служб обеспечивает SOFS. Кластер серверов обращается за данными в общие контейнеры, Shared SAS JBOD.

Shared SAS JBOD. Общие хранилища для кластера серверов на дисках SSD/HDD. Емкость увеличивается добавлением в JBOD самых обычных дисков NL SAS, а когда место закончилось - новых JBOD c дисками целиком (могут понадобиться SAS-коммутаторы, они недорогие). В промышленных СХД даже сами диски обойдутся дороже: HDD в разы, SSD – на порядок.

В Windows Server 2016 появятся синхронная репликация и распределенное хранение на локальных дисках кластера серверов Storage Spaces Direct.

Программно-определяемое хранение объемных данных. RAIDIX

Показательна история создания RAIDIX - ОС для нагруженных СХД. Все началось с отраслевой задачи: понадобилось прикрутить быстрый алгоритма RAID-стека к хранению файлов видеопроизводства, где данных (очень) много, критична производительность и особенно важна стабильная, без гребенок и провалов, скорость потоковой записи в хранилища. Дисковые массивы под видео перелопачивают десятки и сотни терабайт данных, без выраженного «горячего» ядра классических систем хранения. Теряя диски большой емкости, традиционные RAID’ы проваливают производительность и восстанавливаются сутками – что увеличивает риски потерь контента.

Помимо основной задачи на старте проекта, быстрого декодирования данных, разработчикам пришлось бороться c просаживанием скорости при выходе диска из строя, в схемах с двумя и более избыточными накопителями. А заодно и с «тихими» ошибками HDD (silent corruption) – обнаружением скрытых дефектов данных на чтение и их исправлением. 

Сегодня такие SDS используют в медийной индустрии, в HPC, для работы с объемными архивами изображений. 

Рекордная производительность. Уникальный алгоритм расчета контрольных сумм RAID оптимален для интенсивной потоковой нагрузки.

Unified Storage. Поддержка файлового (NAS по 10-40Гбит Ethernet) и блочного доступа (FC, iSCSI, Infiniband).

RAID с тройной четностью. Восстанавливает данные утраченных трех дисков без потери производительности. 

Отказоустойчивый кластер. Поддерживается режим Active-Active, при котором два узла кластера работают одновременно и имеют доступ к единому набору дисков. На переключение хостов уходят секунды.

Скрытые ошибки. Выявление и коррекция скрытых  ошибок дисков, вероятность появления которых на большом объеме хранения велика.