Entry V Cubic - производительная настольная система хранения данных

Считается, что настольным системам хранения на 4-6 дисков хватает могучего процессора Annapurna Labs Alpine и 1-2GB RAM. Для домашнего фотоархива может и хватает. NAS-серверу с несколькими пользователями - уже нет.

СХД Entry V Cubic производительна и функциональна. Это полноценная NAS/SAN-платформа под управлением Open-E DSS V7 SOHO. Поддерживаются файловые и блочные сетевые протоколы NFS, SMB/CIFS, FTP, iSCSI.

Внутри: четырехъядерный процессор Intel Xeon E3 1230 v5, 16 GB памяти DDR4 ECC, 36 TB на шести HDD, два порта Gigabit Ethernet, iKVM. Такие системы подходят под ресурсоемкие приложения видеопроизводства, документооборота, резервного хранения. "Так много памяти" нужно хотя бы затем, что ПО использует всю доступную RAM под кэширование чтения - с большим скачком производительности хранилища.

Студия «Анимаград» закрепляет технологическое лидерство в 3D-анимации

3D-анимация – одна из наиболее насыщенных технологиями составляющих современного видеопроизводства. Сценаристы, создатели моделей, рисовальщики, постановщики сцен и оформители готовят на своих рабочих станциях трехмерные векторные объекты. По ним мощные вычислители-рендеры просчитывают и разворачивают во времени динамические последовательности растровых картинок, близкие к реалистичным. Насколько близкие – зависит от мастерства участников творческого процесса и технологической платформы.

Входящая в состав группы FILM.UA украинская студия «Анимаград» известна зрителю анимационными сериалами «Эскимоска» и «Сказочная Русь». В работе находятся полнометражные мультфильмы «Руслан и Людмила» и «Мавка. Лесная песня». Управляющий партнер студии Егор Олесов считает миссией «Анимаграда» представлять украинскую анимацию на уровне мировых стандартов, привлекательно по замыслу и техническому исполнению. Амбиции обязывают осваивать новейшие отраслевые технологии и изучать рынок анимационного контента. Так, студия уникальна в Украине использованием системы Motion Capture (MoCap). Живые актеры в костюмах с датчиками двигаются согласно сценарию будущего фильма, а программное обеспечение собирает с камер-трассировщиков данные о перемещении контрольных точек. Полученные траектории применяют к трехмерным моделям, добавляя достоверности движениям и мимике рисованных персонажей. Такая же технология использовалась для анимации героев «Аватара» и многих других проектов с обилием компьютерной графики.

Расширение производства и жесткий график подготовки проектов потребовали от «Анимаграда» переоснащения вычислительного парка. Не только рабочие станции творцов должны быть производительными. Трехмерный мир становится мультфильмом после завершающего этапа - рендеринга. Этот процесс можно сравнить со съёмкой на камеру, но только все действия персонажей и объектов просчитываются программой. Временные затраты на рендеринг огромны. Для ускорения просчета сцен студии обзаводятся мощными рендер-фермами из объединенных в сеть серверов.

Проектирование и оснащение парка серверов, рабочих станций, дисковых массивов хранения контента, сетевой инфраструктуры «Анимаграда» выполнила компания Entry.

Сетевая структура сегментирована. Одно- и двухпроцессорные рабочие станции распределены в ней по уровню нагрузок и степени вовлеченности в сетевые операции. Генераторы интенсивного трафика включены в сеть 10 Гбит Ethernet – как и все серверы рендер-фермы, состоящей из двухпроцессорных серверов. У рендер-фермы есть собственное хранилище данных: моделей, текстур, промежуточных сцен. Ядро инфраструктуры составляют коммутаторы 40 Гбит Ethernet и основная система хранения данных – программно-определяемый кластер серверов с массивом разделяемого доступа. Подключение по широкому каналу 40 Гбит обеспечивает высокую пропускную способность и низкие задержки передачи данных большому числу потребителей. Инфраструктура имеет запас масштабирования: по рабочим станциям, узлам рендер-фермы, емкости хранения.   

Мастер-шеф этого и других видеопроектов Entry Владимир Грегуль cчитает оптимизацию ИТ-инфраструктуры фундаментом продуктивной творческой работы. Приложения видеопроизводства требуют больших вычислительных ресурсов, скоростных сетей, емких хранилищ промежуточных и готовых материалов, удобных средств командной работы над проектом. Анимация – одна из немногих областей, где отечественные мастера мало в чем уступают западным, а используемые ИТ-инструменты актуальны и эффективны. Мы можем.

Слоеные JBOD

В программно-определяемом хранении объемных данных почти всегда есть расслоение данных по быстрым (SSD) и емким (HDD) носителям. 

Примеры ролей SSD в объемном хранении. В Windows Server 2012 R2 это Write Cache (для сглаживания пиковых обращений), Auto Tieiring (для постоянного хранения горячего пула данных, модицифируемого ОС либо вручную). В ZFS-хранилищах: L2ARC (адаптивный кэш чтения), ZIL (журнал записи).

Производительное хранение первого слоя (Primary storage) – обычно  гибридное хранение, на гармоничной смеси SSD / HDD под горячий и холодный слои.

HGST 4U60 – пример JBOD как основы объемного хранения. Сделан в компоновке 4U / 60 HDD с верхней загрузкой дисков. У него два модуля ввода-вывода с двумя портами SAS 12 Гбит на каждом. Возможны разные варианты подключения JBOD: одиночное, кластерное, с каскадированием. Дисковые карманы универсальные – 3.5”/2.5”. Часть HDD может быть заменена на SSD – если того требует программная модель управления данными. Доступны JBOD’ы на дисках 4-6-8-10TB, общей емкостью 240-360-480-600TB соответственно. Можно заказать частично наполненный JBOD, с 24 дисками из 60.

Учитывая общую большую емкость хранения, понятно, что SSD-слой не может быть микроскопическим.  Идеально подходят SAS SSD емкостью 2TB. В зависимости от приложений, относительная толщина горячего слоя колеблется от 3-5% (хранение VM) до 8-10% (OLTP). К примеру, для варианта JBOD на дисках 10TB, при заполнении HDD 4 рядов из 5 получаем 480TB холодного объема. Заполняя оставшийся ряд SSD по 2TBполучим отношение горячего/холодного объемов ~ 4%.

Приведенные в качестве примера SSD хороши всем: емкостью, высокой производительностью записи коротким блоком (37K IOPS), большим ресурсом перезаписи ячеек (DWPD = 30). И это SAS (!) – со всеми вытекающими преимуществами производительности и отказоустойчивости.

Преодолевая барьеры производительности SDS

Для программно-определяемого хранения (SDS) объемных данных используют комбинации серверов 1U и JBOD – добиваясь гибкости, управляемости, запаса масштабирования и сервисных преимуществ. Наибольшую свободу подключения хранилищ к серверам дают SAS HBA Avago 9305-16e. В базовом контроллере этого хост-адаптера, SAS 3216, по сути реализованы два контроллера на чипе. Его 4 внешних порта 12Гб SAS (SFF-8644) и способность отдавать свыше 1.5 млн. IOPS неоценимы в приложениях с высокими требованиями к производительности и объему хранения. 

На этих SAS HBA можно построить масштабируемую многосвязную сеть SAS без дополнительных коммутаторов. Запас каналов SAS позволяет отвести часть из них под синхронизацию памяти узлов в кластерных конфигурациях.

Типичные устройства хранения в такой сети – HGST 4U60 JBOD, 60-дисковые контейнеры с диапазоном емкости 240-600 ТБ и полностью дублированными системами жизнеобеспечения. Вместо части HDD в них могут использоваться SSD – под кэширование и размещение «горячих» данных. По тестам, такие JBOD способны обслужить более 8900 IOPS и поток шириной 8.9 ГБ/с, при объединении каналов Avago 9305-16e.

Производительная инфраструктура объемного хранения востребована в хостинге виртуальных машин, видеопроизводстве, обработке больших массивов неструктурированных данных.

Анархия в хранении данных: SAN? NAS? JBOD!

Эксперт издания ZDnet Джейсон Перлоу (Jason Perlow) делает панк-прогноз¹ в статье Анархия в хранении данных: будущее без SAN. Будущее - за программно-определяемыми системами хранения, построенными на типовых серверах и JBOD.

¹ Anarchy in the U.K. («Анархия в Соединенном Королевстве»), 1976 — первый сингл британской панк-группы Sex Pistols.

Never Mind the Bollocks, Here’s the Sex Pistols («Забейте на все, вот вам Sex Pistols»), 1977 — их единственный студийный альбом. Считается классикой рок-музыки.

Внутри JBOD

Типичный JBOD HGST 4U60 сделан в компоновке 4U / 60 HDD с верхней загрузкой дисков. У него два модуля ввода-вывода с двумя портами SAS 12 Гбит на каждом. Возможны разные варианты подключения JBOD: одиночное, кластерное, с каскадированием. Резервированы все критичные компоненты: модули ввода-вывода с экспандерами SAS, блоки питания и вентиляции. Дисковые карманы рассчитаны на установку накопителей LFF (емкие HDD) и SFF (производительные SSD). На блок-схеме узлов JBOD видно, что в нем, по сути, реализованы две независимые подсистемы обслуживания дисков. Двойное подключение накопителей SAS/NL SAS гарантирует доступность данных при отказе любого из модулей ввода-вывода.

Наведенная вибрация от нескольких десятков моторов гасится специальным демпфирующим алюминиевым каркасом и дисковыми карманами-вставками. Разумеется, в самих дисках есть датчики ускорений с компенсирующей обратной связью.

Охлаждаются диски вертикальной загрузки подтягиванием холодного воздуха спереди-снизу-вверх, с отводом тепла наружу вытяжными вентиляторами блоков питания. Для равномерного обдува важно заполнение всего дискового ряда, без пустот. Тут таких рядов 5, по 12 HDD в каждом. Не случайно HGST продает свои JBOD вместе с дисками, мотивируя покупателя крайне привлекательной ценой, «массив с дисками по цене дисков». Можно заказывать облегченные старт-киты — JBOD с предустановленными 24 дисками из 60, но и в этом случае производитель призывает докупать HDD дюжинами (рядами). JBOD поставляются с дисками 4-6-8-10TB. Две старшие емкости — с гелиевым наполнением, их энергопотребление почти на четверть меньше «атмосферников».

Устройству с несколькими десятками дисков нужны средства диагностики. В HGST 4U60 мониторинг рабочих параметров возможен из командной строки (CLI). Подключившись к консольному порту (RJ45 — RS-232) на задней панели, через CLI вычитывают информацию о состоянии дисков, скорости вентиляторов, статусе портов экспандеров, температуре датчиков. Для подробного анализа ситуации можно просмотреть операционный лог событий. Есть и другой доступ к CLI — c хост-сервера по SAS-интерфейсу, c расширенными возможностями, включая обновление прошивок самого JBOD.

Как и положено современным JBOD, поддерживаются сервисные подмножества протокола SAS: зонирование T10 и SCSI Enclosure Service (SES). В HGST 4U60 реализована наиболее полная редакция SES-3. По этому протоколу инициаторы (серверы) могут вычитывать из хранилищ информацию о питании, вентиляции, охлаждении, индикации. Все передается по шине данных SAS, дополнительных кабелей не требуется. Поддержка SES обеспечивает контроль и согласование параметров сложных систем хранения. Например, без нее невозможно реализовать повышенный уровень доступности данных в Windows Storage Spaces, так называемый Enclosure Awareness — когда в системе с тремя JBOD отказ одного из хранилищ целиком не приводит к потере доступности, данные поднимаются с оставшихся.

Храните диски в JBOD

JBOD - это контейнеры дисков, подключаемые к хост-серверам по SAS и управляемые их ОС. Коммутируемая сеть SAS строится на самоконфигирируемых расширителях портов (SAS-экспандерах). Ее преимущества: большая пропускная способность, низкие задержки, зонирование дисковых групп, дублирование путей к данным в кластерных конфигурациях, защита целостности данных T10. 

Инициаторы (хост-серверы) обращаются к хранилищам JBOD (в них стоят SAS-экспандеры) напрямую, или через SAS-коммутаторы (те же экспандеры, только во внешнем исполнении). В JBOD ставят HDD (для объема) и SSD (для производительности). 

Как дисковое хранилище, JBOD намного предпочтительнее решений в универсальных серверных корпусах с большим числом дисковых отсеков.

• Конструктив. Спроектированные как дисковые контейнеры, JBOD дают высокую плотность хранения, занимают мало места, хорошо гасят вибрации и отводят тепло.
• Удобство обслуживания. При автономном размещении дисков отказы случаются реже и обслуживаются проще. Когда средства управления и хранения разделены, можно проводить независимые сервисные работы по ним, сохраняя операционную непрерывность.
• Масштабируемость. Емкость дискового пространства при хосте наращивается каскадированием JBOD (scale-up). Горизонтальное масштабирование (scale-out) реализуется в выбранной программной модели хранения.
• Доступность. Системы жизнеобеспечения современных JBOD дублированы. Ошибки дисков обрабатывает ПО хостов. Как именно реализована доступность данных: фейловер-кластером, репликацией на соседние устройства или переподключением к другим хостам — забота архитектора SDS.
• Управляемость. Все диски всех JBOD, подключенных к хостам по интерфейсу SAS, доступны всем хостам и управляются ими. Зонированием на уровне SAS-коммутаторов (а если его поддерживает JBOD — то на нем самом) назначаются права доступа к наборам дисков.