Анархия в хранении данных: SAN? NAS? JBOD!

Эксперт издания ZDnet Джейсон Перлоу (Jason Perlow) делает панк-прогноз¹ в статье Анархия в хранении данных: будущее без SAN. Будущее - за программно-определяемыми системами хранения, построенными на типовых серверах и JBOD.

¹ Anarchy in the U.K. («Анархия в Соединенном Королевстве»), 1976 — первый сингл британской панк-группы Sex Pistols.

Never Mind the Bollocks, Here’s the Sex Pistols («Забейте на все, вот вам Sex Pistols»), 1977 — их единственный студийный альбом. Считается классикой рок-музыки.

Внутри JBOD

Типичный JBOD HGST 4U60 сделан в компоновке 4U / 60 HDD с верхней загрузкой дисков. У него два модуля ввода-вывода с двумя портами SAS 12 Гбит на каждом. Возможны разные варианты подключения JBOD: одиночное, кластерное, с каскадированием. Резервированы все критичные компоненты: модули ввода-вывода с экспандерами SAS, блоки питания и вентиляции. Дисковые карманы рассчитаны на установку накопителей LFF (емкие HDD) и SFF (производительные SSD). На блок-схеме узлов JBOD видно, что в нем, по сути, реализованы две независимые подсистемы обслуживания дисков. Двойное подключение накопителей SAS/NL SAS гарантирует доступность данных при отказе любого из модулей ввода-вывода.

Наведенная вибрация от нескольких десятков моторов гасится специальным демпфирующим алюминиевым каркасом и дисковыми карманами-вставками. Разумеется, в самих дисках есть датчики ускорений с компенсирующей обратной связью.

Охлаждаются диски вертикальной загрузки подтягиванием холодного воздуха спереди-снизу-вверх, с отводом тепла наружу вытяжными вентиляторами блоков питания. Для равномерного обдува важно заполнение всего дискового ряда, без пустот. Тут таких рядов 5, по 12 HDD в каждом. Не случайно HGST продает свои JBOD вместе с дисками, мотивируя покупателя крайне привлекательной ценой, «массив с дисками по цене дисков». Можно заказывать облегченные старт-киты — JBOD с предустановленными 24 дисками из 60, но и в этом случае производитель призывает докупать HDD дюжинами (рядами). JBOD поставляются с дисками 4-6-8-10TB. Две старшие емкости — с гелиевым наполнением, их энергопотребление почти на четверть меньше «атмосферников».

Устройству с несколькими десятками дисков нужны средства диагностики. В HGST 4U60 мониторинг рабочих параметров возможен из командной строки (CLI). Подключившись к консольному порту (RJ45 — RS-232) на задней панели, через CLI вычитывают информацию о состоянии дисков, скорости вентиляторов, статусе портов экспандеров, температуре датчиков. Для подробного анализа ситуации можно просмотреть операционный лог событий. Есть и другой доступ к CLI — c хост-сервера по SAS-интерфейсу, c расширенными возможностями, включая обновление прошивок самого JBOD.

Как и положено современным JBOD, поддерживаются сервисные подмножества протокола SAS: зонирование T10 и SCSI Enclosure Service (SES). В HGST 4U60 реализована наиболее полная редакция SES-3. По этому протоколу инициаторы (серверы) могут вычитывать из хранилищ информацию о питании, вентиляции, охлаждении, индикации. Все передается по шине данных SAS, дополнительных кабелей не требуется. Поддержка SES обеспечивает контроль и согласование параметров сложных систем хранения. Например, без нее невозможно реализовать повышенный уровень доступности данных в Windows Storage Spaces, так называемый Enclosure Awareness — когда в системе с тремя JBOD отказ одного из хранилищ целиком не приводит к потере доступности, данные поднимаются с оставшихся.

Храните диски в JBOD

JBOD - это контейнеры дисков, подключаемые к хост-серверам по SAS и управляемые их ОС. Коммутируемая сеть SAS строится на самоконфигирируемых расширителях портов (SAS-экспандерах). Ее преимущества: большая пропускная способность, низкие задержки, зонирование дисковых групп, дублирование путей к данным в кластерных конфигурациях, защита целостности данных T10. 

Инициаторы (хост-серверы) обращаются к хранилищам JBOD (в них стоят SAS-экспандеры) напрямую, или через SAS-коммутаторы (те же экспандеры, только во внешнем исполнении). В JBOD ставят HDD (для объема) и SSD (для производительности). 

Как дисковое хранилище, JBOD намного предпочтительнее решений в универсальных серверных корпусах с большим числом дисковых отсеков.

• Конструктив. Спроектированные как дисковые контейнеры, JBOD дают высокую плотность хранения, занимают мало места, хорошо гасят вибрации и отводят тепло.
• Удобство обслуживания. При автономном размещении дисков отказы случаются реже и обслуживаются проще. Когда средства управления и хранения разделены, можно проводить независимые сервисные работы по ним, сохраняя операционную непрерывность.
• Масштабируемость. Емкость дискового пространства при хосте наращивается каскадированием JBOD (scale-up). Горизонтальное масштабирование (scale-out) реализуется в выбранной программной модели хранения.
• Доступность. Системы жизнеобеспечения современных JBOD дублированы. Ошибки дисков обрабатывает ПО хостов. Как именно реализована доступность данных: фейловер-кластером, репликацией на соседние устройства или переподключением к другим хостам — забота архитектора SDS.
• Управляемость. Все диски всех JBOD, подключенных к хостам по интерфейсу SAS, доступны всем хостам и управляются ими. Зонированием на уровне SAS-коммутаторов (а если его поддерживает JBOD — то на нем самом) назначаются права доступа к наборам дисков.