вторник, 16 февраля 2016 г.

Программно-определяемое хранение объемных данных. RAIDIX

Показательна история создания RAIDIX - ОС для нагруженных СХД. Все началось с отраслевой задачи: понадобилось прикрутить быстрый алгоритма RAID-стека к хранению файлов видеопроизводства, где данных (очень) много, критична производительность и особенно важна стабильная, без гребенок и провалов, скорость потоковой записи в хранилища. Дисковые массивы под видео перелопачивают десятки и сотни терабайт данных, без выраженного «горячего» ядра классических систем хранения. Теряя диски большой емкости, традиционные RAID’ы проваливают производительность и восстанавливаются сутками – что увеличивает риски потерь контента.

Помимо основной задачи на старте проекта, быстрого декодирования данных, разработчикам пришлось бороться c просаживанием скорости при выходе диска из строя, в схемах с двумя и более избыточными накопителями. А заодно и с «тихими» ошибками HDD (silent corruption) – обнаружением скрытых дефектов данных на чтение и их исправлением. 

Сегодня такие SDS используют в медийной индустрии, в HPC, для работы с объемными архивами изображений. 

Рекордная производительность. Уникальный алгоритм расчета контрольных сумм RAID оптимален для интенсивной потоковой нагрузки.

Unified Storage. Поддержка файлового (NAS по 10-40Гбит Ethernet) и блочного доступа (FC, iSCSI, Infiniband).

RAID с тройной четностью. Восстанавливает данные утраченных трех дисков без потери производительности. 

Отказоустойчивый кластер. Поддерживается режим Active-Active, при котором два узла кластера работают одновременно и имеют доступ к единому набору дисков. На переключение хостов уходят секунды.

Скрытые ошибки. Выявление и коррекция скрытых  ошибок дисков, вероятность появления которых на большом объеме хранения велика.


Комментариев нет:

Отправить комментарий