Системы хранения данных. Локальная репликация Local Replication(Стандартная лицензия включена по умолчанию, а расширенная - опциональная лицензия)

По результатам опроса нескольких киевских компаний, сегодня чаще всего встречаются следующие мотивы приобретения накопителей (в порядке убывания).

1. Дополнительные диски невозможно или нерентабельно установить в сервер (обычно либо из-за отсутствия места в корпусе, либо высокой цены на оригинальные диски, либо же немассовой конфигурации ОС и платформы — например, Silicon Graphics или Compaq Alpha Server, Mac и др.).

2. Нужно построить отказоустойчивый кластер с разделяемым дисковым массивом. В такой ситуации без системы хранения данных иногда можно обойтись, например, использовав PCI-SCSI RAID-контроллеры с поддержкой кластерных систем, но такая конфигурация менее функциональна и, кроме того, не позволяет включать в контроллерах кэширование записи данных. При работе с базами данных быстродействие решений с независимым устройством хранения превосходит системы на PCI-SCSI RAID-контроллерах иногда на порядок.

3. Невозможно получить качественное решение для хранения данных в рамках стандартного сервера. Внешняя система в этом случае позволяет реализовать RAIS (Redundant Array of Independent Servers — отказоустойчивый массив независимых серверов). На нем хранятся все, в том числе и системные данные, к которым обращаются обрабатывающие их серверы. При этом предусмотрен запасной сервер, подменяющий вышедший из строя. Этот подход в какой-то степени напоминает кластеризацию, но здесь не используется специализированное ПО, и приложения автоматически не мигрируют.

Общепринятая классификация систем хранения данных
основывается на принципе организации доступа к ним.

SAS (Server Attached Storage) — накопитель, подсоединенный к серверу.
Иногда используют термин "накопитель, подсоединенный "напрямую""—
DAS (Direct Attached Storage).

Основное преимущество накопителя, подсоединенного к серверу, по сравнению
с другими вариантами — низкая цена и высокое быстродействие.

NAS (Network Attached Storage) — накопитель, подсоединенный к сети.

Главным преимуществом такого решения является быстрота развертывания и продуманная
организация доступа к файлам.

SAN (Storage Area Network) — сеть хранения данных.
Наиболее дорогое решение, вместе с тем обеспечивающее немало преимуществ
— независимость топологии SAN от систем хранения данных и серверов, удобное
централизованное управление, отсутствие конфликта с трафиком LAN/WAN, удобное
резервирование и восстановление данных без загрузки локальной сети и серверов,
высокие быстродействие, масштабируемость, гибкость, готовность и отказоустойчивость.

Системы хранения данных, или автономные накопители

Безусловно, накопителем или системой хранения
данных можно называть очень много различных устройств. Но коль скоро речь у нас
пойдет о дисковых системах, обеспечивающих хранение информации и доступ к ней,
мы будем подразумевать под термином "накопитель" именно их. В общем
случае они состоят из жестких дисков, контроллера ввода/вывода и объединяющей
системы. Диски, как правило, поддерживают "горячую замену", т. е. их
можно подключать и отключать "на лету", без выключения накопителя. Это
дает возможность заменить вышедший из строя винчестер без каких-либо неприятностей
для пользователя. Основной и резервный блоки питания накопителя имеют повышенную
надежность и также допускают "горячую замену". Да и контроллеров ввода/вывода
иногда используют два. Схему типичной дисковой системы хранения данных с одним
контроллером можно увидеть на рис. 1.

Контроллер дисковой системы хранения данных является ее центром. Он отвечает за ввод/вывод данных внутри системы и на внешние каналы, а также за организацию хранения и доступа к информации. Для связи с внешним миром контроллеры накопителей обычно используют интерфейсы SCSI, Fibre Channel или же Ethernet.

В зависимости от предназначения системы контроллеры могут реализовывать различную логику работы и применять различные протоколы обмена данными. Они предоставляют для систем пользователей данные на блочном уровне, как винчестеры, или же файловые сервисы по протоколам NFS, CIFS, а также Network File System, Common Internet File System подобно файловым серверам (см. врезку "Файловые протоколы в NAS — CIFS, NFS, DAFS"). Такой контроллер обычно поддерживает стандартные уровни RAID для увеличения быстродействия системы и обеспечения отказоустойчивости.

Почему ATA?

Сегодня разница в стоимости единицы объема больших ATA- и SCSI-дисков более
чем шестикратна, и такое соотношение вполне оправдано. Дорогие диски с интерфейсом
SCSI предназначены прежде всего для корпоративных информационных систем и обычно
имеют более высокие показатели быстродействия при обработке большого количества
запросов. В них используются более надежные компоненты, их лучше тестируют, да
и ответственность производителя за эти устройства значительно выше.

Но если стоимость данных не столь велика или необходимо только промежуточное устройство
при их резервировании, зачем платить в шесть раз больше? Учитывая, что выход из
строя одного из дисков массива не является критичным, вполне допустимо использовать
накопитель с ATA-дисками. Разумеется, существует ряд противопоказаний по применению
ATA-дисков в больших системах хранения данных, но есть также и ряд приложений,
для которых они прекрасно подходят.

Наибольшее распространение IDE-устройства получили в NAS-системах начального уровня. При использовании двух или четырех дисков, организованных в массив RAID 1 или 0+1, вероятность выхода из строя всей системы приемлемо мала, а быстродействия при этом хватает "с головой" — файловые серверы начального уровня выполняют не слишком много дисковых операций ежесекундно, а потоки данных ограничены внешними интерфейсами Fast Ethernet или Gigabit Ethernet.

Там, где необходим блочный доступ к данным при минимальной стоимости решения и
количество операций за единицу времени не является критичным параметром, используют
системы с внешним параллельным SCSI- или Fibre Channel-интерфейсом и ATA-дисками
внутри (рис. 2).

Ведущие производители сегодня предлагают ATA-диски, близкие по всем характеристикам,
в том числе и времени наработки на отказ, к промышленным SCSI-дискам. Вместе с
тем их стоимость становится сопоставимой и, соответственно, применение ATA-дисков
обеспечивает лишь небольшой выигрыш в цене накопителей.

Для серверов начального уровня и рабочих станций, на которых хранятся достаточно
важные данные, использование дешевых PCI ATA-контроллеров, как показывает практика,
не всегда дает желаемый результат в силу их относительной примитивности и небольшой
функциональности. Применение же дорогих внешних накопителей не всегда оправдано.
В этом случае можно воспользоваться АТА-to-АТА-устройством, которое является уменьшенной
копией внешней дисковой системы хранения данных и рассчитано всего на два диска
с интерфейсом АТА. Однако оно имеет достаточно качественный встроенный контроллер
и поддерживает "горячую замену" дисков (рис. 3).

Serial ATA — новое дыхание ATA-интерфейса

С появлением интерфейса Serial ATA систем хранения данных на ATA-дисках
должно стать больше. Об этом говорят практически все производители накопителей
начального уровня. Сегодня их новые модели уже оснащаются новым интерфейсом. Чем
же интересен Serial ATA-интерфейс для производителей систем хранения данных?

Он поддерживает набор инструкций Native Command Queuing (конвейеризации команд) — контроллер анализирует запросы ввода/вывода и оптимизирует очередность их выполнения. Правда, в отличие от традиционной Native Command Queuing в SCSI-накопителях, которая обеспечивала очередь до 256 команд, в Serial ATA будет реализована поддержка очереди до 32 команд. "Горячая замена" Serial ATA-дисков, которая ранее требовала тех или иных технических ухищрений, теперь прописана непосредственно в стандарте, что позволит создавать корпоративные решения достаточно высокого уровня. Немаловажен и новый конструктив: кабель в новом интерфейсе стал круглым, а его коннектор — маленьким и узким, что облегчает проектирование и сборку систем.

В новых версиях быстродействие Serial ATA повысится, и можно не сомневаться, что доля ATA-решений в системах хранения начального уровня будет увеличиваться именно за счет новых дисков с этим интерфейсом, в то время как развитие Parallel ATA будет замедляться, что и наблюдается в последнее время.

Serial Attached SCSI

SCSI-интерфейс имеет высокую скорость и надежность, но подобные решения
достаточно дороги. SAS (Serial Attached SCSI) является интересным развитием SCSI
и, по всей вероятности, также будет применяться в недорогих системах начального
и среднего уровня.

Сегодня многие производители систем хранения данных используют при проектировании относительно простых накопителей интерфейс Ultra 320 SCSI. Это поколение параллельного SCSI-интерфейса на данный момент последнее в линейке. Накопители же с ранее заявленным Ultra 640 SCSI-интерфейсом, скорее всего, не будут массово производиться либо вообще сойдут со сцены. На недавней встрече с партнерами компания Seagate, лидер в производстве винчестеров для систем корпоративного уровня, объявила о том, что новые модели дисков для систем высокого уровня будут оснащаться интерфейсом Fibre Channel, а для меньших корпоративных систем — Serial SCSI. При этом не исчезнет сразу и обычный параллельный Ultra 320 SCSI. Его окончательная замена ожидается не ранее чем через пять лет.

Serial SCSI сочетает в себе некоторые особенности Serial ATA и Fibre Channel. Он был разработан на основе спецификаций последовательного ATA и усовершенствован. Так, повысился уровень сигнала, что позволяет соответственно увеличить предельную длину четырехжильного кабеля до 10 м. Этот двухканальный интерфейс "точка—точка" работает в режиме полного дуплекса, может обслуживать до 4096 дисковых устройств в домене и на уровне протокола поддерживает стандартный набор команд SCSI.

Вместе с тем, несмотря на все свои преимущества, Serial Attached SCSI вряд ли вытеснит обычный параллельный интерфейс в ближайшее время. В мире корпоративных решений разработки ведутся очень тщательно и, естественно, более длительно, чем для настольных систем. Да и уходят старые технологии не очень быстро, так как их жизненный цикл составляет несколько лет. Первые устройства с интерфейсом SAS должны появиться на рынке в 2004 году. Естественно, сначала это будут в основном диски и PCI-контроллеры, но достаточно быстро появятся и системы хранения данных. Сравнительные характеристики интерфейсов приведены в таблице "Сравнение современных дисковых интерфейсов".

SAN — сети хранения данных

SAN (см. врезку "Классификация систем хранения данных — DAS/SAS,
NAS, SAN") на основе Fibre Channel позволяют решать практически любые задачи
по хранению данных и доступу к ним. Но есть несколько недостатков, негативно влияющих
на распространение этих технологий, прежде всего — высокая стоимость решений
и сложность построения географически распределенных систем.

Вокруг использования в SAN IP-протокола в качестве транспорта для SCSI-команд и данных идет ожесточенный спор, но все понимают, что решения IP Storage обязательно найдут свою нишу в сфере систем хранения данных, и ждать этого недолго.

В рамках совершенствования сетевых технологий хранения данных в Internet Engineering Task Force (IETF) была организована рабочая группа и форум IP Storage (IPS) по направлениям:

FCIP — Fibre Channel over TCP/IP, туннельный протокол, созданный на базе TCP/IP и предназначенный для соединения географически удаленных FC SAN без какого-либо воздействия на FC- и IP-протоколы;

iFCP — Internet Fibre Channel Protocol, протокол для соединения FC-систем или сетей хранения данных на базе TCP/IP, использующий IP-инфраструктуру совместно или вместо коммутационных и маршрутизирующих элементов FC;

iSNS — Internet Storage Name Service, протокол поддержки имен накопителей;

iSCSI — Internet Small Computer Systems Interface, протокол на основе TCP/IP, разработанный для взаимодействия и управления системами хранения данных, серверами и клиентами.

Самым бурно развивающимся и интересным из перечисленных направлений является iSCSI, который 11 февраля 2003 года стал официальным стандартом. Его развитие должно существенно повлиять на распространение SAN в малом и среднем бизнесе, в силу того что сети хранения данных станут значительно более дешевыми. Что же касается использования iSCSI в Internet, то сегодня здесь уже неплохо прижился FCIP, и конкуренция с ним будет достаточно острой, но за счет интегрированного подхода она должна сработать на пользу iSCSI.

Благодаря технологиям IP Storage, в том числе iSCSI, в сетях хранения данных появились новые возможности по построению географически распределенных систем накопителей. Кроме того, новые системы хранения данных, для которых iSCSI будет "родным" протоколом, обеспечат массу других преимуществ, таких, как поддержка QoS, высокий уровень безопасности, возможность задействовать в обслуживании сетей специалистов по Ethernet.

Одной из очень интересных особенностей iSCSI является то, что для передачи данных на накопителе с интерфейсом iSCSI можно использовать не только носители, коммутаторы и маршрутизаторы существующих сетей LAN/WAN, но и обычные сетевые адаптеры Fast Ethernet или Gigabit Ethernet на стороне клиента. Но на самом деле в связи с некоторыми трудностями лучше применять специализированное оборудование, что в результате приведет к тому, что стоимость решений начнет догонять традиционные Fibre Channel SAN.

Бурное развитие сетей хранения данных стало основой формирования концепции World
Wide Storage Area Network. WWSAN предусматривает создание инфраструктуры, которая
обеспечит высокоскоростной доступ и хранение данных, распределенных по всему миру.

Сравнение современных дисковых интерфейсов

* Стандарт регламентирует расстояние
до 10 км для одномодового оптоволокна, существуют реализации для передачи данных
на расстояние более 100 км.
** В рамках внутренней топологии кольца работают концентраторы и коммутаторы FC,
также существуют реализации коммутаторов, которые обеспечивают соединение точка—точка
любых устройств, подсоединенных к ним.
*** Существуют реализации устройств для интерфейсов и протоколов SCSI, FICON,
ESCON, TCP/IP, HIPPI, VI.

Kraftway представляет новый продукт в сегменте аппаратно-ориентированных кластерных СХД: доверенные системы хранения данных ПРОГРЕСС , в основе которых контроллеры с интегрированными средствами защиты информации и российские программные продукты управления дисковыми массивами. Отличительные особенности доверенной платформы СХД Kraftway:

• встроенные функции защиты информации, интегрированные в контроллеры (схемотехнику платы, BIOS и микропрограммный код ВМС);
• программное обеспечение (ПО) управления системой хранения, занесенное в реестр Минсвязи РФ. Прозводителями ПО являются компании Рэйдикс, НПО Баум и Аэродиск.

Доверенные СХД предназначены для заказчиков, имеющих особые требования безопасности к своим ИТ-системам. СХД ПРОГРЕСС содержит модели с количеством контроллеров 1,2,4 и 8 (*) , работающих в режиме Active-Active и обеспечивающих высокую отказоустойчивость системы хранения. К контроллерам системы подключаются дисковые полки расширения различных типоразмеров, обеспечивающих емкость хранения до нескольких десятков ПБ. Максимальная емкость 2-контроллерной СХД составляет 16 ПБ. Хост интефейсы СХД: iSCSI от 1 до 100 Гб/с, FC от 2 до 32 Гб/с, Infiniband до 100 Гб/с (*).

(*) Технические характеристики могут варьироваться для каждого производителя ПО.

Доверенные СХД Kraftway ПРОГРЕСС

• Dell EMC Storage серии SC – автоматизированные решения с современной инфраструктурой, построенные с применением гибридных накопителей, а также высокотехнологичных Flash-массивов.
• Dell EMC Equallogic серии PS – оптимальные устройства для корпоративной информационной среды, обеспечивающие эффективную реализацию повседневных информационных задач.
• Dell POWERVAULT серии MD – масштабируемые недорогие системы, поддерживающие консолидацию больших объемов данных и упрощающих их управление.
• EMC VNXE Series – унифицированные хранилища для решения информационных задач, характерных для представителей малого бизнеса.

СХД начального уровня

Системы хранения данных начального уровня Dell EMC представляют собой высокопроизводительные платформы для представителей малого бизнеса, а также крупных компаний, которые отличаются наличием разветвленной филиальной инфраструктуры. Оборудование этого класса отличается широкими возможностями масштабирования, благодаря которым можно задействовать потенциал от 6-ти до 150-ти накопителей, получая максимальный объем для хранения данных в размере 450 ТБ. СХД Dell EMC оптимально подойдут предприятиям с развитой инфраструктурой физических серверных систем, а также для тех, кто практикует использование виртуализированных серверных систем. Практическое использование хранилищ Dell EMC позволит консолидировать большие объемы информации, а также повысить эффективность их обработки. С помощью этих устройств можно будет развернуть многофункциональные СХД на основе IP-сетей, поддерживающих протоколы файлового и блочного доступа соответственно NAS и iSCSI.

СХД среднего уровня

Системы хранения данных среднего уровня Dell EMC относятся к многофункциональным платформам, позволяющим обеспечивать консолидацию блочных хранилищ, файловых серверных систем и СХД с прямым подключением. Использование этого оборудования обеспечит возможность компаниям динамически наращивать файловые системы и блочные ресурсы с параллельной поддержкой нескольких протоколов – NFS и CIFS. Кроме этого, хранилища СХД могут обеспечивать доступ к информации с использованием таких протоколов, как Fibre Channel, iSCSI и FCoE. Это будет способствовать поддержке блочных приложений, которые требуют широкую полосу пропускания и минимальное время задержки.

Героем этого обзора будет скромная система хранения данных DotHill 4824. Наверняка многие из вас слышали, что DotHill в качестве OEM-партнёра производит СХД начального уровня для Hewlett-Packard - те самые популярные HP MSA (Modular Storage Array), существующие уже в четвёртом поколении. Линейка DotHill 4004 соответствует HP MSA2040 с небольшими различиями, которые будут подробно описаны ниже.

DotHill - это классическая СХД начального уровня. Форм-фактор, 2U, два варианта под разные диски и с большим многообразием хостовых интерфейсов. Зеркалируемый кэш, два контроллера, ассиметричный active-active с ALUA. В прошлом году добавился новый функционал: дисковые пулы с трёхуровневым tiering"ом (ярусным хранением данных) и SSD-кэшом.

Характеристики

• Форм-фактор: 2U 24x 2,5" или 12x 3,5"
• Интерфейсы (на контроллер): 4524C/4534C - 4x SAS3 SFF-8644, 4824C/4834C - 4x FC 8Гбит/с / 4x FC 16Гбит/с / 4x iSCSI 10Гбит/с SFP+ (в зависимости от используемых трансиверов)
• Масштабирование: 192 диска 2,5" или 96 дисков 3,5", поддерживается до 7-ми дополнительных дисковых полок
• Поддержка RAID: 0, 1, 3, 5, 6, 10, 50
• Кэш (на контроллер): 4ГБ c флеш-защитой
• Функционал: cнапшоты, клонирование томов, асинхронная репликация (кроме SAS), thin provisioning, SSD-кэш, 3-уровневый tiering (SSD, 10/15k HDD, 7.2k HDD)
• Конфигурационные пределы: 32 массива (vDisk), до 256 томов на массив, 1024 тома на систему
• Управление: CLI, Web-интерфейс, поддержка SMI-S

Дисковые пулы в DotHill

До появления пулов у нас было два ограничения:

• Максимальный размер дисковой группы. RAID-10, 5 и 6 могут иметь максимум 16 дисков. RAID-50 - до 32-х дисков. Если нужен том с большим количеством шпинделей (ради производительности и/или объёма), то приходилось объединять LUN"ы на стороне хоста.
• Неоптимальное использование быстрых дисков. Можно насоздавать большое количество дисковых групп под несколько профилей нагрузки, но при большом числе хостов и сервисов на них постоянно следить за производительностью, объёмом и периодически вносить изменения становится тяжело.

Дисковый пул в СХД DotHill - совокупность нескольких дисковых групп с распределением нагрузки между ними. С точки зрения производительность можно рассматривать пул в качестве RAID-0 из нескольких подмассивов, т.е. мы уже решаем проблему коротких дисковых групп. Всего на СХД поддерживается только два дисковых пула, A и B, по одному на контроллер), в каждом пуле может быть до 16-ти дисковых групп. Главное архитектурное отличие - максимальное использование свободного размещения страйпов по дискам. На этой особенности основаны несколько технологий и особенностей:

Отличия от HP MSA2040

Производительность

Конфигурация СХД

• DotHill 4824 (2U, 24x2.5")
• Версия прошивки: GL200R007 (последняя на момент тестирования)
• Активированная лицензия RealTier 2.0
• Два контроллера с CNC портами (FC/10GbE), 4 трансивера 8Гбит FC (установлены в первый контроллер)
• 20x 146ГБ 15 тыс. об/мин SAS HDD (Seagate ST9146852SS)
• 4x 400ГБ SSD (HGST HUSML4040ASS600)

Конфигурация хоста

• Платформа Supermicro 1027R-WC1R
• 2x Intel Xeon E5-2620v2
• 8x 8ГБ DDR3 1600МГц ECC RDIMM
• 480ГБ SSD Kingston E50
• 2x Qlogic QLE2562 (2-портовый 8Гбит FC HBA)
• CentOS 7, fio 2.1.14

Пул с tier-1 и кэшом на SSD

Перед каждым запуском теста том создавался заново (для очистки SSD-tier"а или SSD-кэша), наполнялся случайными данными (последовательная запись блоками 1МиБ), на томе оключалось упреждающее чтение. Значения IOPS, средней и максимальной задержки определялись в пределах каждого 60-секундного цикла.

Тесты со 100% чтением и 65/35 чтение+запись проводились как с SSD-tier"ом (в пул добавлялась дисковая группа из 4x400ГБ SSD в RAID-10), так и с SSD-кэшом (2x400ГБ SSD в RAID-0, СХД не позволяет добавить больше двух SSD в кэш для каждого пула). Том создавался на пуле из двух дисковых групп RAID-6 по 10 дисков 46ГБ 15 тыс. об/мин SAS (т.е. фактически это RAID-60 по схеме 2x10). Почему не 10 или 50? Чтобы намеренно осложнить для СХД случайную запись.

IOPS

Это преимущество заканчивается как только добавляется значительная нагрузка на запись. RAID-60, мягко говоря, не очень подходит для случайной записи небольшими блоками, но такая конфигурация была выбрана специально чтобы показать суть проблемы: СХД не справляется с записью, т.к. она идёт в обход кэша на медленный RAID-60, очередь быстро забивается, времени на обслуживание запросов на чтение остаётся мало даже с учётом кэширования. Какие-то блоки туда всё-же попадают, но быстро становятся невалидными, ведь идёт запись. Этот замкнутый круг приводит к тому, что при таком профиле нагрузки кэш, работающий только на чтение, становится неэффективным. Точно такую же ситуацию можно было наблюда с ранними вариантами SSD-кэша (до появления Write-Back) в PCI-E RAID-контроллерах LSI и Adaptec. Решение - используйте изначально более производительный том, т.е. RAID-10 вместо 5/6/50/60 и/или SSD-tier"инг вместо кэша.

Средняя задержка

Максимальная задержка

• Наполнение кэша происходит быстрее. Если ваша нагрузка состоит из преимущественного случайного чтения и при этом область «горячих» периодически меняется, то стоит выбрать кэш.
• Экономия «быстрого» объёма. Если «горячие» данные умещаются целиком в кэш, но не в SSD-tier, то кэш, возможно, будет более эффективным. SSD-кэш в DotHill 4004 работает только на чтение, так что под него создаётся дисковая группа RAID-0. Например, имея 4 SSD по 400ГБ вы можете получить по 800ГБ кэша для каждого из двух пулов (1600ГБ всего) или в 2 раза меньше при использовании tiering"а (800ГБ для одного пула или по 400ГБ для двух). Конечно, есть ещё вариант 1200ГБ в RAID-5 для одного пула, если на втором не нужны SSD.

  С другой стороны, общий полезный объём пула при использовании tiering"а будет больше за счет хранения только одной копии блоков.

• Кэш не влияет на производительность при последовательном доступе. При кэшировании не происходит перемещения блоков, только копирование. При подходящем профиле нагрузки (случайное чтение небольшими блоками с повторым обращением к одним и тем же LBA) СХД выдаёт данные из SSD-кэша, если они там есть, или с HDD и копирует их в кэш. При появлении нагрузки с последовательным доступом данные будут прочитаны с HDD. Пример: пул из 20-ти 10 или 15k HDD может дать порядка 2000МБ/с при последовательном чтении, но если нужные данные окажутся на дисковой группе из пары SSD, то мы получим около 800МБ/с. Критично это или нет - зависит от реального сценария использования СХД.

4x SSD 400ГБ HGST HUSML4040ASS600 RAID-10

Использовались тесты, предназначенные для одиночных SSD - «IOPS Test» и «Latency Test» из спецификации SNIA Solid State Storage Performance Test Specification Enterprise v1.1:

• IOPS Test . Измеряется количество IOPS"ов (операций ввода-вывода в секунду) для блоков различного размера (1024КиБ, 128КиБ, 64КиБ, 32КиБ, 16КиБ, 8КиБ, 4КиБ) и случайного доступа с различным соотношением чтение/запись (100/0, 95/5, 65/35, 50/50, 35/65, 5/95, 0/100). Использовалось 8 потоков с глубиной очереди 16.
• Latency Test . Измеряется значение средней и максимальной задержки для различных размеров блока (8КиБ, 4КиБ) и соотношений чтение/запись (100/0, 65/35, 0/100) при минимальной глубине очереди (1 поток с QD=1).

SNIA PTS: IOPS test

Для проверки проводился тест одиночного SSD HGST HGST HUSML4040ASS600 с подключением к SAS HBA. На блоке 4КиБ было получено около 50 тыс. IOPS на чтение и запись, при насыщении (SNIA PTS Write Saturation Test) запись опускалась до 25-26 тыс. IOPS, что соответствует характеристикам, заявленным HGST.

SNIA PTS: Latency Test

Заключение

• Сравнение в аналогичной конфигурации с продуктами других вендоров: IBM v3700, Dell PV MD3 (и другие потомки LSI CTS2600), Infrotrend ESDS 3000 и др. СХД к нам попадают в разных конфигурациях и, как правило, не надолго - нужно скорее грузить и/или внедрять.
• Не тестировался предел СХД по пропускной способности. Порядка 2100МиБ/с (RAID-50 из 20-ти дисков) увидеть удалось, но подробно я последовательную нагрузку не тестировал из-за недостаточного количества дисков. Уверен, что заявленные 3200/2650 МБ/с на чтение/запись получить бы удалось.
• Нет полезного во многих случаях графика IOPS vs latency, где при варьировании глубины очереди можно увидеть, сколько IOPS можно получить при приемлемом значении задержки. Увы, не хватило времени.
• Best Practices. Не хотелось изобретать велосипед, так как есть

По результатам опроса нескольких киевских компаний, сегодня чаще всего встречаются следующие мотивы приобретения накопителей (в порядке убывания).

1. Дополнительные диски невозможно или нерентабельно установить в сервер (обычно либо из-за отсутствия места в корпусе, либо высокой цены на оригинальные диски, либо же немассовой конфигурации ОС и платформы -- например, Silicon Graphics или Compaq Alpha Server, Mac и др.).

2. Нужно построить отказоустойчивый кластер с разделяемым дисковым массивом. В такой ситуации без системы хранения данных иногда можно обойтись, например, использовав PCI-SCSI RAID-контроллеры с поддержкой кластерных систем, но такая конфигурация менее функциональна и, кроме того, не позволяет включать в контроллерах кэширование записи данных. При работе с базами данных быстродействие решений с независимым устройством хранения превосходит системы на PCI-SCSI RAID-контроллерах иногда на порядок.

3. Невозможно получить качественное решение для хранения данных в рамках стандартного сервера. Внешняя система в этом случае позволяет реализовать RAIS (Redundant Array of Independent Servers -- отказоустойчивый массив независимых серверов). На нем хранятся все, в том числе и системные данные, к которым обращаются обрабатывающие их серверы. При этом предусмотрен запасной сервер, подменяющий вышедший из строя. Этот подход в какой-то степени напоминает кластеризацию, но здесь не используется специализированное ПО, и приложения автоматически не мигрируют.

Общепринятая классификация систем хранения данных основывается на принципе организации доступа к ним.

SAS (Server Attached Storage) -- накопитель, подсоединенный к серверу. Иногда используют термин "накопитель, подсоединенный "напрямую""-- DAS (Direct Attached Storage).

Основное преимущество накопителя, подсоединенного к серверу, по сравнению с другими вариантами -- низкая цена и высокое быстродействие.

NAS (Network Attached Storage) -- накопитель, подсоединенный к сети.

Главным преимуществом такого решения является быстрота развертывания и продуманная организация доступа к файлам.

SAN (Storage Area Network) -- сеть хранения данных. Наиболее дорогое решение, вместе с тем обеспечивающее немало преимуществ -- независимость топологии SAN от систем хранения данных и серверов, удобное централизованное управление, отсутствие конфликта с трафиком LAN/WAN, удобное резервирование и восстановление данных без загрузки локальной сети и серверов, высокие быстродействие, масштабируемость, гибкость, готовность и отказоустойчивость.

Системы хранения данных, или автономные накопители

Безусловно, накопителем или системой хранения данных можно называть очень много различных устройств. Но коль скоро речь у нас пойдет о дисковых системах, обеспечивающих хранение информации и доступ к ней, мы будем подразумевать под термином "накопитель" именно их. В общем случае они состоят из жестких дисков, контроллера ввода/вывода и объединяющей системы. Диски, как правило, поддерживают "горячую замену", т. е. их можно подключать и отключать "на лету", без выключения накопителя. Это дает возможность заменить вышедший из строя винчестер без каких-либо неприятностей для пользователя. Основной и резервный блоки питания накопителя имеют повышенную надежность и также допускают "горячую замену". Да и контроллеров ввода/вывода иногда используют два. Схему типичной дисковой системы хранения данных с одним контроллером можно увидеть на рис. 1.

Контроллер дисковой системы хранения данных является ее центром. Он отвечает за ввод/вывод данных внутри системы и на внешние каналы, а также за организацию хранения и доступа к информации. Для связи с внешним миром контроллеры накопителей обычно используют интерфейсы SCSI, Fibre Channel или же Ethernet.

В зависимости от предназначения системы контроллеры могут реализовывать различную логику работы и применять различные протоколы обмена данными. Они предоставляют для систем пользователей данные на блочном уровне, как винчестеры, или же файловые сервисы по протоколам NFS, CIFS, а также Network File System, Common Internet File System подобно файловым серверам (см. врезку "Файловые протоколы в NAS -- CIFS, NFS, DAFS"). Такой контроллер обычно поддерживает стандартные уровни RAID для увеличения быстродействия системы и обеспечения отказоустойчивости.

Но если стоимость данных не столь велика или необходимо только промежуточное устройство при их резервировании, зачем платить в шесть раз больше? Учитывая, что выход из строя одного из дисков массива не является критичным, вполне допустимо использовать накопитель с ATA-дисками. Разумеется, существует ряд противопоказаний по применению ATA-дисков в больших системах хранения данных, но есть также и ряд приложений, для которых они прекрасно подходят.

Наибольшее распространение IDE-устройства получили в NAS-системах начального уровня. При использовании двух или четырех дисков, организованных в массив RAID 1 или 0+1, вероятность выхода из строя всей системы приемлемо мала, а быстродействия при этом хватает "с головой" -- файловые серверы начального уровня выполняют не слишком много дисковых операций ежесекундно, а потоки данных ограничены внешними интерфейсами Fast Ethernet или Gigabit Ethernet.

Там, где необходим блочный доступ к данным при минимальной стоимости решения и количество операций за единицу времени не является критичным параметром, используют системы с внешним параллельным SCSI- или Fibre Channel-интерфейсом и ATA-дисками внутри (рис. 2).

Ведущие производители сегодня предлагают ATA-диски, близкие по всем характеристикам, в том числе и времени наработки на отказ, к промышленным SCSI-дискам. Вместе с тем их стоимость становится сопоставимой и, соответственно, применение ATA-дисков обеспечивает лишь небольшой выигрыш в цене накопителей.

Для серверов начального уровня и рабочих станций, на которых хранятся достаточно важные данные, использование дешевых PCI ATA-контроллеров, как показывает практика, не всегда дает желаемый результат в силу их относительной примитивности и небольшой функциональности. Применение же дорогих внешних накопителей не всегда оправдано. В этом случае можно воспользоваться АТА-to-АТА-устройством, которое является уменьшенной копией внешней дисковой системы хранения данных и рассчитано всего на два диска с интерфейсом АТА. Однако оно имеет достаточно качественный встроенный контроллер и поддерживает "горячую замену" дисков (рис. 3).

Serial ATA -- новое дыхание ATA-интерфейса

С появлением интерфейса Serial ATA систем хранения данных на ATA-дисках должно стать больше. Об этом говорят практически все производители накопителей начального уровня. Сегодня их новые модели уже оснащаются новым интерфейсом. Чем же интересен Serial ATA-интерфейс для производителей систем хранения данных?

Он поддерживает набор инструкций Native Command Queuing (конвейеризации команд) -- контроллер анализирует запросы ввода/вывода и оптимизирует очередность их выполнения. Правда, в отличие от традиционной Native Command Queuing в SCSI-накопителях, которая обеспечивала очередь до 256 команд, в Serial ATA будет реализована поддержка очереди до 32 команд. "Горячая замена" Serial ATA-дисков, которая ранее требовала тех или иных технических ухищрений, теперь прописана непосредственно в стандарте, что позволит создавать корпоративные решения достаточно высокого уровня. Немаловажен и новый конструктив: кабель в новом интерфейсе стал круглым, а его коннектор -- маленьким и узким, что облегчает проектирование и сборку систем.

В новых версиях быстродействие Serial ATA повысится, и можно не сомневаться, что доля ATA-решений в системах хранения начального уровня будет увеличиваться именно за счет новых дисков с этим интерфейсом, в то время как развитие Parallel ATA будет замедляться, что и наблюдается в последнее время.

Сегодня многие производители систем хранения данных используют при проектировании относительно простых накопителей интерфейс Ultra 320 SCSI. Это поколение параллельного SCSI-интерфейса на данный момент последнее в линейке. Накопители же с ранее заявленным Ultra 640 SCSI-интерфейсом, скорее всего, не будут массово производиться либо вообще сойдут со сцены. На недавней встрече с партнерами компания Seagate, лидер в производстве винчестеров для систем корпоративного уровня, объявила о том, что новые модели дисков для систем высокого уровня будут оснащаться интерфейсом Fibre Channel, а для меньших корпоративных систем -- Serial SCSI. При этом не исчезнет сразу и обычный параллельный Ultra 320 SCSI. Его окончательная замена ожидается не ранее чем через пять лет.

Serial SCSI сочетает в себе некоторые особенности Serial ATA и Fibre Channel. Он был разработан на основе спецификаций последовательного ATA и усовершенствован. Так, повысился уровень сигнала, что позволяет соответственно увеличить предельную длину четырехжильного кабеля до 10 м. Этот двухканальный интерфейс "точка--точка" работает в режиме полного дуплекса, может обслуживать до 4096 дисковых устройств в домене и на уровне протокола поддерживает стандартный набор команд SCSI.

Вместе с тем, несмотря на все свои преимущества, Serial Attached SCSI вряд ли вытеснит обычный параллельный интерфейс в ближайшее время. В мире корпоративных решений разработки ведутся очень тщательно и, естественно, более длительно, чем для настольных систем. Да и уходят старые технологии не очень быстро, так как их жизненный цикл составляет несколько лет. Первые устройства с интерфейсом SAS должны появиться на рынке в 2004 году. Естественно, сначала это будут в основном диски и PCI-контроллеры, но достаточно быстро появятся и системы хранения данных. Сравнительные характеристики интерфейсов приведены в таблице "Сравнение современных дисковых интерфейсов".

SAN -- сети хранения данных

SAN (см. врезку "Классификация систем хранения данных -- DAS/SAS, NAS, SAN") на основе Fibre Channel позволяют решать практически любые задачи по хранению данных и доступу к ним. Но есть несколько недостатков, негативно влияющих на распространение этих технологий, прежде всего -- высокая стоимость решений и сложность построения географически распределенных систем.

Вокруг использования в SAN IP-протокола в качестве транспорта для SCSI-команд и данных идет ожесточенный спор, но все понимают, что решения IP Storage обязательно найдут свою нишу в сфере систем хранения данных, и ждать этого недолго.

В рамках совершенствования сетевых технологий хранения данных в Internet Engineering Task Force (IETF) была организована рабочая группа и форум IP Storage (IPS) по направлениям:

FCIP -- Fibre Channel over TCP/IP, туннельный протокол, созданный на базе TCP/IP и предназначенный для соединения географически удаленных FC SAN без какого-либо воздействия на FC- и IP-протоколы;

IFCP -- Internet Fibre Channel Protocol, протокол для соединения FC-систем или сетей хранения данных на базе TCP/IP, использующий IP-инфраструктуру совместно или вместо коммутационных и маршрутизирующих элементов FC;

ISNS -- Internet Storage Name Service, протокол поддержки имен накопителей;

ISCSI -- Internet Small Computer Systems Interface, протокол на основе TCP/IP, разработанный для взаимодействия и управления системами хранения данных, серверами и клиентами.

Самым бурно развивающимся и интересным из перечисленных направлений является iSCSI, который 11 февраля 2003 года стал официальным стандартом. Его развитие должно существенно повлиять на распространение SAN в малом и среднем бизнесе, в силу того что сети хранения данных станут значительно более дешевыми. Что же касается использования iSCSI в Internet, то сегодня здесь уже неплохо прижился FCIP, и конкуренция с ним будет достаточно острой, но за счет интегрированного подхода она должна сработать на пользу iSCSI.

Благодаря технологиям IP Storage, в том числе iSCSI, в сетях хранения данных появились новые возможности по построению географически распределенных систем накопителей. Кроме того, новые системы хранения данных, для которых iSCSI будет "родным" протоколом, обеспечат массу других преимуществ, таких, как поддержка QoS, высокий уровень безопасности, возможность задействовать в обслуживании сетей специалистов по Ethernet.

Одной из очень интересных особенностей iSCSI является то, что для передачи данных на накопителе с интерфейсом iSCSI можно использовать не только носители, коммутаторы и маршрутизаторы существующих сетей LAN/WAN, но и обычные сетевые адаптеры Fast Ethernet или Gigabit Ethernet на стороне клиента. Но на самом деле в связи с некоторыми трудностями лучше применять специализированное оборудование, что в результате приведет к тому, что стоимость решений начнет догонять традиционные Fibre Channel SAN.

Бурное развитие сетей хранения данных стало основой формирования концепции World Wide Storage Area Network. WWSAN предусматривает создание инфраструктуры, которая обеспечит высокоскоростной доступ и хранение данных, распределенных по всему миру.

Сравнение современных дисковых интерфейсов