МИ ПРАЦЮЄМО

(050) 878-12-97

info@servers.net.ua

Обзор и тестирование RAID контроллера LSI Nytro MegaRAID NMR 8110-4i

В нашей статье мы расскажем Вам о реализации SSD-кэширования в SAS RAID контроллерах LSI и Adaptec.

Если говорить коротко, то данное решение дает возможность кэшировать обращение чтения и записи к массиву из HDD на массиве из SSD. Это положительно сказывается на производительности, особенно если есть возможность случайного доступа малыми блоками, а также при оптимальном распределении нагрузки (то есть в том случае когда область с часто запрашиваемыми блоками становится практически идентична по объему SSD массиву). Обычно такие особенности характерны для работы web-серверов, почты, СУБД. Повышение IOPS'ов  приводит к понижению латентности (не стоит упускать это из виду). Уменьшение времени для ребилда — это ни что иное как закономерный результат разгрузки HDD-массива.

 

Выбор правильный SSD для кэша

Самый первый шаг в процессе выбора SSD — это определиться с его параметрами. Правильный SSD должен иметь большой ресурс, а также хорошую производительность для осуществления записи. Дело в том, что запись получает двойную нагрузку: во время кэширования операции записи и также в процессе кэширования операции чтения, поскольку SSD — кэш постоянно пополняется новыми данными. Бытовые  SSD совершенно не подходят для выполнения операций кэширования. Низкий ресурс не позволяет длительное время выдерживать большие нагрузки без перерыва, это сказывается на стремительном снижении производительности и возрастании латентности. Через несколько месяцев такой работы SSD просто перестает функционировать при повышенных нагрузках. Эффективной работы кэша приходится ожидать в течение длительного времени. Иногда этот процесс занимает несколько часов. А это значит, что такая операция как ускорение доступа к СУБД с подвижной «горячей зоной» становится просто неэффективной.

Очень дорогие SSD (от производителей SLC и eMLC от Stec, Hitachi, Toshiba) до сих пор не по карману среднестатистическому потребителю, особенно если речь идет о бюджетных предложениях для клиентов, которые не могут себе позволить внешние СХД midrange класса. SSD для них стоят от $1-2k. 

Времена безраздельного доминирования Intel X25-E закончились. На смену ему пришел 710, который скорее разочаровал, чем приятно удивил. Его параметры говорят сами за себя: чуть больше 2 k IOPS отводится на запись, при этом латентность резко повышается до 70-80мс. Вывод напрашивается сам собой: эффективная работа невозможна. Конечно, есть неплохая альтернатива 710 - Kingston E100. Но Kingston E100 — это дефицитное решение. Казалось бы появление Intel S3700 должно было решить все проблемы, но доступны некоторые варианты Intel S3700 емкостью  всего лишь 100ГБ.

 

Контроллер LSI Nytro MegaRAID

Безвыходных ситуаций не бывает. Компания LSI приобрела SandForce. SandForce известен в широких кругах как производитель высококачественных контроллеров для SSD. Результатом слияния  LSI и  SandForce стала серия контроллеров SAS RAID с SSD. 

Полное название линейки - Nytro MegaRAID, она представляет собой контроллер на базе чипа LSI 2208 (как и в обычных контроллерах LSI 9265/66/70/71), c парой eMLC SSD различной емкости, которые расположены непосредственно на плате контроллера. Существует несколько вариантов:

LSI Nytro MegaRAID 8100-4i - 100ГБ SLC

LSI Nytro MegaRAID 8110-4i - 200ГБ eMLC

LSI Nytro MegaRAID 8120-4i - 400ГБ eMLC 

Объем RAM-кэша — 1ГБ, при помощи модуля с флэш — памятью и ионисторов (парт-номер модуля - SCM01) осуществляется его защита. Для подключения предназначены 4 порта (один 4x разъем SFF-8087, он же miniSAS). Как утверждают разработчики, это не должно стать помехой при подключении нужного количества HDD через экспандер. Полоса в 2,4ГБ/с может использоваться для решения большого количества задач, особенно если мы говорим о реализации доступа малыми блоками.

 

Тестирование контроллера 8110-4i

Нами было выполнено тестирование контроллера 8110-4i. О его результатах Вы сможете узнать ниже. Набортные 200ГБ SSD сделаны по аналогии с другими контроллерами Nytro MegaRAID. Они представляют собой два модуля ориентировочной емкостью 93ГБ каждый. Применение их ограничивается выполнением кэш операций,  и то при условии объединения в RAID-0 или в RAID-1. Для write-back кэша более подходит вариант RAID-1, так как в данном случае обеспечивается целостностный подход к осуществлению кэша на запись.

Тестовый стенд:

Системная плата Supermicro X9DR7-LN4F

2 процессора E5-2620

Корпус Supermicro 836E16-R1200B (3U, 16xLFF, SAS2 экспандер)

8 дисков 300ГБ SAS 15000об/мин Hitachi HUS156030VLS600 (RAID-10, write-back кэш, режим no read ahead)

8 модулей памяти Samsung 8ГБ DDR3 1333МГц ECC Registered

ОС - Linux CentOS 6.4. На контроллере установлено обновление последней версии 23.6.1-0006, используемый драйвер — v00.00.06.18. Для сопоставления мы применяли тот же массив, но на другом контроллере LSI 9266-8i и CacheCade 2.0 с парой Intel SSD 520 120ГБ (с дополнительным over-provisioning'ом до 90ГБ) в  режимеRAID-1. И в том, и в другом случае нужно установить режим работы SSD-кэша в write-back.

Нагрузка — fio-2.0.13. Мы решили не искать трудных путей и провели достаточно простые тесты: чтение, запись, чтение и запись одновременно (блоки 4k, случайный доступ, ioengine=libaio, buffered=0, direct=1, iodepth=32) на области в 80 ГБ. Разумеется, для получения более объективных данных можно и нужно было бы сымитировать повышенную нагрузку, превышающую границы «горячей области». А после этого можно было бы проследить за изменениями IOPS и латентности в режимах кэша write-through и write-back.

Но мы не преследовали цель провести длительное по времени и всестороннее изучение особенностей работы SSD-кэш. Наша задача заключалась в том, чтобы   проанализировать сходства и различия универсального решения с недорогими SSD (LSI 9266 + CacheCade 2.0 + 2x Intel SSD 520) и контроллера LSI Nytro MegaRAID. Реальная нагрузка, под которой приходится работать контроллеру не может быть в полной мере воссоздана синтетическими тестами. Но для получения объективных данных о реальной нагрузке обычно используют специальный инструмент под названием Nytro Predictor.

Процесс создания кэш-пула и работы с ним на контроллерах Nytro MegaRAID практически полностью идентичен работе на других контроллерах LSI с опцией CacheCade.

Для управления параметрами кэширования (включения/выключения) для томов нужно использовать контекстное меню "Manage Nytro Cache".

Результаты получились предсказуемыми:

Различные варианты нагрузки на массиве без кэша дают предсказуемые для RAID-10 из 8 дисков результаты (тестирование проходило с применением фиксированной глубины очереди, а латентность при этом не учитывалась).

100% чтение: после включения кэша IOPS'ы начинают стремительно расти вплоть до насыщения. В то время как латентность снижается вдвое, рост IOPS'ов увеличивается почти в 20 раз. Но есть возможность увеличить рост еще больше. Если Вы будете использовать кэш только  для чтения и кеш — пул сделать в RAID-0. Пара Intel 520 по своим характеристикам ничем не хуже Nytro MegaRAID.

В процессе реализации записи ситуация несколько меняется. И тут Intel 520 не приходит на помощь даже дополнительный OP. Мы видим, что отрыв от доступа без кэш уже не такой большой. Но при нагрузке 50/50 чтение+запись есть вероятность получения 2 — кратного прироста по IOPS'ам. Также наблюдается уменьшение латентности в 3 раза. Но есть один момент, о котором стоит подумать — это низкий ресурс. Intel предоставляет гарантию для SSD 520 пять лет при 20ГБ записи в день. LSI Nytro MegaRAID применяет производительные eMLC SSD. Поэтому и имеет явные преимущества перед Intel 520: 2-3 кратный отрыв по IOPS'ам и латентности.

 

Заключение

Контроллер LSI Nytro MegaRAID 8110-4i (как и другие контроллеры данного типа) — продуманное и функциональное решение, способное поднять производительность дисковой подсистемы при умеренной для SSD-кэша нагрузке. Из — за существенного снижения цен Nytro MegaRAID вполне может составить конкуренцию раздельным решениям LSI MegaRAID + CacheCade 2.0 (или Adaptec серии 7Q) + SSD корпоративного класса.

Недостатки:

Встроенные SSD-модули не подходят для создания обычных томов.

У Вас не получится использовать дополнительные SSD в качестве кэша.

 Достоинства:

Контроллер укомплектован и готов к использованию.

Соотношение цены и производительности впечатляет.

В процессе работы контроллер не требует активации дополнительных лицензий.

Нет необходимости выбирать SSD и заранее предусматривать специальные отсеки для их установки.

Если Вам необходимо получить квалифицированную консультацию или Вас заинтересовала возможность приобретения покупки Nytro MegaRAID и других продуктов LSI, Вы можете обратиться в нашу компанию.