storage class memory что это
Технологии хранения данных: Storage Class Memory
За все время существования теории вычислительных машин и систем справедливым оставалось одно утверждение: процессоры гораздо более производительные и дорогие, чем устройства хранения данных. Тот факт, что CPU способен обслуживать множество запоминающих устройств разом, оказал значительное влияние на разработку аппаратного и программного обеспечения для систем самых разных размеров.
Действительно, в таких книгах, как «Вычислительные системы: взгляд программиста» («Computer Systems: A Programmer’s Perspective») Рандала Брайанта (Randal Bryant) и Дэвида О’Халларона (David O’Hallaron) делается упор на иерархию памяти и её влияние на разрабатываемые программы.
Однако дата-центрам и разработчикам ПО нужно готовиться к грядущим изменениям. Появление высокоскоростных энергонезависимых устройств хранения информации, обычно называемых аббревиатурой SCM (Storage Class Memories), пошатнет привычные устои. SCM постепенно набирают популярность, однако для работы с ними требуется выделять один или сразу несколько многоядерных процессоров, чтобы совладать с их производительностью (сотни тысяч IOPS).
Скорость работы долговременных хранилищ всегда была сильно ниже, чем скорость работы CPU, и эта разница только увеличилась за период с начала 90-х до начала 00-х годов. Процессоры стабильно улучшались и совершенствовались, а производительность механических дисков оставалась неизменной – развитию препятствовала физика. На протяжении десятилетий, чтобы сократить этот разрыв и избежать простоев процессора, придумывались различные схемы и методики.
Одним из способов является кэширование. В современных системах кэширование выполняется на всех системных уровнях: процессор кэширует RAM, операционные системы кэшируют целые дисковые секторы и так далее.
Другие способы позволяют в буквальном смысле разменять процессорное время на производительность. Например, сжатие и дедупликация уменьшают размеры обрабатываемых данных, и получается, что «быстрая» память как бы увеличивается в размерах, но за это приходится платить вычислительными ресурсами. Сжатие остается основной техникой, используемой в системах хранения корпоративного уровня, а также средах, работающих с большими данными. Такие инструменты, как Apache Parquet реорганизуют и сжимают данные на дисках, чтобы уменьшить время чтения.
От всех этих недостатков освобождены флеш-хранилища. Эта технология не нова, а SAS и SATA SSD можно приобрести уже лет десять как. Однако SCM переводит флеш-устройства на новый уровень: флеш-память подключается к PCIe-шине, вместо медленных шин SAS и SATA, что увеличивает скорость обмена данными.
Более того, зарождаются такие SCM, как например NVDIMM. NVDIMM производится в виде DIMM-модулей и, по сути, представляет собой гибридную память, объединяющую оперативную память DRAM и флеш-память NAND.
В обычных условиях модули NVDIMMвыполняют функцию обычной DRAM-памяти, но в случае сбоя или выключения системы данные из DRAMперемещаются в энергонезависимую флеш-память, где могут храниться неограниченно долго. Когда компьютер возобновляет работу, данные копируются обратно. Такой подход позволяет ускорить процесс запуска машины и снизить вероятность потери важных данных.
Чтобы максимизировать эффективность использования дорогих SCM, системы хранения должны постоянно обеспечивать их работой, то есть держать их занятыми. Получается, что мы не можем просто заменить магнитные диски – нам придется перерабатывать аппаратные системы и программное обеспечение.
К этому вопросу нужно подходить осторожно, поскольку слишком большое количество флеш-устройств приведет к значительным затратам денежных средств, а слишком малое их количество – к сложностям обращения к ним. Найти правильный баланс не так уж и просто.
Также стоит помнить и о временном разделении ресурсов. На протяжении многих лет для взаимодействия жесткого диска и процессора использовались прерывания. Для ядра, работающего на частотах, измеряемых гигагерцами, не составляет труда обслужить прерывание каждые несколько секунд. Одно ядро может управлять десятками или сотнями дисков, не рискуя «захлебнуться». Однако с появлением низколатентных устройств хранения этот подход больше неприменим.
Эта модель должна серьезно измениться. Серьезный прирост в производительности получили не только устройства хранения данных – ускорение работы сетевых устройств также имело место: сначала до 10G, потом до 40G, затем до 100G. Может удастся «подсмотреть» решение в этой сфере?
Однозначного ответа дать не получится, поскольку слишком велика разница в ускорении: сети стали быстрее в тысячу раз, а запоминающие устройства – в миллион. Более того, при работе с памятью часто приходится поддерживать сложные функции сжатия, кодирования и дедупликации, потому методики оптимизации, применяемые для работы с пакетами, скорее всего, не подойдут.
В сетях для снижения латентности применяется способ, когда всеми пакетами управляет приложение в обход ядра. Однако между сетями и устройствами хранения данных есть разница: сетевые потоки независимы и могут обрабатываться параллельно на нескольких ядрах, в случае ЗУ все запросы придется координировать.
Очевидно, что это непрактично. Один контроллер неспособен управлять доступом к огромному количеству SCM-устройств одновременно. Аппаратное обеспечение будет использоваться в пол силы, потому нужен иной подход.
Требования нагрузки к емкости и производительности не совпадают с аппаратными возможностями, что ведет к ограничениям в использовании высокоскоростных дисков. Например, данные объемом 10 ТБ с ожидаемой нагрузкой в 500k IOPS задействуют лишь половину возможностей дисков, если будут храниться на SCM-устройствах объемом в 1ТБ, способных обрабатывать до 100k IOPS каждый.
Однако нужно помнить о том, что большая часть данных не является «горячей», поэтому неэффективно хранить их все на высокоскоростных флеш-устройствах. Во многих случаях нагрузка согласуется с распределением Парето: 80% всех обращений адресовано 20% данных.
Гибридная система с различными уровнями хранилищ (с различными характеристиками производительности) является хорошим решением для смешения «холодных» и «горячих» данных, когда SCM-устройства выступают в качестве кэша для медленных дисков. Но нужно помнить, что шаблоны доступа со временем изменяются – надо своевременно на это реагировать и перемещать данные.
В грамотно построенных системах такой способ позволяет эффективно использовать аппаратное обеспечение без снижения производительности. Однако системы должны иметь гибкие политики, которые бы запрещали активным, но низкоприоритетным задачам вмешиваться в работу бизнес-критических приложений. Грамотная реализация и отладка этих механизмов – это совсем не тривиальная задача.
Так что же нас ждет в будущем?
Как было сказано выше, уже есть разработанные SCM-устройства. PCIe SSD – наиболее известный тип SCM и уже оказал значительное влияние на инфраструктуру дата-центров. Вторым примером может служить NVDIMM, которая имеет характеристики производительности, сравнимые с DRAM. Такие устройства уже доступны сегодня и продолжают развиваться.
SCM-технологиями занимается компания HP. Их проект под названием The Machine не что иное, как попытка разработать новую компьютерную архитектуру на мемристорах. Существование мемристора – четвёртого базового компонента электрических схем было предсказано в 1971 году Леоном Чуа (Leon O. Chua), однако лабораторный образец запоминающего элемента был создан только в 2008 году коллективом учёных во главе со Стэнли Уильямсом (Stanley Williams) в исследовательской лаборатории фирмы Hewlett-Packard.
Этот пассивный элемент способен запоминать собственное состояние. Можно сказать, что это резистор, сопротивление которого изменяется в зависимости от протекающего через него заряда. Когда элемент обесточивают, измененное сопротивление сохраняется.
В настоящее время ведутся разработки коммерческой реализации мемристора. Как только это произойдет, появится возможность для создания новых видов памяти, способных помимо хранения данных еще и обрабатывать их.
Что касается The Machine, то в ней нет границы между оперативной памятью и постоянным хранилищем данных. Вся память представляет собой оперативную. Это нивелирует проблемы, связанные с передачей информации между устройствами, работающими с разной скоростью.
Думается, что SCM-технологии призваны побороть неэффективность, возникающую при «общении» медленной и быстрой памяти. Тем интереснее наблюдать за происходящим: как новые разработки затронут все уровни инфраструктурного стека. Все еще только начинается.
Чтобы узнать экспертное мнение по данной теме, мы обратились за комментариями к российскому эксперту и привели мнение западных специалистов.
Комментирует руководитель отдела развития проекта 1cloud.ru Сергей Белкин:
«Разные типы дисков могут требоваться для решения различных задач. Использование дисков различных типов может быть оправданным при создании многоуровневых систем хранения данных – данные, которые часто используются приложениями, можно размещать на более быстрых дисках.
К примеру, если существует сервис, который активно работает с базой данных, то ее имеет смысл перенести на отдельный SSD-диск – это поможет оптимизировать скорость ее работы. При этом, саму операционную систему логично оставить на более медленных дисках. Одновременное использование различных типов дисков позволяет сделать общее инфраструктурное решение более гибким, эффективным и оптимизированным по цене.
Что касается новых разработок в сфере твердотельных накопителей, то в прошлом году компании Intel и Micron анонсировали 3D XPoint (произносится как «кросспойнт») – безтранзисторную трехмерную архитектуру и заявили, что срок эксплуатации и скорость работы таких ЗУ превысит возможности памяти NAND в 1000 раз. Если это решение станет коммерческим, то, я думаю, оно с большой долей вероятности будет использоваться в центрах обработки данных для хранения часто запрашиваемых «горячих» данных»
Мнение Джорджа Крампа (George Crump) из Storage Switzerland:
«SCM – это новый тип хранилища, которое может стать промежуточным звеном между высокопроизводительной DRAM и дешевыми HDD. SCM-память способна обеспечить скорость считывания, близкую к скорости чтения DRAM, и скорость записи, во много раз превышающую возможности жестких дисков.
Это стало возможным благодаря интерфейсу PCIe, через который флеш-хранилище подключается напрямую к процессору. Однако не любой SSD-накопитель, подключенный по PCIe, является SCM-устройством.
Некоторые поставщики в погоне за производительностью устанавливают несколько контроллеров на свои карты, каждый из которых отвечает за свою область флеш-памяти. На первый взгляд, это кажется здравой идеей, однако в этом случае у контроллера нет возможности записывать или читать блоки, которые находятся за пределами его компетенции.
Если блок большой – это, наоборот, может негативно повлиять на скорость работы. Эта и другие проблемы с производительностью, возникающие из-за неэффективности существующих интерфейсов, тормозят процесс адаптации технологии».
Мнение Скотта Дэвиса (Scott Davis), технического директора Infinio:
«SCM-технологии станут доступны для коммерческого использования не раньше конца 2016 года.
Скорее всего, это будет ранняя реализация технологии 3D XPoint от Intel. HP и SanDisk также анонсировали, что работают над совместным проектом, однако их продукт, вероятно, выйдет на рынок не раньше начала 2017 года.
Стоит учитывать, что, как в случае со многими новыми технологиями, SCM-устройства первое время будут обладать ограниченной областью применимости. Препятствием для выхода на широкий рынок станет стоимость устройств».
Сравнение SSD на базе технологии NAND и Storage Class Memory
Недавно на корпоративный рынок пришел новый стандарт памяти — Storage Class Memory на базе технологии 3D Xpoint. Давайте разберемся, в чем его отличие от традиционного SSD NAND и как с его появлением изменилось позиционирование накопителей.
Что такое SSD NAND?
Основной продукт на базе технологии NAND, с которым сталкиваются потребители — это флеш память, использующаяся в обычных USB флешках, картах памяти для фотоаппаратов и в прочей потребительской электронике.
На этой же архитектуре построены классические твердотельные накопители — ведь, по сути, диск SSD — это просто набор из нескольких флешек, объединенных в RAID.
Как развивалась технология NAND?
Первые твердотельные накопители SSD строились на базе технологии SLC, которая позволяла хранить 1 бит данных в ячейке памяти.
Затем технология SSD развивалась, и на рынок последовательно выходили MLC диски с хранением 2 битов в ячейке памяти, TLC с тремя битами, и, наконец, QLC с четырьмя битами данных в одной ячейке памяти.
Почему SSD все время дешевеют?
На цену дисков влияют два фактора:
1) технология постоянно развивается и позволяет хранить больше бит данных в одной ячейке памяти, т.е. увеличивается плотность хранения информации;
2) объем производства SSD непрерывно растет, что снижает стоимость производства каждой единицы товара.
Современные реализации SSD активно приближаются по цене к HDD со скоростью вращения 10К, и полностью вытеснили 15К диски в корпоративном сегменте.
Появление Storage Class Memory
Несколько лет назад объединенное совместное предприятие корпораций Intel и Micron предложили альтернативу NAND — технологию 3D XPoint (читается как «3D кросспойнт»). Коммерческая реализация продуктов на этом стандарте памяти вышла под названиями Intel Optane и Micron QuantX.
В чем преимущества Storage Class Memory?
Появление продуктов на базе 3D XPoint совершило революцию в твердотельных накопителях — появился тип памяти, который по скорости находится между оперативной памятью DRAM и SSD NAND.
Где применяется Storage Class Memory?
Продукты на новом типе памяти вытесняют традиционные области применения NAND SSD, заняв его сегмент в корпоративных решениях, требующих экстремальной производительности.
Помимо различных форм-факторов, доступных в корпоративе для SSD (2.5″, 3.5″, M.2, M.3, PCIe) продукты Storage Class Memory могут устанавливаться в слоты DIMM, значительно расширяя объем используемой оперативной памяти, когда это требуется. С одной стороны, 3D XPoint на два порядка медленнее оперативной памяти, с другой — она энергонезависимая и может предоставлять большой объем.
Какой тип дисков выбрать?
Несмотря на то, что продукты на базе памяти 3D XPoint потеснили рынок в сегменте топовых высокопроизводительных решений, SSD и HDD по-прежнему востребованы в своих сегментах с небольшими изменениями позиционирования.
Революция флэш-памяти
Революция флэш-памяти… Она продолжается уже пять лет. Причем все только начинается. Столь радикальных изменений в технологиях хранения, какие происходят сегодня, еще не было. Практически все ведущие вендоры СХД за последние годы представили собственные системы хранения класса AFA (All-Flash Array), целиком построенные на флэш-памяти. Твердотельные накопители широко применяются и в серверах среднего и старшего класса, значительно повышая производительность систем благодаря низким задержкам и высокому быстродействию твердотельных накопителей SSD (Solid State Drive) в IOPS (операциях ввода-вывода в секунду).
Использование SSD заметно уменьшает время загрузки операционной системы сервера, запуска приложений и виртуальных машин. Накопители SSD также позволили значительно ускорить работу чувствительных к задержке приложений, таких как транзакционные базы данных. В России такие системы успешно внедряются, например, в страховых компаниях и банках.
Мировой рынок накопителей SSD
По прогнозу Transparency Market Research (TMR), мировой рынок накопителей SSD всех типов до 2022 года будет расти ежегодно более чем на 40% и достигнет 229,4 млрд. долларов. Наиболее высокими темпами будет развиваться сегмент накопителей SSD корпоративного класса – среднегодовые темпы роста составят 76,3%. В числе производителей SSD разного класса — Lite-on Technology, Kingston Technology, OCZ Storage Solutions, Intel, Western Digital.
Доли вендоров на мировом рынке SSD в единицах продукции на второй квартал 2015 года (по данным TrendFocus ).
Изменение долей рынка производителей флэш-памяти NAND за последние шесть лет.
Поставки накопителей SSD на мировой рынок ведущими вендорами в млн. штук (данные TrendFocus).
Значительное влияние на рынок SSD оказала память 3D NAND, применяемая в настоящее время в продуктах Samsung серии 850 и 950. Другие вендоры активно работают в данном направлении и в следующем году наладят массовое производство флэш-памяти 3D — MLC и TLC. По оценкам SMI, уже в 2019 году вся флэш-память будет производиться по технологии 3D.
В первом квартале 2016 года поставки SSD в мире выросли на 32,7% год к году (данные TrendFocus). Их общая емкость составила порядка 10 экзабайт, на 77% превысив показатели годовалой давности. А средняя емкость одного накопителя увеличилась на 33%.
Доли производителей накопителей SSD на мировом рынке за последние кварталы (данные TrendFocus).
Устройства на основе памяти NAND активно вытесняют традиционные накопители на жестких дисках (HDD). Продажи последних за тот же период упали на 20%. Поставки флэш-накопителей корпоративного класса увеличились в первом квартале на 69%. В мире было продано примерно 4 млн. таких устройств.
Поставки продуктов SSD на мировой рынок за последние кварталы по видам применения – клиентские (синий) и корпоративные (красный) в млн. штук (данные TrendFocus).
Samsung, Intel и HGST – основные поставщики накопителей SSD корпоративного класса. Их совокупная доля рынка составляет 80%. Samsung также остается лидером мирового рынка SSD всех типов с долей более 40%.
Доли производителей SSD на мировом рынке (данные TrendFocus).
В системах для ответственных приложений продолжается переход с дисковых накопителей 10K/15K HDD на SSD, но, поскольку один накопитель SSD корпоративного класса заменяет по производительности несколько HDD, поставки флэш-памяти с интерфейсами PCIe и SAS невелики. В первом квартале в мере было продано 164 тыс. корпоративных SSD PCIe и 590 тыс. SSD SAS. Продажи SSD с интерфейсом SATA за тот же период составили 2,95 млн. устройств.
Поставки SSD корпоративного класса по типам интерфейсов (данные Trendfocus). Поставки устройств с интерфейсами PCIe и SAS растут, но довольно низкими темпами.
Повышение производительности SSD за счет перехода на форм-фактор NVMe и новые контроллеры способствовало внедрению флэш-памяти в высокопроизводительных системах, где она продолжает вытеснять традиционные накопители на жестких дисках.
Хотя цены на твердотельные накопители постепенно падают, стоимость хранения гигабайта данных на HDD пока еще значительно ниже. Но с появлением памяти 3D NAND цены на флэш-память стали быстро снижаться, и можно ожидать, что рынок корпоративных HDD, применяемых для хранения основных рабочих данных, начнет сокращаться.
По сравнению с жесткими дисками накопители SSD имеют намного более низкую задержку, в 1000 раз лучшую производительность в IOPS и в три-пять раз более высокую пропускную способность. В результате SSD получают все шансы заменить HDD в серверах уже в этом году. А в 2017 году, по прогнозу Gartner, объем продаж накопителей SSD в мире превысит продажи HDD в денежном выражении.
По прогнозу аналитиков Gartner, в 2017 году мировые продажи накопителей SSD корпоративного класса опередят продажи HDD. В ближайшие три года объем продаж продуктов SSD в корпоративном сегменте (в денежном выражении) будет расти в среднем на 20% в год, в то время как продажи HDD – лишь на 4%.
Технологии флэш-памяти корпоративного класса быстро развиваются, появляются новые форм-факторы накопителей, совершенствуются интерфейсы. Серверные SSD можно разделить на два основных больших сегмента: устройства NVMe с интерфейсом PCIe для самых требовательных задач и накопители SATA для остальных нагрузок.
Например, Dell применяет в новейших моделях четырехсокетных серверов PowerEdge накопители Express Flash NVMe PCIe SSD. По данным вендора, они на порядок превосходят по производительности ввода-вывода «традиционные» SSD.
Форм-факторы корпоративных накопителей SSD
Серверные флэш-накопители выпускаются в разнообразных форм-факторах:
Solid-State Drive (SSD): аналогичен традиционному HDD. Наиболее распространены SSD 3,5″, 2,5″ и 1,8″. Толщина накопителей может быть разной – от соответствующей HDD до 5 мм. Обычно они имеют интерфейсы SATA, SAS или NVMe. Так что именовать все флэш-накопители «SSD» формально неверно, но для простоты мы не следуем этому правилу.
Add-in card (AIC): типовая дополнительная плата, вставляемая в слот PCIe. Такие платы могут быть разных размеров: полной или половинной высоты и ширины, полной или половинной длины и низкопрофильные.
M.2: плата с флэш-памятью, устанавливаемая внутри сервера. Имеет ширину 22 мм и длину от 30 до 110 мм. Может устанавливаться в специальные слоты PCIe или SATA. Микросхемы флэш-памяти могут располагаться с одной стороны или с двух сторон платы. Потребляет такой накопитель меньше устройств SSD или AIC. Первоначально шина M.2 разрабатывалась как более скоростная и компактная замена mSATA.
mSATA: аналогичен форм-фактору M.2, но создан для портативных устройств, а не для серверов.
Disk on Module (DOM): маленький модуль на материнской плате. Обычно имеет небольшую емкость, достаточную для загрузки системы или для встроенных приложений.
NVDIMM (non-volatile DIMM): этот форм-фактор предназначен для установки твердотельного накопителя в разъем DIMM на шине памяти и содержит некоторое количество энергозависимой памяти DRAM и энергонезависимую NVDIMM. Накопители такого форм-фактора (Storage Class Memory) работают со скоростью оперативной памяти, то есть быстрее, чем устанавливаемые на шину PCIe, но требуют специальной поддержки на уровне материнской платы и BIOS/UEFI, чтобы система могла распознать разные типы памяти в DIMM.
Модуль NVDIMM-N содержит DRAM и NVM, но система видит только DRAM — стандартный RDIMM с характерными для DRAM емкостью и задержкой. К NVM сервер не обращается: эта память используется для резервирования DRAM и имеет как минимум такую же емкость как DRAM. Таким образом, хранящиеся в DIMM данные защищены от отказов питания: для этого используется специальный конденсатор, емкости которого достаточно, чтобы при отказе питания переписать данные в энергонезависимую память. В остальном NVDIMM-N ведет себя как обычный модуль DRAM. NVDIMM-N имеет также другое название — NVRAM.
Еще один тип модулей, NVDIMM-F, содержит только NVM (без DRAM). Накопитель NVM имеет емкость типовых SSD и поддерживает блочный доступ, но задержка у него меньше, чем у других SSD – обычно несколько микросекунд.
Третий тип, NVDIMM-P, включает DRAM и NVM, объединяя в одном модуле функции NVDIMM-N и NVDIMM-F. Одна область флэш-памяти в нем используется для блочного хранения, другая – для резервирования DRAM.
Наряду с форм-факторами флэш-накопители отличает также разнообразие интерфейсов.
Интерфейсы и протоколы флэш-накопителей
Во флэш-накопителях корпоративного класса применяются следующие интерфейсы:
SATA (Serial ATA): обычно используется в недорогих продуктах форм-факторов SSD, M.2, DOM и mSATA. Это интерфейс «точка-точка» со скоростью до 6 Гбит/с.
SAS (Serial Attached SCSI): применяется, как правило, в устройствах SSD и HDD корпоративного класса. Поддерживает до 65535 устройств на соединение. Он получил распространение в массивах корпоративного класса, JBOD и серверах. В настоящее время скорость SAS — 12 Гбит/с, в 2018-2019 годах, после выпуска PCIe 4.0 ожидается ее удвоение.
U.2 (ранее SFF-8639): поддерживается в PCIe/NVMe SSD. U.2 обратно совместим с SAS, то есть к нему можно подключать устройства NVMe, SAS и SATA.
PCI Express (PCIe): поддерживает устройства форм-факторов AIC и M.2. У AIC 4 линии, а не 16, как у PCIe. Соответственно скорость – 8 Гбит/с. Устройства M.2 обычно задействуют 2 или 4 линии PCIe. Интерфейс PCIe 2.0 x2 имеет теоретическую пропускную способность 8 Гбит/с (1 Гбайт/с), у PCIe 2.0 x4 она составляет 16 Гбит/с (2 Гбайта/с), у PCIe 3.0 x4 32 Гбит/с (4 Гбайт/с), однако реальная пропускная способность примерно на 20% ниже.
DIMM: теперь используется не только в качестве интерфейса памяти, но и в продуктах хранения данных. Модули памяти DDR4 поддерживают скорость до 19,2 Гбайт/с, а задержка составляет десятки наносекунд.
Различаются флэш-накопители и поддерживаемыми протоколами. Протокол – набор команд для конкретного интерфейса. Так интерфейс SATA поддерживает протокол SATA, SAS – SAS (или SCSI). Относительно новый протокол NVMe разработан специально для энергонезависимой памяти. Для выполнения запроса ввода-вывода он требует меньше команд процессора. NVMe также использует распараллеливание операций в многоядерных процессорах. Поддерживается 64К команд на очередь и 64К очередей, то есть возможно значительное число ожидающих операций ввода-вывода.
Одна из целей разработки NVMe – значительное сокращение задержки. В настоящее время NVMe поддерживается накопителями любого форм-фактора с интерфейсом PCIe. Однако устройства NVMe достаточно дороги.
В планах развития NVMe – протокол NVMe over Fabrics, которых позволит NVMe работать на больших расстояниях, используя фабрики RDMA или Fibre Channel.
SSD в дата-центрах: бездисковый ЦОД
Сегодня SSD нередко применяют в сочетании с HDD для кэширования данных при чтении или чтении/записи. Этот метод хорошо работает для повышения производительности приложений в случае внешних флэш-массивов, но еще лучше – когда флэш-память находится в самом сервере, ближе к процессору.
Флэш-накопители отвечают таким тенденциям отрасли, как обработка массивов данных в памяти (in-memory), виртуализация и облачные сервисы, появляются новые возможности для оптимизации хранения данных. И в результате полностью меняется экономика ЦОД.
В ряде случаев компаниям за счет внедрения флэш-массивов удается на треть снизить TCO на 33%, многократно увеличить производительность инфраструктуры хранения данных, почти вдвое сократить потребление электроэнергии, более чем на порядок повысить производительность приложений и на 40% уменьшить время отклика при работе с ними, более чем наполовину снизить стоимость поддержки инфраструктуры хранения данных. Владельцам коммерческих ЦОД данные технологии позволяют при заключении соглашений SLA на облачные сервисы гарантировать клиентам определенную скорость доступа к СХД (в IOPS).
Семейство твердотельных накопителей Intel для центров данных с интерфейсом SATA пополннео накопителем Intel серии S3610. Intel DC серии S3710 — новое поколение твердотельных накопителей для центров обработки данных, оптимизированных для нагрузок как с большим количеством операций записи, так и чтения.
Твердотельный накопитель Intel серии DC S3610 обеспечивает повышение скорость чтения/записи до 550/5201 Мбайт/с, а скорость чтения/записи блоками по 4 К — до 84 000/28 0001 IOPS. Типичное время задержки в приложениях составляет 55 мкс, максимальные задержки операций чтения — 500 мкс на протяжении 99,9% времени. Энергопотребление в активном состоянии — менее 6,8 Вт.
Флэш-накопители оказывают влияние и на веб-хостинг, облачные вычисления. Более того, объединенные в RAID-массив они позволяют получить производительность в облаке, которая не может быть достигнута на домашнем ПК. Иногда клиентам предоставляется возможность самостоятельно оценить, что дает использование SSD корпоративного уровня для виртуальных серверов.
Ведущие провайдеры все чаще используют SSD в серверах, которые служат платформой для виртуальных серверов клиентов (VPS), на которых обычно и размещаются веб-сайты. Такой вариант хостинга стоит дороже, но оптимален для высоконагруженных сайтов (с большим количеством операций ввода-вывода), например, сайтов, где работают базы данных, размещаются блоги или форумы, сайтов электронной коммерции и пр. Однако у него есть свои сложности.
Флэш-память в серверах: емкость и ограничения
Емкость твердотельных накопителей для серверов стремительно растет и скоро может превзойти емкость HDD. Например, Samsung выпустила SSD в форм-факторе 2,5″ емкостью 15 Тбайт. С увеличение плотности флэш-памяти NAND накопители становятся все более компактными. Так твердотельный накопитель форм-фактора M.2 можно использовать как очень быстрый загрузочный носитель, занимающий в сервере намного меньше места, чем 2,5″ HDD.
Между тем, у серверных SSD есть ограничения. И это не только подчас запредельная цена и превышающая показатели HDD стоимость хранения гигабайта данных. Такую емкость достаточно трудно сделать общедоступной, разделяемой между вычислительными узлами системы, хотя некоторые ОС и гипервизоры позволяют создавать такие кластеры, например, VMware VSAN 6.2 или Microsoft Server 2016 с поддержкой Storage Spaces Direct. Такие программные средства позволяют строить высокодоступные системы со встроенными накопителями SATA, SAS или NVMe, причем поддерживают сжатие, дедупликацию данных и QoS.
Оснащенные SSD серверы позволяют эффективно решать такие задачи как редактирование видео, поиск в крупных базах данных, обработка транзакций, дают возможность устранить узкие места в средах виртуализации и облачных вычислениях.
Современные SSD достаточно долговечны и способны выдержать пять лет интенсивного использования, то есть вполне вписываются в жизненный цикл сервера.
По сравнению с жесткими дисками накопители SSD имеют намного более низкую задержку, в 1000 раз лучшую производительность в IOPS и в три-пять раз более высокую пропускную способность. В результате SSD получают все шансы заменить HDD в серверах уже в этом году. А в 2017 году, по прогнозу Gartner, объем продаж SSD в мире превысит продажи HDD в денежном выражении.
Между тем при использовании SSD большинство контроллеров RAID в режиме RAID 5 становятся узким местом в системе, поэтому для защиты данных рекомендуют использовать RAID 1 или 10 в программной реализации. А для задач с интенсивной записью (сбор данных от датчиков, запись видео и пр.) могут потребоваться SSD с увеличенным сроком службы – их выпускают несколько вендоров.
Флэш-память в СХД: что это дает
Показательны также примеры использования флэш-памяти нового поколения ведущими вендорами в своих флагманских СХД.
HPE продолжает работать над оптимизацией своей флэш-системы 3PAR. Для этих целей используются новейшее поколение флэш-памяти 3D NAND в накопителях емкостью 7.68 и 15,36 Тбайт. Последний более чем в 15 раз превосходит HDD 1,8″ 10K при в 10 раз меньшей задержке. Усовершенствованная технология HPE Adaptive Sparing динамически присваивая не только резервную, но и неиспользуемую емкость, что помогает процессу внутренней «сборки мусора» накопителя при больших емкостях. Чтобы с увеличением общей емкости системы узким местом не стал интерфейс доступа к данным, используется технология Express Layout, позволяющая обоим контроллерам в паре узлов параллельно работать с SSD через интерфейс SAS 12 Гбит/c.
Флэш-память становится массовым продуктом, «бездисковый» ЦОД, целиком построенный на флэш-накопителях – уже реальность, на подходе новые накопители SSD и интерфейсы, активно развиваются направления Storage Class Memory и NVMe.
Есть также целый ряд приложений, которым не нужны высокие показатели IOPS, но требуется очень малая и предсказуемая задержка. Новое поколение накопителей как нельзя лучше подходит для подобных задач.
В СХД Dell SC9000 используется новая серверная платформа Dell PowerEdge с четырьмя 8-ядерными процессорами 3,2 ГГц и оперативной памятью емкостью до 512 Гбайт. Емкость флэш-массива составляет до 46 Тбайт на 1U (без сжатия данных). Такой плотности удалось добиться благодаря применению в СХД трехуровневой флэш-памяти Samsung TLC 3D NAND. Чтобы увеличить срок службы 3D NAND, инженеры Dell задействовали механизм тиринга — перемещения данных между уровнями хранения. Первый уровень представлен флэш-памятью SLC или eMLC, выдерживающей большое количество циклов перезаписи, второй — памятью 3D NAND, в которую записываются относительно редко используемые данные, причем в сжатом виде. В некоторых моделях есть и третий уровень — HDD. Для еще более экономного использования емкости хранения можно задействовать механизмы дедупликации. Конфигурацию системы (соотношение емкости разных видов флэш-памяти и жестких дисков) можно подбирать с учетом характера нагрузки.
Перспективы флэш-памяти
С внедрением технологии 3D NAND значительно выросла плотность флэш-памяти. Ближайшее будущее (2017 год) – появление на рынке флэш-памяти QLC с четырьмя битами на ячейку стоимостью 30 долларов за терабайт емкости. Емкость SSD превысит емкость дисковых накопителей, которая приближается к физическому пределу. Уже анонсированы SSD емкостью 16 Тбайт, и к 2020 году появятся флэш-память емкостью 40 Тбайт на устройство.
В числе новых разработок — память X-Point от Intel/Micron, которая поспорит по скорости с накопителями NVMe, но потребует изменений в системном программном обеспечении. Ее массовое внедрение может начаться в 2017 году.
Samsung анонсировала четвертое поколение 3D NAND – с 64 слоями вместо 48 и увеличенной до 800 Мбит/м скоростью интерфейса. Емкость накопителя размером 11,5х13 мм на памяти TLC составляет 1 Тбайт. На смену прежнему продукту 16TB PM1633a SAS SSD приходит новый накопитель 32TB PM1643, а карта PM1725 PCIe дополнена моделью PM1735 с интерфейсом PCIe 4×8.
Lenovo вместе с партнерами, такими как Seagate, NxGn Data и Amphenol, ведет разработку твердотельного накопителя для серверов и систем хранения (Project Spark). Накопитель Lenovo отличается небольшими размерами и предназначен для установки в стоечные серверы 1U, поддерживает горячую замену. Одна из версий этого накопителя имеет емкость 48 Тбайт и занимает место двух 2,5-дюймовых накопителей.
Уже сегодня твердотельные накопители для ЦОД повышают эффективность обработки данных, предлагает премиум-качество и снижают затраты на электроэнергию. Новые разработки открывают перспективы, которые сейчас даже трудно себе представить, и могут привести к радикальным изменениям в архитектуре вычислительных систем и дата-центров.