synology hot spare что это
Synology hot spare что это
Добрый день! Уважаемые читатели и гости одного из крупнейших IT блогов в рунете Pyatilistnik.org. В прошлый раз мы с вами рассмотрели ошибку «windows не удается получить доступ к указанному устройству». Идем дальше и поговорим на тему систем хранения данных и RAID массивов, а именно разберем вопрос чем отличаются Global Hot Spare и Dedicated Hot Spare при добавлении диска горячей замены. Уверен, что многие знают эти отличия, но для новичков это будет полезно.
Что такое Global Hot Spare и Dedicated Hot Spare
Если вы хоть раз настраивали сервер, то наверняка задавались вопросом его отказоустойчивости, которая может быть на разных уровнях, например два блока питания или дисковая подсистема, которая для сервера очень важна. Потеря данных просто неприемлема в современной модели бизнеса. Для этого существует технология RAID, где за счет избыточности достигается некий баланс безопасности и денег.
Существует много видов RAID массивов и у каждого свое количество дисков которое может выйти, прежде чем весь массив развалится. Для дополнительной защиты принято выделять один или несколько запасных дисков горячей замены, которые должны успеть подменить выходящий из строя диск, до момента его замены. Существует два вида дисков горячей замены, это Global Hot Spare и Dedicated Hot Spare.
Из схемы видно, что выделенные диски будут являться резервными только для группы A и B, а вот глобальный Hot Spare для всех массивов.
Что применяется первым из Global Hot Spare и Dedicated Hot Spare
Предположим, что у вас есть два виртуальных диска, для каждого из них есть по одному Dedicated Hot Spare и два общих Global Hot Spare, если выходит из строя один из дисков виртуального массива, вопрос, куда буду переноситься данные? Правильный ответ:
Как начинается процесс восстановления поврежденного диска RAID
Если у вас в системе есть назначенные Global Hot Spare и Dedicated Hot Spare и они полностью отвечает требованиям восстановления поврежденного диска RAID, восстановление начнется автоматически. Hot Spare диски должны быть запланированы до начала восстановления и должны соответствовать всем требованиям для виртуального диска. Если вы удалите виртуальный диск, то Dedicated Hot Spare станет Global Hot Spare.
shared hotspare для mdadm
(сомневался сюда писать или в системное администрирование)
Я обнаружил, что в интернете очень мало (и не очень внятно) объяснено, как mdadm работает с общими (глобальными) дисками горячей подмены. В заметке я опишу, что это такое, и объясню, почему shared hotspare не отмечены в /proc/mdstat как общие, а вместо этого выглядят как вполне себе локальные.
Что такое hot-spare?
(Я пишу не для новичков, так что галопом по европам)
Если массив обладает избыточностью и один из его дисков вышел из строя, то существует возможность восстановить избыточную информацию на резервный диск. Если диск добавляется в массив руками (админу пришло письмо о сбое, он прочитал письмо, проснулся/оделся, приехал на работу, вынул сбойный диск, вставил запасной, добавил его в массив, дал команду на восстановление избыточности), то такой диск называется cold-spare. Просто «запасной диск».
Если же в сервере есть простаивающий диск, на который осуществляется восстановление избыточности сразу после сбоя любого из дисков массива, то такой диск называется hot-spare. Главное достоинство — оно отребилдится (восстановит избыточность) даже если админ письмо прозевал или не успел вовремя приехать.
Локальные hot-spare
Обычно запасной диск добавляется для массива, то есть если в массиве сбой, то его резервный диск и используется. Если сбой происходит в соседнем массиве, то hot-spare из «чужого» массива не используется.
Это на самом деле логично — если у нас стоит выбор — использовать hot-spare для восстановления избыточности системного раздела или раздела с данными, то надо восстанавливать избыточность раздела с данными. А если системный раздел уже «занял» hot-spare, то будет бяка. Более того, некоторые производители предлагают 1EE hotspare, в которой резервный диск используется и для хранения данных (пустое место «размазано» между дисками массива, обеспечивая возможность быстрого ребилда и увеличивая производительность в нормальном режиме).
Глобальные (общие) hot-spare
Однако, бывает так, что массивов с данными много. И им всем нужны hot-spare диски. Но дисков жалко. И тогда возникает желание иметь «общий» диск, который может быть использован для любого из массивов (а ещё лучше 2-3 таких диска).
Это было вступление. Теперь переходим к сути вопроса.
linux md
mdadm (ядерный модуль в DM-стеке) не поддерживает shared hot-spare. Диск может быть добавлен как hot-spare только в конкретный массив.
Но mdadm поддерживает!
spare-group
Для возможности распределять диски между разными массивами есть понятие spare-group, то есть группа, в пределах которой возможно перекидывание дисков. Таких групп может быть много — и hot-spare переносятся только между ними.
Как легко понять из вышенаписанного про mdadm/linux md, в /proc/mdstat нет и не может быть ничего про spare-group. Потому что это личные мысли и соображения mdadm’а, а ядро про это ни сном, ни духом (файлы-то в /proc создаются модулями ядра. ).
Таким образом, обеспечивать shared hot-spare можно только с с помощью mdadm. Тут два варианта: если группа указана для массива, собирающегося при загрузке (/etc/mdadm/mdadm.conf), то там можно указать hot-spare, примерно так:
ARRAY /dev/md1 level=raid1 num-devices=2 metadata=1.2 spares=1 spare-group=myhostparegroupname name=server:1 UUID=18219495:03fda335:3f1ad1ee:a5f5cd44
devices=/dev/sda,/dev/sdb,/dev/sdc
ARRAY /dev/md2 level=raid1 num-devices=2 metadata=1.2 spare-group=myhostparegroupname name=server:2 UUID=18219495:03fda335:3f1ad1ee:a5f5cd45
devices=/dev/sdd,/dev/sde
Дописано по сравнению с выводом mdadm тут только spare-group. Обратите внимание — во втором массиве НЕТ hot-spare, однако, т.к. группа указана, то в случае сбоя будет использоваться диск из другого массива с той же самой группой. В нашем случае это будет /dev/md1.
Самих групп при этом на одной системе может быть несколько.
Local && global hotspare
А вот тут, увы, йок. Насколько я знаю, mdadm не поддерживает одновременно и локальные (которые будут принадлежать только одному массиву) и общие hotspare. Если есть два массива с одним spare-group, то все hot-spare из одного массива могут быть использованы на благо другого.
Сценарий не такой редкий, как кажется. Вот простенькая топология:
SYS_ARRAY
DATA_ARRAY
2 hot-spare
Логично было бы один hot-spare сделать принадлежащим только DATA_ARRAY, а второй сделать общим, чтобы использовался и как резерв для SYS_ARRAY, и как «второй уровень резерва» для DATA_ARRAY.
Увы, увы, увы, этого нет (если меня разубедят в комментариях, я буду очень рад).
Первое знакомство с Synology DSM 7.0 Beta
Оглавление
В каждом обзоре современных сетевых накопителей мы не забываем напоминать читателям, что эти устройства представляют собой готовые аппаратно-программные решения, и именно вторая часть во многих случаях является более важной для конечного потребителя.
Компания Synology, как один из лидеров данного сегмента рынка, активно развивает прошивки своих устройств и постоянно добавляет в них разные интересные и полезные функции. Однако не всегда новые программные модули можно интегрировать в существующую среду, и тогда компания выпускает «крупные» обновления. При этом цикл разработки новых старших версий состоит из нескольких этапов, в некоторых из которых участвуют и пользователи-энтузиасты. Это позволяет компании получить существенно более широкий отклик и заметно повысить качество продукта.
К выходу бета-версии DSM 7.0 и началу публичного тестирования мы предлагаем небольшой обзор того, что нас ждет в этом обновлении. Но прежде всего напомним, что хотя бета-версии обычно уже достаточно стабильны в работе, использовать их в реальной работе с важными данными строго не рекомендуется.
Данный обзор по понятным причинам будет похож на лоскутное одеяло обзора «по картинкам», когда мы только коротко пройдемся по разным темам в формате описания, не углубляясь в детали. Подобные события обычно сопровождает пресс-релиз, в котором используются такие знакомые английские выражения, как «improve usability, reliability, performance, and scalability». Если попробовать коротко перевести это на русский, то получится «мы снова улучшили всё». Обычно при таких крупных обновлениях компания создает и документ с описанием изменений, а также новых функций. Он и был использован при подготовке данного материала. Но, конечно, в будущем мы обязательно вернемся к этой теме более обстоятельно и на реальных устройствах.
Работа с дисками, томами и блочными устройствами
Первое, на что рекомендуется обратить внимание, является полностью переработанный модуль управления дисками, пулами, томами. На виртуальном DSM его не посмотреть, так что для иллюстраций используем здесь скриншоты от производителя.
Прежде всего, нужно отметить новый дизайн. Пользователям текущей версии придется адаптироваться — изменения здесь достаточно сильные. С другой стороны, управлять дисками и томами действительно может быть удобнее. В частности, для моделей с большим числом отсеков и/или внешними блоками расширения будут показаны реальные схемы по размещению дисков вместо обезличенных прямоугольников разных цветов.
Кроме того, изменилась и схема настройки кеша SSD — его наличие видно сразу в свойствах тома. Для повышения скорости работы с большим числом файлов предусмотрена опция записи метаданных BTRFS на SSD. Дополнительно был ускорен процесс записи данных из кеша чтения-записи на SSD обратно на жесткие диски в случае потери отказоустойчивости у кеширующего тома.
Еще одна полезная функция — явное отображение занимаемого файлами (версиями) пакета Drive пространства на томе. Ранее у пользователей часто возникал вопрос о «пропаже» дискового пространства.
В новой версии диспетчера были добавлены несколько дополнительных возможностей при обслуживании отказоустойчивых пулов. Принудительная штатная операция замены диска в массиве на неиспользуемый/запасной («Replace Drive») позволяет администратору не дожидаться «выпадения» диска из массива. Кроме того, через эту функцию вы можете заменить диски в массиве на имеющие больший объем. Конечно, для этой операции необходимо иметь неиспользуемый слот, так что преимущественно она будет интересна пользователям систем корпоративного уровня. Дома мало кто позволяет себе иметь пустые слоты в моделях на 4 или 6 отсеков.
Добавление галочки «Auto Replacement» для снижения порога запуска процедуры автоматической замены диска в массиве на диск из горячей замены сложно назвать крупным обновлением, но тех, кто старается максимально снизить риски потери данных, она, конечно, порадует.
Функция «Fast Repair» («Быстрое восстановление») при восстановлении отказоустойчивого пула после отказа диска на новый диск копирует блоки с учетом их реального использования в томе, что позволяет существенно сократить время восстановления.
В текущей версии прошивки, в случае отсутствия дисков горячего резерва, после замены отказавшего диска необходимо запустить операцию восстановления пула через DSM. В новой версии в свойства массива добавили пункт «Auto Repair», который исключает необходимость в ручном вмешательстве — восстановление начнется автоматически, когда система определит замену диска на новый.
Как мы видим, эти новые возможности позволяют администратору более комфортно управлять дисковыми массивами, снизить время простоя, сократить риски потери данных.
Для расширения сценариев использования блочных устройств, компания переработала «Менеджер iSCSI», который теперь называется SAN Manager, и добавила поддержку протокола Fibre Channel. Для его использования вам потребуется достаточно современный и производительный сетевой накопитель, а также карта контроллера для установки в него.
Два последних пункта в списке — существенное увеличение производительности томов RAID6 и расширение поддерживаемого сервисом Peta Volume объема до 1 PB. В пресс-релизе о бета-версии DSM компания также заявляет о работе над функцией дедупликации на уровне тома.
К большому сожалению, мы не увидели здесь поддержки массивов RAID60, что для крупных инсталляций явно востребовано. Для некоторых заказчиков также было бы полезно реализовать встроенную функцию для «утилизации» выводимых из эксплуатации дисков с безопасным удалением записанной на них информации (например, Secure Erase для твердотельных накопителей).
Контроль доступа и безопасность
Вторым, не менее важным, направлением развития DSM является безопасность и контроль доступа. В новой версии программного обеспечения были реализованы несколько востребованных в корпоративном сегменте функций.
Первая из них — ведение журнала изменений прав доступа. Эта функция отслеживает операции установки новых прав через проводник Windows при доступе по протоколу SMB и записывает имя пользователя и IP-адрес клиента, на котором эта операция проводилась.
Второй сервис позволяет администратору экспортировать текущие права доступа к общим ресурсам с целью аудита, проверки прав конкретных пользователей или групп. Для упрощения анализа отчета предусмотрены фильтры.
В разделе контроля текущих подключений появилась функция принудительного отключения пользователя, что поможет «освободить» заблокированные им файлы для использования другими пользователями.
В крупных компаниях важным элементом политики безопасности является делегирование прав дополнительным администраторам. Обновление DSM предлагает здесь более гибкие возможности. В частности, можно отдельно предоставить право на управление пользователями или общими папками, контроль производительности, работу с сервисами резервного копирования и так далее.
Новые функции появились и в консоли администрирования Synology Drive. Теперь будет проще контролировать работу большого числа сотрудников и подключения с различных устройств.
Привычные логины и пароли сегодня уже редко когда удовлетворяют требованиям безопасности. Улучшить ситуацию можно с применением двухфакторной аутентификации, но это заметно снижает удобство. В новой версии DSM компания добавила две новых схемы обеспечения безопасного удаленного доступа.
Во-первых, пользователь при входе в DSM может воспользоваться подтверждением через фирменное мобильное приложение. При этом в браузере будет достаточно указать только свое имя.
Второй вариант — реализация протокола FIDO2. Его можно использовать с аппаратными USB-ключами, Windows Hello (включая PIN-код, распознавание лица и отпечаток пальца) или TouchID в macOS.
Hybrid Share
Ни для кого не секрет, что сегодня облачные технологии широко используются как обычными домашними пользователями, так и компаниями любого масштаба. Как мы помним, в Synology DSM предусмотрено множество сервисов, которые попадают в категорию облачных, включая синхронизацию документов и резервное копирование.
Решение Hybrid Share ориентировано на корпоративный сегмент и может быть интересно компаниям, имеющим несколько офисов и необходимость обеспечения доступа к общим данным.
По своей сути, данная технология трансформирует привычные общие папки на сетевом накопителе в гибридные — с участием облачного хранилища Synology C2. Причем «подключиться» к этой папке могут сразу несколько сетевых накопителей, расположенных в разных офисах.
Для пользователей по факту все выглядит как обычный локальный ресурс. К нему можно обращаться по всем поддерживаемым протоколам — SMB, NFS, AFP, FTP, а также через браузер и File Station. Можно использовать эти папки и для сервиса Drive, включая хранение до 32 версий документов.
При этом DSM обеспечивает прозрачную трансляцию запросов к файлам в облаке, а для ускорения применяется локальный кеш папки.
После создания гибридного общего ресурса с одного из устройств, можно смонтировать его на других сетевых накопителях.
Дополнительно компания предлагает инструмент для загрузки файлов из облачного хранилища, не требующий у пользователя наличия сетевого накопителя.
Из обязательных требований к NAS заявлены поддержка последним BTRFS и наличие не менее 2 ГБ оперативной памяти.
Конечно, облачное хранилище Synology C2 не предоставляется бесплатно. Но по заявлениям компании будут доступны тарифные планы с оплатой за фактический объем и с автоматическим его расширением при необходимости. В панели облачного сервиса будут реализованы функции управления общими папками, контроль их объема и подключенных клиентов.
В целом данный сервис выглядит достаточно интересно, однако заявленная выгода в производительности доступа/синхронизации при доступе из нескольких офисов вероятно будет доступна только при условии их размещения в географической близости от датацентра (которых в настоящий момент два — в Германии и в США).
Active Insight
Заказчики, имеющие несколько сетевых накопителей Synology, могут использовать сервис CMS для более удобного управления ими «из одной точки». В нем есть настройки для таких функций, как дисковые тома, уведомления, общие папки, пользователи, права, обновления и некоторые другие. Однако для работы этого сервиса необходимо обеспечить сетевое соединение всех устройств, что не всегда возможно. Кроме того, в настоящий момент в личном кабинете аккаунта Synology можно узнать статус подключенных к нему устройств и пару их характеристик.
Развитие этой системы было реализовано в сервисе Active Insight. Он предоставляет более широкие возможности контроля через облачные сервера компании.
Сервис позволяет через браузер из любой точки интернета проверить состояние сетевых накопителей, включая исторические данные по нагрузке на процессор, память, тома, диски, кеш и аппаратным датчикам.
При этом пользователь может настроить контроль метрик и уведомления при выходе значений за установленные пределы.
Отметим, что компания добавила и в этот сервис платную подписку для дополнительных функций — хранение журналов в течение года, обновление показателей с интервалом в одну минуту, пользовательские триггеры для уведомлений.
Сервис Active Insight поддерживается и в новом фирменном мобильном приложении, что еще больше упрощает удаленный контроль за вашими устройствами.
Active Backup for Business
Очень удобный и полезный пакет Active Backup for Business наконец сможет осуществлять резервное копирование и восстановление рабочих станций и серверов, работающих под управлением ОС семейства Linux. Это без сомнения очень хорошая новость для поклонников этих операционных систем.
Что касается macOS, то ее поддержка также ожидается в новой версии DSM, но только в следующем году. Сейчас же для этих систем можно пользоваться штатным пакетом Time Machine.
Другие полезные нововведения — использование более эффективного алгоритма сжатия, возможность миграции виртуальных машин после быстрого восстановления в VMM обратно в гипервизоры VMWare и Microsoft.
Заметим, что и Active Backup for Business и Hyper Backup в своих заданиях не позволяют осуществлять копирование одних и тех же данных в несколько разных мест. Конечно, можно сделать несколько задач, но все-таки это не самый удобный вариант. Хотелось бы увидеть в новых версиях реализацию этой возможности. Кроме того, в дополнение к реализации интерфейса FC компания могла бы предложить здесь и поддержку внешних ленточных приводов или библиотек для резервного копирования.
Synology Photos
Единственное, что заявлено нового интересного для домашних пользователей — следующая инкарнация пакета для организации фотоальбома. Компания решила совместить текущие классическую Photo Station и автоматический Moments в новом пакете Synology Photos. Предполагается, что эта программа подойдет под требования как профессионалов, так и обычных пользователей.
В новой версии используются представления Personal Space и Shared Space, являющиеся трансформацией Moments и Photo Station соответственно. В частности, первый вариант предполагает размещение фотографий в домашней папке пользователя и предоставление общего доступа через ссылки (с поддержкой времени работы и защиты дополнительным паролем). Второй хранит фотографии в общей папке Photo и позволяет гибко настроить контроль доступа к альбомам на базе аккаунтов пользователей сетевого накопителя.
Для просмотра предлагается два варианта организации фотоснимков: по каталогам (альбомам) и временная шкала.
Оба представления поддерживают распознавание лиц и организацию автоматических альбомов.
Кроме того, можно использовать и собственный набор критериев для создания «условных альбомов». Например, добавить тип камеры, теги, географическую привязку и так далее.
Функция «Smart Filters» поможет подобрать нужные фотографии на основании различных критериев.
Как и текущие версии фотоальбомов, новый пакет получит свое фирменное мобильное приложение для Android и iOS. Одной из востребованных функций в нем является автоматическое или ручное копирование фотоснимков с мобильных устройств на сетевой накопитель.
При этом для снижения нагрузки на сетевой накопитель и увеличения скорости проведения операций, новая программа может использовать ресурсы мобильных устройств для создания превью фотографий и конвертации видео.
Заключение
По презентациям, видео и интерфейсу новой версии DSM мы видим, что компания действительно уделяет много внимания своей ключевой разработке. Конечно, нельзя сказать, что эти обновления представляют собой что-то уникально новое, что кардинально меняет опыт и сценарии использования решений. Все-таки Synology и так уже давно балует своих пользователей сотнями пакетов и сервисов. Так что здесь мы скорее видим последовательное движение и развитие некоторых функций и возможностей. Кроме того, приятно, что компания активно развивает возможности своего программного обеспечения и предлагает новые функции не только пользователям актуальной линейки, но и тем, у кого устройства работают уже несколько лет. Конечно, по такой краткой презентации сложно составить полное впечатление о новой версии и оценить, насколько корректно было увеличивать на единицу старший номер. Но в целом общий вектор на безопасность, надежность и производительность явно прослеживается. Мы постараемся оценить описанные функции и возможности на практике и рассказать о них подробнее.