Что такое кластер маршрутизаторов
Создание отказоустойчивого шлюза на основе Mikrotik RouterOS
Стояла задача обеспечить отказоустойчивость работы сетевого маршрутизатора, который должен был поддерживать несколько локальных сетей, три канала в интернет от разных провайдеров, DMZ и десяток VPN соединений для удаленных пользователей.
Под отказоустойчивостью подразумевалась мгновенная замена оборудования в случае выхода из строя. Я остановил выбор на Mikrotik RouterOS, так как имел положительный опыт эксплуатации данной ОС. Так же на выбор повлияло удобство настройки и администрирования благодаря утилите Winbox.
Данный пример отказоустойчивости работает в боевых условиях несколько лет и себя оправдал. За время эксплуатации конфигурация несколько раз переделывалась, но вариант, который ниже, в моих условиях оказался оптимальным. Сейчас выключение одного из роутеров не влияет на работу, они полностью взаимозаменяемы.
В качестве железа было решено использовать обычные PC с процессорами Core 2 Duo, 1 Гб памяти и HDD Flash от Трансенд в качестве накопителя. Оба маршрутизатора разместились в симпатичных MiniTower корусах на полке в серверном шкафу. Версия Mikrotik на тот момент устанавливалась 4.16, но сейчас работает на 5.22
Не буду описывать настройку всего маршрутизатора, а остановлюсь только на отказоустойчивости. Для лучшего восприятия информации ограничимся одним провайдером и 3-мя внутренними локальными сетями.
Протоколом для обеспечения отказоустойчивости был выбран VRRP. Принцип его в том, что маршрутизаторы имеют приоритет: Master и Slave и через некоторый интервал времени проверяют доступность друг друга. Если Master выйдет из строя — Slave его заменит.
Так как сетевых интерфейсов на маршрутизаторе по числу PCI всего 3 (1 интегрированный не использовали), а подсетей много — использовался также VLAN. При чем на физический интерфейс вешался VRRP, а уже на него VLAN-ы. Все настройки проводились на одном маршрутизаторе. Второй настраивается автоматически.
Настройка интерфейсов
/interface ethernet
set 0 arp=enabled auto-negotiation=yes cable-settings=default \
disable-running-check=yes disabled=no full-duplex=yes l2mtu=1600 \
mtu=1500 name=lan speed=1Gbps
set 1 arp=enabled auto-negotiation=yes cable-settings=default \
disable-running-check=yes disabled=no full-duplex=yes l2mtu=1600 \
mtu=1500 name=wan speed=1Gbps
/interface vrrp
add arp=enabled authentication=none disabled=no interface=lan \
interval=2s mtu=1500 name=vrrp-lan \
preemption-mode=yes priority=101 v3-protocol=ipv4 version=3 vrid=2
Из настроек VRRP интересны 3 параметра
1) interface=lan интерфейс, на который вешается VRRP
2) priority=101 приориет роутера. Мастер или Слейв. Главный тот — у кого больше.
3) preemption-mode=yes если этот режим выключен: после того, как слейв станет мастером, он им и останется, даже когда мастер вернется в строй.
VLAN локальной сети
/interface vlan
add arp=enabled disabled=no interface=vrrp-lan mtu=1500 name=vlan101 \
use-service-tag=no vlan-id=101
add arp=enabled disabled=no interface=vrrp-lan mtu=1500 name=vlan102 \
use-service-tag=no vlan-id=102
add arp=enabled disabled=no interface=vrrp-lan mtu=1500 name=vlan103 \
use-service-tag=no vlan-id=103
VRRP используется только на локальном интерфейсе. Его задачей является контроль работоспособности маршрутизатора в целом и наличие связи с локальной сетью. В случае возникновения проблем, все остальное переключалось скриптом. Такое решение было обусловлено тем, что у меня плохо работал IpSec при VRRP+VLAN на WAN интерфейсе.
VRRP на Mikrotik позволяет использовать маршрутизаторы в режимах балансировки нагрузки или отказоустойчивости. В режиме балансировки отказоустойчивость тоже соблюдается, но для нашей задачи достаточно просто отказоустойчивости, иначе пришлось бы вешать VRRP на все интерфейсы.
/ip address
add address=192.168.101.1/24 disabled=no interface=vlan101 network=192.168.101.0
add address=192.168.102.1/24 disabled=no interface=vlan102 network=192.168.102.0
add address=192.168.103.1/24 disabled=no interface=vlan103 network=192.168.103.0
add address=10.1.1.2/29 disabled=no interface=lan network=10.1.1.0
add address=10.1.1.1/32 disabled=no interface=vrrp-lan network=10.1.1.1
add address=77.77.77.70/30 disabled=no interface=wan network=77.77.77.68
Виртуальные интерфейсы vrrp-lan на обеих маршрутизаторах будут иметь одинаковый адрес 10.1.1.1/32
А вот физические lan инетрфейсы будут иметь разные адреса (10.1.1.2 и 10.1.1.3) и также будут находится в одной подсети между собой и vrrp-интерфейсом.
Теперь достаточно добавить шлюз по умолчанию в таблицу маршрутизации и первичную настройку можно считать законченной.
/ip route
add disabled=no distance=1 dst-address=0.0.0.0/0 gateway=77.77.77.69 scope=30 target-scope=10
Далее нужно настроить скрипты резервного копирования, проверки статуса Master/Slave и переноса конфигурации.
Проверка статуса роутера
:if ([/interface get vrrp running]=false) do= <
:if ([/interface get wan disabled]=false) do= <
/interface disable wan
>
>
:if ([/interface get vrrp running]=true) do= <
:if ([/interface get wan disabled]=true) do= <
/interface enable wan
>
>
Если vrrp running=false, тоесть роутер в режиме Slave — отключаем WAN. Если Master — то включаем. Также проверяем текущий статус интефейса WAN — включен он или выключен, чтобы лишний раз его не тревожить. Этот скрипт ставим выполняться в планировщик каждые 3-10 секунд.
Кроме отправки на почту (предварительно параметры отправки нужно настроить), скрипт будет создавать локальный файл с именем lastconfig.backup, который нам пригодится.
Этот скрипт ставим выполняться в планировщик 1 раз в сутки, у меня стоит ночью. Если вы делаете за день много изменений в конфигурации — ставьте как вам удобно.
Далее идут 2 скрипта: перенос настроек и применение настроек на резервном сервере. Так как они должны выполняться только на резервном сервере, то роутеры нужно как-то различать. Я различаю по МАС-адресах интегрированных сетевых интерфейсов. Резервный имеет адрес FF:FF:40:40:40:41
Копирование и применение последней актуальной понфигурации
То есть забираем по FTP lastconfig.backup и восстанавливаемся с него. FTP пользователь должен быть настроен, желательно с ограничением доступа по IP. Обратите внимание, что к FTP подключаемся по IP-адресу локального физического интерфейса, который доступен только между роутерами.
Этот скрипт ставим в планировщик на несколько минут позже выполнения скрипта резервного копирования.
И последний скрипт — применение настроек на резервном сервере. В нем также используется МАС для идентификации роутера.
Здесь меняем имя роутера, ip-адрес LAN-интерфейса и приоритет VRRP на меньший, чтобы роутер сделать слейвом. Запуск этого скрипта нужно поставить в автозагрузку. Изменения будут происходить на резервном сервере после копирования и применения последней актуальной конфигурации.
Собственно, на этом все. Напомню, мы все манипуляции делали на роутере, который у нас будет мастером. Теперь сохраняем конфигурацию, переносим ее на слейв и применяем на нем. Это можно сделать любым способом, описанным здесь http://wiki.mikrotik.com/wiki/Manual:Configuration_Management#System_Backup
После применения конфигурации и перезагрузки, резервный маршрутизатор войдет в строй с нужными нам настройками.
Маршрутизаторы для создания отказоустойчивости системы защиты сети
Эти угрозы являются актуальными вследствие наличия взаимодействия АСУ ТП подстанции с другими подсистемами и обмена информацией и формирования сигналов управления. В связи с этим обязательными являются меры по формированию выделенных технологических сегментов сетей передачи данных и использованию периметральных средств защиты систем АСУ ТП (таких как средства межсетевого экранирования, криптографической защиты каналов связи).
Но при создании защиты именно эта защита становится слабым звеном в отказоустойчивой системе. Системы АСУ ТП работают в режиме 24/7, поэтому необходимо создать защиту системы таким образом, чтобы она содержала в себе элементы отказоустойчивости.
Архитектура отказоустойчивой периметральной системы
В условиях многовекторных атак в качестве средств защиты внешнего периметра сети хорошо зарекомендовали себя промышленные маршрутизаторы mGuard. Устройства серии mGuard поддерживают следующие основные функции:
Очевидно, что для создания отказоустойчивой системы компоненты такой системы должны быть, как минимум, дублированы. При этом дублирование не обеспечивает полноценной защиты от простоев, связанных с переключением от основного узла на резервный. Для минимизации времени простоя целесообразно использовать отказоустойчивый кластер с методом высокой доступности (high availability – HA).
Общая схема реализации отказоустойчивого кластера с использованием маршрутизаторов mGuard, а также схема распределения IP-адресов показана на рис 2.
Рис. 2 – Схема отказоустойчивости кластера
Для создания кластера HA используются два идентичных маршрутизатора mGuard, один в режиме – основной (active), другой в режиме – дублирующий (passive), т.е. используется один виртуальный IP-адрес в сети LAN и виртуальный общий IP-адрес в сети WAN. С помощью этих виртуальных адресов кластер становится доступным для клиентов. При этом каждый отдельный mGuard в кластере имеет свой IP-адрес как для внешнего, так и для внутреннего сетевого интерфейса.
Для решения подобной задачи используется вариация протокола CARP (Common Address Redundancy Protocol), который позволяет использовать один IP-адрес сразу нескольким элементам одного сегмента сети (рис 3).
Рис. 3 – Схема работы протокола CARP
Необходимо реализовать возможность обмена пакетами (heartbeat) между устройствами. Основной (active) mGuard постоянно посылает heartbeat во внутреннюю и внешнюю сеть о своем присутствии через внешний и внутренний сетевой интерфейс. Если уведомление от основного маршрутизатора не будет доставлено резервному маршрутизатору, то он становится основным и все функции по обеспечению сетевой защиты перейдут на него. При этом системы (пользователей), которые работают посредством данного кластера, никаких
изменений не заметят.
Также существует возможность создать на основе кластера отказоустойчивый VPN-канал. Т.е. при выходе из строя компонентов кластера VPN-канал остается работоспособным без потери пакетов (рис 4).
Рис. 4 – Схема работы отказоустойчивого VPN-кластера
Во многих случаях необходимо создание отказоустойчивого канала передачи данных в шифрованном виде с целью гарантированного получения критически важной информации, проще говоря, создание отказоустойчивого VPN-канала с резервированием по каналу передачи данных. Реализовать данную задачу можно с помощью «флагмана» линейки mGuard – FL mGuard RS4000 3G.
Данное устройство имеет в своем арсенале кроме медного 100 Мбит/c порта возможность использования двух провайдеров беспроводной связи (GSM). При потере сигнала на медном интерфейсе происходит автоматическое переключение на одного из поставщиков беспроводной сети, если вдруг потерян и этот сигнал, произойдет переключение на вторую SIM-карту. В итоге осуществляется тройное резервирование канала (рис 5).
Рис.5 – Схема работы отказоустойчивого VPN-канала
Очень часто требуется реализация на канале 3G устойчивого шифрованного соединения, даже при периодической смене IP-адреса провайдером. С этой целью необходимо задействовать функцию Dead Per Detection (DPD).
Выводы
Промышленные маршрутизаторы mGuard от Phoenix Contact способны обеспечить отказоустойчивую систему периметральной защиты ПС, при этом резервировать можно не только устройства, но и канал передачи данных.
И о ближайших планах: компания Phoenix Contact начала сертификацию промышленных маршрутизаторов mGuard во ФСТЭК России по 3-му классу МЭ и 4-му уровню НДВ (недекларированные возможности). Данная сертификация будет получена ориентировочно в начале 2016 года. В итоге это будет единственный сертифицированный промышленный
маршрутизатор в России.
Русские Блоги
«Кластерный маршрутизатор» в Руководстве по Akka
Маршрутизатор с поддержкой кластера
все»routers»Вы можете узнать узлы-члены в кластере, то есть развернуть новый маршрут ( routees ) Или найдите маршрут на узле в кластере. Когда к узлу невозможно получить доступ или он покидает кластер, маршрут узла будет автоматически отключен от маршрутизатора. Когда новый узел присоединяется к кластеру, к маршрутизатору будут добавлены дополнительные маршруты в соответствии с конфигурацией. Когда узел снова становится доступным после недоступности, также добавляется маршрут.
Маршрутизация с учетом кластера ( Cluster aware routers )можно использовать WeaklyUp Член государства (если функция включена).
Есть два разных типа маршрутизаторов.
полагаться
Чтобы использовать маршрутизаторы с поддержкой кластеров ( Cluster Aware Routers ), необходимо добавить в проект следующие зависимости:
Групповой маршрутизатор
использовать Group В это время субъект маршрутизации должен быть запущен на узлах-членах кластера. Маршрутизатор этого не делает. Конфигурация группы следующая:
max-total-nr-of-instances Определите общее количество маршрутов в кластере. по умолчанию, max-total-nr-of-instances Установите высокое значение ( 10000 ), когда узел присоединяется к кластеру, это приведет к добавлению нового маршрута к маршрутизатору. Если вы хотите ограничить общее количество маршрутов, установите меньшее значение.
Такой же тип маршрутизатора также можно определить в коде:
Пример роутера с группой маршрутизации
Давайте посмотрим, как использовать маршрутизатор с поддержкой кластеров с набором маршрутов (то есть маршрутов, отправленных на путь маршрутизатора).
Пример приложения предоставляет сервис для расчета текстовой статистики. Когда некоторый текст отправляется в службу, она разбивает его на слова и назначает задачу отдельному рабочему процессу (маршрутизатору для маршрутизатора) для подсчета количества символов в каждом слове. Количество символов в каждом слове отправляется обратно агрегатору ( aggregator ) агрегатор вычисляет среднее количество символов в слове при сборе всех результатов.
Рабочие, считающие количество символов в каждом слове ( worker ）：
Получать текст от пользователя и разбивать его на слова, делегировать workers И агрегирование ( aggregates ) Сервисы:
Обратите внимание, что пока нет конкретного кластера, только обычные акторы.
Это означает, что запросы пользователей можно отправлять на любой узел. StatsService И он будет использоваться на всех узлах StatsWorker 。
Маршрутизатор с пулом маршрутизации удаленного развертывания
будут Pool При использовании с маршрутами, созданными и развернутыми на узлах-членах кластера, конфигурация маршрутизатора выглядит следующим образом:
Может быть указано use-roles Маршрут ( routees ) Развертывание ограничено узлами-членами, отмеченными определенным набором ролей.
Такой же тип маршрутизатора также можно определить в коде:
Пример маршрутизатора с пулом маршрутизации удаленного развертывания
Посмотрим, как создать и развернуть workers Один главный узел ( master node ) Используйте маршрутизаторы с поддержкой кластера. Чтобы отслеживать один главный узел, мы используем синглтон кластера в модуле инструмента кластера. ClusterSingletonManager Начать на каждом узле:
ClusterSingletonProxy Получить текст от пользователя и передать его текущему StatsService (Единственный мастер). Он слушает события кластера, чтобы найти самый старый узел StatsService 。
Ссылка на английский оригинал：Cluster Aware Routers.
Интеллектуальная рекомендация
[Leetcode Tour] Array-697. Степень массива
Добавить расширение Redis для PHP7 под Windows
1 Просмотр информации о версии PHP Непосредственно используйте функцию phpinfo (), вывод в браузер в порядке Результаты вывода, в основном, отображают следующую информацию: версия PHP, архитектура, сб.
неправильная причина: Первичный ключ сущности установлен в режим саморазвития, но первичный ключ идентификатора устанавливается для него при сохранении.
работа на прошлой неделе не особенно подходит для различных причин, рисунок слайдера имеет узкое и не будет завершена на этой неделе, но это хорошо, чтобы быть в разработке и продвижении персонажа и д.
Том Зибель технические книги рекомендуется
iOS разработка программного обеспечения 1. Опытный в Objective-C [США] Кит Ли, Су Баолонг Народная почта и телекоммуникационная пресса Эта книга подходит для некоторых разработчиков, которые уже начал.
Русские Блоги
Каскадирование, стекирование и кластеризация коммутаторов
В среде LAN с несколькими коммутаторами каскадирование коммутаторов, стекирование и кластеризация являются тремя важными технологиями.
Каскадная технология позволяет реализовать взаимосвязь между несколькими коммутаторами;
Технология стекирования позволяет объединить несколько коммутаторов в один блок, тем самым увеличивая плотность портов и повышая производительность;
Кластерная технология позволяет управлять несколькими взаимосвязанными коммутаторами как логическим устройством, что значительно снижает затраты на управление сетью и упрощает операции управления.
1. Каскад
Каскадирование можно определить как два или более коммутатора, подключенных друг к другу определенным образом.
Коммутаторы обычно подключаются каскадно через общие пользовательские порты, а некоторые коммутаторы предоставляют выделенные каскадные порты (порт восходящего канала). Разница между этими двумя типами портов заключается только в том, что обычные порты соответствуют стандарту MDI, а каскадный порт (или восходящий порт) соответствует стандарту MDIX. Это приводит к различным методам подключения двумя способами: когда два коммутатора соединены каскадом через общие порты, для кабеля между портами используется прямой кабель (Straight Throurh Cable); когда только один из них проходит через каскадный порт, используйте Crossover Cable (кроссоверный кабель). 
Обратите внимание на следующие моменты при использовании переключателей для каскадирования:
2. Укладка
Под стекингом понимается объединение нескольких коммутаторов для совместной работы с целью предоставления как можно большего количества портов в ограниченном пространстве. 
Преимущества штабелирования
Коммутаторы, смонтированные в стойке, можно назвать продуктом стекирования на более высоком уровне.. Коммутаторы, монтируемые в стойку, обычно располагаются над коммутаторами отделов. Они имеют несколько слотов, высокую плотность портов, поддерживают несколько типов сетей, хорошую масштабируемость и широкие возможности обработки, но они дороги.
3. Разница между стекингом и каскадом
Связь между стекингом и каскадом
Укладку можно рассматривать как особую форму каскада. Разница между ними заключается в том, что каскадные коммутаторы могут быть очень далеко друг от друга (в рамках лицензии на мультимедиа), в то время как расстояние между несколькими коммутаторами в стеке очень близко, обычно не более нескольких метров; при каскадировании обычно используется Обычные порты, в то время как в стеке обычно используются выделенные модули и кабели для стекирования.
Вообще говоря, коммутаторы разных производителей и моделей могут быть соединены друг с другом каскадом, но стекирование различается. Оно должно быть между стековыми коммутаторами одного типа (по крайней мере, коммутаторами одного производителя); каскадирование осуществляется только между коммутаторами. Простое соединение, стекирование использует весь стековый блок в качестве коммутатора, что означает не только увеличение плотности портов, но и более широкую полосу пропускания системы.
В настоящее время основные коммутаторы, представленные на рынке, можно разделить на две категории: стекируемые и нестекируемые. В коммутаторах, которые известны как стекируемые, существует виртуальное и реальное стекирование. Так называемый виртуальный стек на самом деле представляет собой каскад между коммутаторами.
Коммутаторы складываются не через выделенные модули стекирования и кабели стекирования, а через порты Fast Ethernet или порты Giga Ethernet. По сути, это замаскированный каскад. Несмотря на это,Несколько коммутаторов в виртуальном стеке уже могут управляться как логическое устройство в сети, что упрощает управление сетью.。
Стекирование в истинном смысле должно удовлетворять: использованию выделенных модулей стекирования и шины стекирования для стекирования, не занимая сетевых портов; после объединения нескольких коммутаторов в стек они имеют достаточную пропускную способность системы, чтобы гарантировать, что каждый порт может по-прежнему обеспечивать коммутацию на линейной скорости после стекирования; После объединения двух коммутаторов в стек VLAN и другие функции не затрагиваются.
В настоящее время на рынке значительная часть стекируемых коммутаторов относится к типу виртуального стекирования, а не к реальному типу стекирования. Очевидно, что стекирование в истинном смысле слова намного выше по производительности, чем виртуальное стекирование, но использование виртуального стекирования имеет по крайней мере два преимущества: виртуальное стекирование часто использует стандартный Fast Ethernet или Giga Ethernet в качестве стекируемой шины, которую легко реализовать и которая дешевле; Порты стекирования можно использовать как обычные порты, что полезно для защиты инвестиций пользователей. Использование стандартных портов Fast Ethernet или Giga Ethernet для реализации виртуального стекирования может значительно расширить диапазон стекирования, благодаря чему стекирование больше не будет ограничиваться одним шкафом.
Кластер
Так называемый кластер предназначен для управления несколькими взаимосвязанными (каскадными или стекированными) коммутаторами как логическим устройством.
В кластере обычно есть только один коммутатор, который играет роль управления, называемый командным коммутатором, который может управлять несколькими другими коммутаторами. В сети эти коммутаторы должны занимать только один IP-адрес (требуется только для командного коммутатора), сохраняя ценные IP-адреса. При унифицированном управлении командным коммутатором несколько коммутаторов в кластере работают вместе, что значительно снижает интенсивность управления. Например, администратору необходимо использовать командный переключатель только для обновления версии всех коммутаторов в кластере.
Преимущества кластерной технологии для управления сетью неоспоримы. Но чтобы использовать эту технологию, следует отметить, что у разных производителей разные схемы реализации кластеров, и обычно производители используют проприетарные протоколы для реализации кластеров. Это определяет, что кластерная технология имеет свои ограничения. Коммутаторы разных производителей могут быть объединены в каскад, но не в кластер. Даже если коммутаторы одного производителя, только указанная модель может реализовать кластеризацию.