spine switch что это

Что такое Leaf-Spine архитектура и как ее проектировать

В течение многих лет центры обработки данных строились в трехуровневой архитектуре. Но с консолидацией центров обработки данных, виртуализацией, гиперконвергентными системами, новая сетевая архитектура leaf-spine постепенно становится основной в современном развертывании сетей центров обработки данных, что преодолевает некоторые ограничения традиционной трехуровневой архитектуры для коммутаторов ЦОД. Тогда как много вы знаете об архитектуре leaf-spine? Как построить leaf-spine архитектуру? Мы объясним, что такое архитектура leaf-spine и как проектировать архитектуру leaf-spine.

Что такое архитектура Spine-leaf?

Архитектура сети Leaf-Spine догоняет крупные сети центров обработки данных/облачные вычисления благодаря своей масштабируемости, надежности и лучшей производительности. Как показано ниже, конструкция leaf-spine состоит только из двух уровня: leaf уровень и spine уровень. Spine уровень состоит из коммутаторов, которые выполняют маршрутизацию, работая в качестве магистрали сети. Leaf уровень включает в себя коммутатор доступа, который подключается к конечным точкам, таким как серверы, устройства хранения. В архитектуре leaf-spine каждый leaf коммутатор связан с каждым коммутатором spine. При таком дизайне любой сервер может связываться с любым другим сервером, имеющим не более одного пути межсоединения между любыми двумя leaf коммутаторами.

Рисунок 1: Leaf-Spine архитектура

Однако традиционная трехуровневая архитектура состоит из трех уровней, включая ядро при развертывании, агрегацию/распределение и уровень доступа. Эти устройства связаны избыточными путями, чтобы они могли образовывать петли в сети. Архитектурная модель обычно предназначена для традиционного трафика север-юг, поэтому, если через эту традиционную архитектуру проходит большой объем трафика восток-запад, устройства, подключенные к одному и тому же порту коммутатора, могут конкурировать за пропускную способность, что приводит к снижению качества конечных пользователей. Время отклика. Таким образом, эта трехуровневая архитектура не подходит для современных виртуальных центров обработки данных, где серверы вычислений и хранения могут быть расположены в любом месте на объекте.

Рисунок 2: Традиционная трехуровневая архитектура.

Преимущества Leaf-Spine архитектуры

Преимуществами модели leaf-spine являются увеличенная латентности, уменьшенные узкие места и расширенная пропускная способность. Во-первых, leaf-spine использует все взаимосвязи. Каждый leaf соединяется со всеми шипами без каких-либо взаимосвязей между самими шипами и листами, что создает большую неблокирующую ткань. Находясь в трехуровневой сети, одному серверу может потребоваться пройти по иерархическому пути через два коммутатора агрегации и один базовый коммутатор для связи с другим коммутатором, что увеличивает задержку и создает узкие места в трафике. Еще одним преимуществом является простота добавления дополнительного оборудования и емкости. Архитектуры leaf-spine могут быть как уровня 2, так и уровня 3, таким образом, можно добавить дополнительный переключатель позвоночника, и восходящие линии могут быть расширены для каждого конечного коммутатора, расширяя полосу пропускания между уровнями и уменьшая переподписку.

Как проектировать архитектуру Spine-leaf?

Прежде чем разрабатывать архитектуру leaf-spine, вам необходимо выяснить некоторые важные связанные с этим факторы. В этом аспекте следует учитывать соотношение переподписки, масштаб листа и позвоночника, восходящие связи от листа к позвоночнику, построение на уровне 2 или уровне 3.

Коэффициенты переподписки — переподписка представляет собой коэффициент конкуренции, когда все устройства отправляют трафик одновременно. Его можно измерить в направлении север/юг (трафик, входящий/выходящий из центра обработки данных), а также в направлении восток/запад (трафик между устройствами в центре обработки данных). Современные проекты сетей имеют коэффициент превышения подписки 3: 1 или менее, который измеряется как отношение портов нисходящей линии связи (к серверам/хранилищу) к портам восходящей линии связи (к коммутаторам Spine). На рисунке ниже показано, как измерить коэффициент переподписки для уровней leaf и spine.

Рисунок 3: Коэффициент переподписки.

Масштаб Leaf и Spine — поскольку конечные точки в сетевом соединении только с leaf коммутаторами, количество leaf коммутаторов в сети зависит от номера интерфейса, необходимого для подключения всех конечных точек, включая многосетевые конечные точки. Поскольку каждый конечный коммутатор подключается ко всем шипам, плотность портов на коммутаторе шип определяет максимальное количество leaf коммутаторов в топологии. А количество коммутаторов Spine в сети определяется комбинацией пропускной способности, требуемой между leaf коммутаторами, количеством избыточных/ECMP (равноправных многолучевых) путей между конечными устройствами и плотностью портов в коммутаторах Spine.

10G/40G/100G восходящие линии от Leaf до Spine — Для сети leaf-spine, восходящие линии от листа к позвоночнику обычно имеют 10G или 40G и могут со временем мигрировать из начальной точки 10G (N x 10G), чтобы стать 40G (N x 40G). В идеальном случае восходящие каналы всегда работают с большей скоростью, чем нисходящие линии, чтобы гарантировать отсутствие блокировки из-за микровзрывов одного хоста, разрывающегося на скорости линии.

Уровень 2 или Уровень 3 — Двухуровневые сети leaf-spine могут быть построены либо на уровне 2 (везде VLAN), либо на уровне 3 (подсети). Проекты уровня 2 обеспечивают наибольшую гибкость, позволяя виртуальным локальным сетям охватывать всюду, а MAC-адреса — мигрировать куда угодно. Конструкции уровня 3 обеспечивают самое быстрое время сходимости и самый большой масштаб с разветвлением с ECMP, поддерживающим до 32 или более активных spine коммутаторов.

В архитектуре Leaf-Spine имеются только два уровня, при этом все устройства «равноудалены» от коммутаторов «ядра», т.е. имеют одинаковые и предсказуемые задержки при передаче пакетов. Эти уровни называются Leaf и Spine. Уровень Leaf состоит из коммутаторов доступа, подключенных к другим устройствам дата-центра: серверам, межсетевым шлюзам, балансировщикам нагрузки и оконечным коммутаторам. Уровень Spine, состоящий из маршрутизирующих коммутаторов, является ядром сети, где каждый Leaf-коммутатор подключен к каждому из Spine-коммутаторов. Между уровнями используется динамическая маршрутизация Layer 3, чтобы обеспечить предсказуемое расстояние между устройствами. Динамическая маршрутизация позволяет обеспечить наилучший маршрут. Такая архитектура предназначена в основном для дата-центров и ориентирована на трафик «East-West». В таком трафике передаются только данные, предназначенные для использования только внутри дата-центра. Этот новый подход решает присущие протоколу Spanning Tree ограничения, и дает возможность использовать и другие сетевые протоколы, а также методы построения динамичной сети.

Рис. 2: Архитектура Leaf-Spine

В сети Leaf-Spine используется маршрутизация Layer 3. Все маршруты сконфигурированы в активном режиме при помощи протокола равноудаленных маршрутов ECMP (Equal-Cost Multipathing). Это позволяет всем соединениям быть активными одновременно при сохранении стабильности без боязни образования петель внутри сети.

В традиционных протоколах коммутации Layer 2, таких как STP (Spanning Tree) в трехслойных сетях, все устройства должны быть правильно и вручную сконфигурированы и должны быть учтены все особенности STP. При этом очень велика вероятность ошибки конфигурации, в частности, неправильного определения приоритетов устройств, что может повлечь неэффективную прокладку маршрутов.

Преимущества Leaf-Spine

Замена STP между уровнями Access и Aggregation на маршрутизацию Layer 3 дает более стабильную работу сети. Другое преимущество – легкость добавления дополнительного оборудования и расширение емкости. При возникновении перегрузки линков (oversubscription), что означает генерацию бóльшего объема трафика, чем его может воспринять уровень агрегации), способность к увеличению емкости является очевидным преимуществом. Эта проблема легко решается добавлением еще одного коммутатора Spine. Точно также можно добавлять коммутаторы Leaf, когда не хватает портов доступа. При этом сеть легко расширяется и при этом не требуется возня с протоколами Layer 2

Недостатки Leaf-Spine

При использовании сетевой архитектуры Leaf-Spine возникают и некоторые проблемы. Во-первых, это большое количество кабельной «лапши» в стойках дата-центра, что видно даже на рисунке, показывающем архитектуру Leaf-Spine. И при добавлении новых коммутаторов на обоих уровнях эта проблема будет только расти. Нужно очень тщательно выбирать место расположения коммутаторов Spine в дата-центрах, особенно больших, чтобы минимизировать эту проблему.

Во-вторых, основной недостаток происходит от использования маршрутизации Layer 3, который не дает развертывать виртуальные сети VLAN во всей сети. Сети VLAN в архитектуре Leaf-Spine локализуются в каждом из Leaf-коммутаторов и другим Leaf-коммутаторам недоступны. Это может создавать проблемы при обеспечении мобильности гостевой виртуальной машины в пределах дата-центра.

Примеры применения Leaf-Spine

Веб-приложения, где расположение сервера внутри сети статично – подходящее применение для Leaf-Spine. Использование маршрутизации Layer 3 между уровнями не препятствует работе масштабируемых веб-приложений, потому что они не требуют мобильности серверов внутри дата-центра. Устранение протокола Spanning Tree (STP) положительно влияет на стабильность и надежность сети с преобладанием внутреннего трафика дата-центра (East-West). Масштабируемость архитектуры также улучшается.

Корпоративные приложения с использованием мобильных виртуальных машин (напр. vMotion) создают некоторые проблемы при обслуживании серверов в пределах дата-центра. Причина – использование Layer 3 и невозможность расширения VLAN между Leaf-коммутаторами. Для решения этой проблемы, может быть использовано решение программно-конфигурируемых сетей SDN (Software Defined Networking), которое создает виртуальный уровень Layer 2 поверх сети Leaf-Spine. При этом виртуальные серверы могут свободно перемещаться внутри среды дата-центра, без ухудшения эффективности трафика East-West, масштабируемости и стабильности топологии сети Leaf-Spine.

Как альтернатива маршрутизации Layer 3, в топологии Leaf-Spine могут использоваться и другие протоколы, такие как TRILL (Transparent Interconnection of Lots of Links) или SPB (Shortest Path Bridging), с которыми можно достичь схожей функциональности. При этом задействуется протокол ECMP уровня Layer 2, когда Spanning Tree работает только для организации VLAN’ов между Leaf-коммутаторами.

Вывод

Важно понимать двухуровневую архитектуру leaf-spine, поскольку она предлагает уникальные преимущества по сравнению с традиционной трехуровневой архитектурой. Развертывание архитектуры leaf-spine сети и покупка высокопроизводительных коммутаторов для ЦОД являются обязательными для менеджеров дата-центра, поскольку топология сети leaf-spine позволяет дата-центрам процветать, одновременно выполняя все потребности бизнеса.

Источник

Дом, который построил Клоз или Leaf-Spine архитектура: меняем L2 на L3

Долгое время все большие проекты, связанные с сетью, будь то web-проект или ДЦ крупного предприятия представляли собой одну и ту же структуру. Это была характерная древовидная архитектура, различающаяся лишь размером дерева и плотностью «ветвей», обусловленных разными требованиями к надежности и производительности. Но цифровой мир не стоит на месте, а стремительно растет и развивается, при чем не только в увеличиваясь объемах и скоростях, но и меняя свою структуру. Всевозможные Big Data, облака и распределенные вычисления привели к тому, что по сети стало необходимым передавать огромные объемы данных между большим количеством конечных узлов, причем, желательно, с минимальной задержкой.

Потребности нового мира

Традиционная сетевая инфраструктура

Решение? Как только мы начинаем говорить о масштабах, когда стоимость обслуживания начинает превосходить стоимость оборудования (да-да, столь любимые бухгалтерами и маркетологами, и нелюбимые остальными CAPEX и OPEX), как на сцену выходит давно известное решение в виде сетей Клоза (Clos fabric), известное также как архитектура Leaf-Spine.

Важное примечание для невнимательных: уровень Spine вовсе не идентичен уровню агрегации. На этом уровне нет и не предполагается горизонтальных связей между коммутаторами и уж тем более не предполагается, что весь трафик через этот уровень собирается и уходит в сторону ядра или, допустим, интернета.

Сама по себе это архитектура известна уже полвека и успешно применяется в телефонных сетях, но сейчас сложились все предпосылки для ее активного внедрения в с сети ЦОД. С одной стороны, оборудование стало одновременно достаточно производительным и недорогим, при этом обеспечивая крайне малые задержки (сотни наносекунд — это уже не фантастика, а вполне реальность). Ну а с другой сами задачи стали такими, когда централизованная архитектура становится неоптимальной.

До каких масштабов можно увеличивать подобные сети? Двухуровневая сеть на распространенных и недорогих коммутаторах с сорока восемью 10G портами и шестью 40G аплинками (Overprovisioning Ratio 1,6 при размещении сорока серверов на стойку) позволяет подключать до 1920 серверов. Ввод третьего уровня увеличивает эту цифру до 180 тысяч. Если вам мало и этого — уровни можно наращивать и дальше.

Можно ли и стоит использовать эту архитектуру на сетях сильно меньших размеров? Почему бы и нет, если, конечно, у вашего проекта нет каких-то специфичных требований именно по L2 маршрутизации. Посчитайте стоимость классического решения и Leaf-Spine на BMS-коммутаторах. И если последнее оказывается для вас явно выигрышным — это же весомый повод задуматься, правда? 🙂
Конечно, помимо этого должно выполняться и еще одно условие, которое было основоположным, когда мы говорили о необходимости смены концепции сети: трафик в ней должен быть преимущественно горизонтальным, узлы сравнительно равноправны с точки зрения потребления трафика, нет явно выделенного направления, в котором движется подавляющая часть объема данных. Это вовсе не обозначает, что у такой сети не должно быть внешних подключений, но трафик в их сторону должен быть соразмерим с потоками между узлами, а не быть основной составляющей.

Мы же, в свою очередь, готовы предложить вам для этого все необходимое.

Например, весьма привлекательные с точки зрения стоимости коммутаторы без
предустановленной ОС (Bare Metal Switch) на матрицах Trident II, цена 10G порта на которых составляет менее 100 долларов: ETegro Eos 420 (48 10G + 6 40G) для уровня Leaf и Eos 520 (32 40G) для Spine уровня.
Ну и при необходимости обеспечить их сетевой ОС Cumulus Linux, о возможностях которой мы писали чуть раньше.

Почему мы выступаем именно за BMS-версии сетевого оборудования? Да просто потому, что на наш взгляд, только оно способно обеспечить одновременно и необходимую современным проектам гибкость за счет выбора ОС с необходимым набором функций, и малую стоимость владения за счет отказа от оплачивания порой крайне дорогих, но абсолютно ненужных vendor-specific особенностей. Вряд ли кто-то будет оспаривать удобность того, что можно купить сервер одного производителя, поставить на него ОС другого, и дополнить ее программным обеспечением третьего. На наш взгляд, настало время принести эту идеологию открытых систем и в мир сетевого оборудования.

Если есть желание «потрогать» такие коммутаторы и посмотреть, на что способны открытые сетевые ОС — пишите, у нас есть возможность организовать тестирование.

Источник

Что такое «spine and leaf»-архитектура?

Чем больше различные облачные сервисы и распределенные вычисления отвоевывают себе место в дата-центрах, тем чаще приходится задумываться о неудобствах традиционной трехуровневой сетевой модели.

Традиционная модель «ядро-агрегация-доступ» хорошо работает для трафика, который движется, что называется «по вертикали» – то есть от серверов за пределы дата-центра, или наоборот.

Так как же организовать сеть, если у вас много «горизонтального» трафика, например, между различными серверами? На помощь приходит конфигурация «ствол и листья» иногда еще такую конфигурацию называют «распределенным ядром», а на английском как правило используется «spine and leaf» или «leaf-spine». Вендоры также часто используют слова «Ethernet fabric» («ткань Ethernet») – это то же самое.

О коммутаторах «ствола» можно думать как о большом, распределенном ядре, только вместо одного-двух коммутаторов-монстров «ядра» оно сформировано из большого числа коммутаторов «ствола» с высокой плотностью портов, причем зависимость от каждого конкретно коммутатора снижается с ростом сети

Плюсы такой конфигурации следующие:

В статье использованы материалы Network Surgeon и TechTarget.

Аренда юнитов – одна из основных услуг, предлагаемых ЦОД Xelent. Клиенты могут разместить серверное оборудование в дата-центре Москвы или Санкт-Петербурга, что позволяет организовать геораспределенные решения.

Источник

Технологии ЦОД: общая информация по коммутаторам QFX

В статье рассмотрены основные принципы построения сетей в центрах обработки данных, приведены примеры аппаратных решений от компании Juniper Networks. Глубокого технического анализа она не несет, но возможно будет полезна тем кто собирается организовать свой первый небольшой центр обработки данных, или присматривается к альтернативным решениям и новым возможностям в уже существующих ЦОД.

Ни одного коммутатора или ЦОДа в процессе написания статьи не пострадало!

Тема построения сетей связи в центрах обработки данных уже далеко не нова на сегодняшний день. Это направление сейчас находится в стадии бурного развития, что обосновано все возрастающими потребностями по хранению информации, а также массовой миграцией сервисов и технологий в «облака».

В связи с этим, требования к сетям передачи данных в ЦОД повышаются каждый день. Это заставляет человечество разрабатывать новые технологии управления сетью, обработки трафика и работы оборудования. Оптимизировать существующие решения, и конечно снижать нагрузку на человекоресурсы, дабы исключить ошибки связанные с человеческим фактором.

Leaf. Оборудование уровня доступа, куда подключаются сервера в центре обработки данных. Это коммутаторы Top of Rack, с большой плотностью портов. Как можно увидеть из рисунка, все оборудование Leaf включается отдельными линиями в каждый коммутатор уровня Spine. Это позволяет достигнуть высокого уровня резервирования и отказоустойчивости.

В результате, мы получаем схему, в которой потоки трафика проходят через оборудование уровня Spine. Такое распределение потоков трафика может показаться не оптимальным в случае, если оба сервера, источник и получатель подключены к одному коммутатору уровня Leaf. И это правильно, в таком случае трафик проходит напрямую через коммутатор Leaf не поднимаясь на уровень выше.

Аббревиатура QFX не несет никакого логического смысла, поэтому не будем вдаваться в смысл этих трех букв. Данное оборудование разработано и представлено на рынке компанией Juniper Networks, занимающей передовые позиции по разработке и производству телекоммуникационного оборудования.

Вопросами коммутации и маршрутизации в центрах обработки данных в наше время занимается любой уважающий себя производитель телекоммуникационного оборудования, будь то Cisco, Arista, Extreme и некоторые другие.

Интересную позицию занимают производители сетевого программного обеспечения, которое возможно использовать совместно с оборудованием без предустановленного ПО, либо напрямую на серверных платформах. Развитие этого направления происходит в тесном сотрудничестве с производителями телекоммуникационного оборудования, создающих новые продукты и технологии.

Вернемся к оборудованию QFX от компании Juniper Networks. Вся серия была разработана с учетом потребностей центров обработки данных. Программное обеспечение написано с учетом необходимого функционала, архитектура оборудования учитывает требования по отказоустойчивости и резервированию.

В зависимости от серии, оборудование построено на чипах компании Broadcom, либо на собственных разработках компании Juniper. И тот, и другой вариант имеет свои плюсы и минусы.

QFX51xx поддерживает резервирование блоков питания по схеме AC/AC, DC/DC.

QFX5100 построен на более старой версии чипа Trident 2+ и на мой скромный взгляд уже достоин отправиться на пенсию, уступая дорогу своему старшему брату QFX5110.

QFX5110 – более новая модель в серии 51хх, построенная на обновленной версии чипа Trident 2+. На мой взгляд, сейчас это лучшее из доступных решений у компании Juniper для работы в качестве Leaf-устройств.

В целом, можно отметить большую плотность портов 10 Гбит/с для включения оконечных устройств, и довольно «широкие» аплинк-порты 100 Гбит/с, что позволяет получить уровень переподписки на аплинк до «1:1.2» при полной загрузке коммутатора модели 5110. Я считаю, что это хороший показатель.

Небольшая сравнительная таблица:

Рассмотрим серию QFX52хх. Оборудование данной серии представлено двумя моделями QFX5200, а также QFX5210. Вся серия построена на чипе Broadcom Tomahawk первого поколения. Это накладывает свои ограничения на функциональность и производительность решения. Серия позиционируется как Spine-устройства небольших центров обработки данных, либо как Leaf-устройства, если необходимо подключать оконечное оборудование 25 Гбит/с Это обусловлено высокой плотностью портов QSFP28 и тем, что оборудование построено на коммерческом чипе от компании Broadcom, с ограниченным функционалом.

QFX52xx поддерживает резервирование блоков питания по схеме AC/AC, DC/DC.

Все сказанное выше о работе ПО на оборудовании QFX51xx справедливо и для серии QFX52xx. Операционная система Junos OS работает так же, как виртуальная машина, с возможностью проводить TISSU.

В конечном итоге, мы получаем большую плотность портов 100 Гбит/с за относительно небольшие деньги, что делает данное оборудованием хорошим решением уровня Spine в небольших и средних центрах обработки данных. Также, хочется отметить тот момент, что оборудование позволяет осуществить миграцию уровня Leaf на скорости 25 Гбит/с

Коммутаторы QFX10k выпускаются в фиксированном и в модульном исполнении.

QFX100xx является коммутатором модульного исполнения. Это большие шасси с возможностью подключения различных типов линейных карт, обеспечивающими поддержку разнообразных видов интерфейсов (SFP, SFP+,SFP28, QSFP+, QSFP28). Оборудование позволяет использовать резервирование компонент внутри одного шасси, таких как модули управления, линейные карты.

Серия включает в себя шасси с возможностью включения 8 либо 16 линейных карт.

На сегодняшний день оборудование QFX10к занимает лидирующие позиции в сегменте «Spine-устройства» для сетей центров обработки данных. Коммутаторы составляют сильную конкуренцию оборудованию других производителей, в данном сегменте.

Все оборудование поддерживает механизмы удаленной конфигурации NetConf, сбор статистики и аналитики с применением Junos Telemetry.

В заключении, предлагаю рассмотреть логические варианты построения сетей связи в центрах обработки данных.

Мы по-прежнему рассматриваем производителя Juniper Networks.

В данной статье я провел общий обзор принципов построения сетей для центров обработки данных, а также привел возможности использования оборудования и решений компании Juniper Networks для их реализации.

Все фотоматериалы любезно предоставлены компанией Juniper Networks в лице инженера Бугакова Евгения. За что ему отдельное спасибо.

Источник