system overview что это
system overview
Смотреть что такое «system overview» в других словарях:
System z — System z9 Typ 2094 System z9 Typ 2094, mit geöffneten Fronttüren und ausgeklapptem Suppor … Deutsch Wikipedia
Overview and Scrutiny — is a function of local authorities in England and Wales. It was introduced by the Local Government Act 2000 which created separate Executive and Overview and Scrutiny functions within councils. Councils operating Executive Arrangements are… … Wikipedia
System Center Data Protection Manager — Developer(s) Microsoft Corporation Stable release DPM 2010 / April 19, 2010; 18 months ago (2010 04 19) Development status Active … Wikipedia
System Architecture Evolution — (aka SAE) is the core network architecture of 3GPP s LTE wireless communication standard. SAE is the evolution of the GPRS Core Network, with some differences: simplified architecture all IP Network (AIPN) support for higher throughput and lower… … Wikipedia
System of systems engineering — (SoSE) is a set of developing processes, tools, and methods for designing, re designing and deploying solutions to System of Systems challenges. Overview System of Systems Engineering (SoSE) methodology is heavily used in Department of Defense… … Wikipedia
System requirements (Spacecraft system) — System requirements in Spacecraft systems are the specific system requirements needed to design and operate a spacecraft or a Spacecraft subsystem. Overview [ V Model of the general Systems Development Life Cycle.… … Wikipedia
System Center Virtual Machine Manager — Microsoft System Center Virtual Machine Manager приложение для управления центром обработки данных с помощью виртуальной инфраструктуры в масштабах предприятия. Диспетчер повышает процент использования ресурсов физических серверов,… … Википедия
System context diagram — Example of a System context diagram.[1] A System Context Diagram (SCD) in software engineering and systems engineering is a diagram that represents the actors outside a system that could interact with that system … Wikipedia
System identification — In control engineering, the field of system identification uses statistical methods to build mathematical models of dynamical systems from measured data. System identification also includes the optimal design of experiments for efficiently… … Wikipedia
overview */ — UK [ˈəʊvə(r)ˌvjuː] / US [ˈoʊvərˌvju] noun [countable] Word forms overview : singular overview plural overviews 1) a description of the main features of something overview of: The book gives an overview of the period of French rule. 2) knowledge… … English dictionary
Как мы работаем с логами (сбор логов с сервера, возможность визуализации данных при помощи Graylog)
Привет! Это вторая часть статьи, в которой мы будем разбирать практическое применение платформы Graylog.
В первой части мы разобрали как платформу установить и произвести ее базовую настройку, а сегодня рассмотрим пару примеров применения ее возможностей на практике.
В частности, разберем настройку сбора логов с веб-сервера и возможность визуализировать полученные данные.
Настраиваем сбор логов с сервера
Работаем в web-интерфейсе:
Начнем со сбора syslog
Создаём UDP Input для системных логов:
System/Overview → Inputs
Выбираем тип Input-а:
Select input → Syslog UDP
Нажимаем кнопку Launch new input.
Внимание!
Остальные значения можно оставить по умолчанию:
Сохраняем конфигурацию, получаем работающий Input:
Для проверки работы Input выполним со своей рабочей станции или с любого другого хоста с linux/mac:
Переходим в веб-интерфейсе Show received messages, видим полученное сообщение.
Настройки для сервера с которого собираем логи:
Уменьшаем количество логов
В CentOS 7 в /var/log/messages, как правило видим много спама, примерно такого:
Данные сообщения не несут для нас полезной информации, можем их отключить:
Передаём логи в Graylog:
Если передаём данные по UDP, как сейчас настроено в инпуте Graylog-а:
Но если нужно по TCP, добавляем ещё одну “@”:
После редактирования делаем рестарт сервиса:
Проверяем наличие данных от хоста в Graylog-е.
На этом настройку сбора syslog считаем завершённой. На случай чрезвычайных ситуаций, или просто для информации, полезны будут оповещения о событиях (ошибках дисков, нехватке памяти, логинах, etc).
Настраиваем оповещения
Alerts → Alerts & Events → Get Started!
Шаг 1: “Event Details”:
Title: oom-killer invoked
Description (Optional): oom-killer was invoked on server or virtual machine
Шаг 2: “Filter & Aggregation”:
Condition Type: Filter & Aggregation
Search Query: «oom-killer»
(Тут правила построения запроса)
Streams (Optional): All messages
Search within the last: 10 minutes
Execute search every: 10 minutes
Устанавливаем чекбокс Enable
Create Events for Definition if… Filter has results
Если в логах уже есть такое событие, можно будет наблюдать его в Filter preview.
Шаг 4: «Notifications» → Add Notification:
Choose Notification: Create New Notification.
Title: Slack notification
Notification Type: Slack Notification
Configuration Color: можно выбрать цвет
Channel: #monit (в какой канал будут приходить данные уведомления).
Custom Message (optional): можно выбрать какие поля оставляем в сообщении.
Остальные настройки можно оставить по умолчанию.
В Notification Settings ничего изменять не будем:
Шаг 5: «Summary»: Ещё раз удостоверимся что настройки верны.
Нажимаем Done.
Тестируем оповещение. На хосте, с которого собираем syslog пишем маленькую программку на С:
Компилируем и запускаем. Скрипт занимает всю доступную память, после чего приходит oom-killer и его убивает:
В /var/log/messages можем наблюдать данный процесс:
В Slack видим оповещение о событии (здесь сообщение стандартное, по умолчанию, но его можно кастомизировать под ваши требования):
Graylog Sidecar
Graylog может собирать также логи сервисов, и вообще практически любые логи.
Будем использовать Graylog Sidecar для управления конфигурацией и бэкенд Filebeat, который собирает события и отправляет на Graylog-сервер. Схема работы для данного кейса:
Мы будем работать с access-логами веб-сервера nginx, работающего под CentOS linux.
Готовые контент-паки для различных сервисов (apache, nginx, …) различной степени свежести есть тут.
Но, чтобы разобраться как всё работает мы пойдём своим путём.
Получаем токен
System → Sidecars:
Нажимаем на ссылку:
Do you need an API token for a sidecar? Create or reuse a token for the graylog-sidecar user
Ранее созданные токены также можно найти по этой ссылке.
Token Name: myToken
Нажимаем кнопку Create Token
Там же можно скопировать его в буфер обмена, если нужно кнопкой Copy to clipboard, предварительно убрав чекбокс Hide Tokens.
System → Inputs:
Выбираем тип инпута Beats, жмём Launch New Input
Настройка в данном случае практически не отличается от той, что делали для syslog
Устанавливаем чекбокс Global:
Остальное оставляем по умолчанию (разумеется, в продакшн-среде, особенно при передаче сенситивных данных нужно будет добавить SSL-сертификаты, но пока обойдемся без них).
Нажимаем кнопку Save.
Не забываем добавить правило для 5044/tcp в Firewall.
Также нужен будет 443-й порт, но он у нас уже должен быть открыт:
System → Sidecars → Configuration
В секции Configuration нажимаем кнопку Create Configuration:
Configuration color: можно выбрать желаемый цвет
collector: filebeat on linux
Configuration редактируем следующим образом
Нажимаем кнопку Create:
Далее необходимо установить менеджер конфигурации и коллектор на хосте, с которого будет производиться сбор логов:
Sidecar
Обязательно, вносим в файл конфигурации строки:
filebeat
Не забываем про правило firewall с соответствующим портом, если это необходимо:
Теперь Sidecar должен быть виден в System → Sidecars → Overview
Назначим созданную конфигурацию на этот Sidecar.
Нажимаем кнопку Administration:
filebeat → Configure → выбираем нужную конфигурацию:
В открывшемся поп-апе подтверждаем, что всё верно → Confirm:
Идём в System → Inputs, на инпуте graylog-sidecar нажимаем Show received messages,
наблюдаем логи nginx:
Extractor
System → Inputs → Manage extractors
Выбираем нужный Sidecar, затем нажимаем кнопку Load Message
Recent message выбирает последнее пришедшее сообщение, но удобнее выбрать нужное сообщение по message_id и index.
Парсить будем само сообщение:
На поле message нажимаем Select extractor type → Grok pattern
Лог nginx по умолчанию имеет формат (можем найти его в nginx.conf):
Grok pattern будет выглядеть так:
Нажимаем Try against example и в Extractor preview проверяем правильность паттерна:
Остальные параметры можно оставить по умолчанию, только имя нужно будет указать:
Condition: Always try to extract
Extraction strategy: Copy
Extractor title: nginx combined
Нажимаем Create extractor
Переходим в меню System → Inputs → Show received messages, в инпуте graylog-sidecar.
Теперь все новые логи будут содержать отдельные поля message:
Поиск по логам стал намного проще, например:
При составлении запроса Graylog подсказывает параметры, что довольно удобно:
Также будет полезно создать Stream (поток).
Он нам нужен будет в дальнейшем:
Streams → Create stream
Description: Nginx access logs
Index Set: Default index set
Сохраняем кнопкой Save
Stream создан, но пока неактивен.
Добавляем правило для этого потока (кнопка Manage Rules):
Выбираем нужный Input, создаём правило (кнопка Add stream rule).
В поп-апе New Stream Rule:
Требуется все сообщения из Sidecar-а поместить в этот поток, поэтому:
Сохраняем кнопкой Save.
Правило добавлено, сохраняем кнопкой I’m done!:
Запускаем поток: Start stream.
Нажав на имя потока Sidecars можем также просматривать сообщения в нём и производить поиск по этим сообщениям.
Немного бесполезного, но красивого
На этапе установки, в первой части статьи мы прикрутили к graylog-у базу geoip.
Теперь посмотрим, как её использовать, а также выведем карту мира, визуально демонстрирующую, откуда к нам на сайт приходят посетители.
Создаём data adapter
System → Lookup Tables → кнопка Data Adapters → Create data adapter:
Description: GeoIP Lookup Table
File Path: /etc/graylog/server/GeoLite2-City.mmdb
Database type: City database
Остальное по умолчанию.
Для завершения нажимаем кнопку Create adapter.
Создаём Caches:
System → Lookup Tables → кнопка Caches → кнопка Create cache
Cache Type: Node-local, in-memory cache
Description: GeoIP Cache
Остальное можно оставить по умолчанию.
Нажимаем кнопку Create Cache:
Создаём Lookup table:
System → Lookup Tables → Lookup Tables (активна по умолчанию) → Create Lookup Table
Description: GeoIP Lookup
Data Adapter: GeoIP (geoip)
Нажимаем кнопку Create Lookup Table:
Создаём Pipeline (пайплайны позволяют обрабатывать сообщения из потоков):
System → Pipelines → кнопка Manage rules → кнопка Create Rule
Description: Incoming connections
Нажимаем кнопку Save&Close.
Теперь пайплайн:
System → Pipelines → кнопка Manage pipelines → кнопка Add new pipeline
Description: Incoming connections
Наблюдаем сообщение, что только что созданный пайплайн не подключен ни к одному потоку:
Нажимаем кнопку Edit connections, подключаем:
А также в Stage 0 нажимаем Edit и добавляем к нему правило:
Идём в Streams → Sidecars, смотрим новые сообщения.
Проблема возникает из-за порядка обработки правил.
Идём в System → Configurations
1 AWS Instance Name Lookup
3 Pipeline Processor
4 Message Filter Chain
1 AWS Instance Name Lookup
3 Message Filter Chain
4 Pipeline Processor
Нажимаем кнопку Update, перетаскиванием располагаем правила в правильном порядке:
Снова идём в Streams → Sidecars, смотрим новые сообщения и видим в них искомые геоданные:
Теперь будем смотреть красивую карту:
В Streams → Sidecars добавляем Aggregation:
Нажимаем Edit:
Visualization type: World Map
Сохраняем: Save
Теперь можно визуально оценить откуда к нам на сайт приходят посетители:
На этом всё, надеемся, что данная информация будет вам полезна.
Данная статья изначально появилась в виде заметки / howto для внутреннего использования, поэтому может местами быть немного запутанной. Ждем ваши вопросы, предложения и замечания в комментариях!
Дата-центр ITSOFT — размещение и аренда серверов и стоек в двух дата-центрах в Москве. За последние годы UPTIME 100%. Размещение GPU-ферм и ASIC-майнеров, аренда GPU-серверов, лицензии связи, SSL-сертификаты, администрирование серверов и поддержка сайтов.
Беглый обзор IBM Power Systems
Год назад, как участник академ. программы IBM, я прослушал курс IBM AIX 6 Jumpstart for UNIX Professionals в московском офисе IBM. Инструктор осветил большинство тем, чтобы опытный администратор Linux или UNIX сел за AIX и стал работать, а также рассказал основные положения линейки серверов IBM Power Systems. Как оказалось, это довольно интересные системы Enterprise уровня, которые предоставляют цельные бизнес системы, включающие в себя встроенные средства виртуализации, мониторинга, диагностики и т.д., которые поддерживаются и со стороны операционной системы.
Я не претендую на исчерпывающее описание архитектуры, статья — скорее экскурс в технологию, для общего развития.
И так, как я уже сказал, System P — это линейка серверов IBM, построенных на базе процессоров Power (RISC архитектура). Основное назначение — сервера приложений для бизнес систем: сервера баз данных, корпоративная переписка (например, Lotus) и разное middleware (промежуточное ПО) типа WebSphere.
На Power серверах работают 3 операционные системы: родной AIX, IBM i и, конечно же, Linux.
AIX — один из древнейших UNIX’ов, известен своей надежность, стабильностью, гибкостью и простоте управления (в основном это достигается благодаря SMIT — консольному конфигуратору системы, при помощи которого можно сделать очень много всего, не заморачиваясь с опциями командной строки). Меня поверг в шок при изучении этой системы тот факт, что на нее ставятся RPM пакеты из Linux! Под своей архитектурой, конечно, но все же. Не составило труда поставить на AIX родной mc: скачал RPM пакет для архитектуры ppc, скачал зависимости, и известной линуксоидам командой RPM я это все поставил.
IBM i — отдельная операционная система, которая мало похожа на всем известные семейства. Я о ней еще мало знаю, но друзья из банка, которые обслуживают AS/400 с IBM i, отзываются о ней как об одной из самых производительных операционок для СУБД DB2.
Linux для Power официально поддерживается только от двух производителей: RedHat, с их RHEL, и Novell, с их SLES. Сколько не искал табличку с описанием функций System P, которые не поддерживаются Linux, так и не нашел, но знаю, что такие есть. Например, очень не приятен тот факт, что ext3, в отличие от JFS2 из AIX, не поддерживает уменьшение размера раздела без отмонтирования, поэтому операции с уменьшением LVM раздела ведут к простою каких-либо сервисов.
Основные технологические «фишки» System P, выделяющие эту линейку из всего многообразия: развитый гипервизор, «ресурсы по запросу», гибкость и мобильность при построении и изменении инфраструктуры, эффективность потребления энергии, поддержка кластеризации для обеспечения высокой готовности. Цены, конечно, на первый взгляд кусаются, но в конечном итоге все перечисленные выше характеристики и технологии полностью окупают первоначальные затраты. Теперь по порядку:
Средства виртуализации
Это, наверное, самая интересная часть: в Power системах все операционки работают в виртуальных средах на базе гипервизора. Т.е. сервер может содержать несколько изолированных друг от друга «гостей», работающих одновременно, и разделяющих ресурсы. Каждый логический (виртуальный сервер) называется LPAR (Logical Partition Access Resources), в который и устанавливается операционная система. Максимальное количество LPAR на сервере зависит от количества процессоров и памяти: на один процессор можно создать максимум 10 LPAR, выделив на каждый LPAR минимальную долю в 0.1 часть ресурсов процессора и минимум по 256 Мб оперативной памяти. Теоретическое ограничение тоже есть: на 795 модели (последняя в линейке) можно создать максимум 254 LPAR. Таким образом можно оптимизировать нагрузку на сервера, поделив процессорный пул на виртуальные сервера, т.е. какому-то LPAR дать 0.5 процессора, а более нагруженному — 1.2.
Так же каждому LPAR выделяется дисковое пространство и сетевые карты. Этим занимается специальные сервер, который называется VIOS (Virtual I/O Server). Он консолидирует ресурсы: сетевые карты, дисковое пространство SAN или локальных дисков, и, согласно настройкам пользователя, отдает это все виртуальным машинам.
Но самое приятное предоставляет технология DLPAR (Dynamic Logical Partitioning): она позволяет динамически без остановки системы изменять количество ресурсов (доли процессора, память, интерфейсы ввода/вывода), выделенные для LPAR. Т.е. если я посмотрел на загрузку партиций и увидел, что одна в среднем использует 90% ресурсов, а другая 30%, я могу смело без остановки системы откусить ресурсов от второй партиции и отдать эти ресурсы первой.
Все управление гипервизором сваливается на одну из двух систем: IVM (Integrated Virtualization Manager) или HMC (Hardware Management Console). IVM идет в пакете к VIOS, и предоставляет удобный веб интерфейс для управления всем сервером. HMC — это уже отдельная машина с урезанной версией linux, которая потребуется для управления несколькими серверами. Тоже имеет удобный веб интерфейс и все сервера можно управлять прямо здесь. Веб интерфейс, конечно, можно и променять на консоль, система предоставляет оба варианта.
Ресурсы по запросу
Это скорее не фишка самой железяки, а фишка лицензирования. Она позволяет купить сервер с большИм количеством ресурсов, оставив некоторые неактивными, и заплатив за них только часть их стоимости, а затем, когда сервера уже будет не хватать, можно доплатить IBM за активацию и добавить необходимые ресурсы. Можно и не активировать все ресурсы на постоянной основе: можно активировать их на время и заплатить поминутно за использованные ресурсы. Это позволяет добавить ресурсов в моменты пиковых нагрузок, и не платить за них, когда сервер сравнительно простаивает.
Еще один довольно приятный момент: если, например, рабочий процессор выходит из строя, и есть не активированный процессор, то рабочий выключается, а неактивный включается, без доплат.
Мобильность
При построении инфраструктуры можно использовать версию PowerVM Enterprise Edition. Основная ее функция: Live Partition Mobility. Эта технология позволяет серверам пересылать друг другу LPAR’ы без их отключения даже при нагрузке. Конечно, желательно использовать быстрые каналы, SAN массивы и т.д., чтобы это все было быстро и клиенты этого даже не заметили. В IBM нам показывали как это происходит: загруженный LPAR за считанные секунды «переехал» из одного корпуса в другой, и начал там работать.
Однажды со студентами проводили эксперимент на виртуалбоксе: брали виртуальную машину и по локалке пытались переслать виртуальную машину на другой компьютер. Тогда эта функция была новой, только появилась в виртуалбоксе, и самое интересное, что она работала. Правда, как потом оказалось, только если виртуальная машина не нагружена. Стоило мне нагрузить ее — гипервизор выполнял 10 итераций и загинался с ошибкой. Само собой, 100 мегабитная локалка и общий storage в виде SMB ресурса в классе не сравнится с SAN массивом и 10ти гигабитной оптикой IBM, но попробовать стоило.
Эффективность потребления энергии
Сервера Power имеют встроенные системы управления энергопотреблением и охлаждением, которые помогают сэкономить энергию и снизить затраты, обеспечивают лучшую производительность в пересчете на ватт, а продукт Advanced POWER Virtualization позволяет консолидировать не полностью загруженные сервера, напрасно расходующие электроэнергию. Кроме того, технология EnergyScale может обеспечить уникальные возможности в управлении питанием. Эти функции позволяют пользователям измерять мощность, потребляемую компонентами системы, и настраивать политики так, чтобы работа серверной среды была эффективной с точки зрения потребления энергии.
Высокая готовность
Сервера на базе Power можно собирать в кластера, обеспечивая высокую доступность и кластерную мультиобработку. Такую технологию назвали PowerHA. Решение PowerHA обеспечивает автоматическое обнаружение сбоев, диагностику, восстановление приложений и реинтеграцию узлов. Вместе с соответствующей программной поддержкой, PowerHA может обеспечивать одновременный доступ к данным для приложений параллельной обработки, предлагая таким образом отличную масштабируемость.
Вывод: сервера на базе процессоров POWER обладают очень интересными технологическими инновациями и позволяют построить очень гибкую и устойчивую инфраструктуру.