бизнес интеллидженс что это
Business Intelligence: что это, сколько получают специалисты и какая в этом польза для бизнеса
На сегодняшний день одним из самых быстро развивающихся и перспективных IT направлений является Business Intelligence. Мы в Hays подготовили обзор основных требований к кандидатам на вакансии в области BI, а также проанализировали уровень заработных плат специалистов и факторы мотивации, причем как материальной, так и не материальной.
При поиске BI-специалистов работодатели редко ориентируются на отрасль компании и готовы смотреть широко. Для них важно, чтобы персонально сотрудник влился в корпоративную культуру компании. Поэтому кандидатам, которым комфортно работать в компаниях с жестким иерархическим и бюрократическим подходом, вряд ли подойдут компании со свободной и гибкой культурой. Некритичным является опыт работы с BI-решением, так как все имеющиеся на рынке решения идентичны и BI-специалистам, обладающим опытом в одном из них, будет несложно разобраться в новой системе. Наиболее популярными BI-решениями на рынке являются Power BI, Tableau и QlikView.
К специалистам разного уровня работодатели предъявляют определенные требования. Так, у специалистов уровня Junior предполагается наличие высшего профильного образования (информационные технологии, математика, статистика), уверенное владение Excel, знание или, желательно, опыт работы с одним из BI-решений.
Те, кто претендует на вакансию Middle-уровня, должны иметь опыт работы в роли BI-специалиста от двух лет, уметь писать SQL-запросы, а также иметь опыт разработки отчетов и дашбордов в одном из BI-решений.
К кандидатам на роль Senior-уровня работодатели предъявляют следующие требования: опыт работы в роли BI-специалиста от четырех лет, опыт разработки отчетов и дашбордов с нуля в одном из BI-решений, опыт работы с OLAP-кубами, а также глубокие знания архитектуры и функциональных возможностей BI-решений, опыт разработки и развития хранилища данных, умение общаться с бизнес-заказчиками.
Кандидатам, претендующим на вакансии руководителя отдела, необходимо будет продемонстрировать опыт руководства командой, умение разрабатывать стратегию развития BI, иметь опыт взаимодействия с топ-менеджментом, а также показать наличие реализованных BI-проектов в роли руководителя команды.
Для ряда компаний важно знание английского языка на разговорном уровне. Это связано с необходимостью вести коммуникацию с экспатами, работающими в российском офисе, либо с коллегами из зарубежных офисов.
Специалисты Junior-уровня могут претендовать на среднюю заработную плату 100 000 рублей ежемесячно. В зависимости от имеющихся навыков и опыта их зарплата на рынке варьируется от 70 000 рублей до 110 000 рублей в месяц.
Специалисты уровня Middle получают от 120 000 до 200 000 рублей ежемесячно.
Senior-специалисты в среднем по рынку могут рассчитывать на зарплату от 190 000 до 260 000 рублей в месяц.
А руководители отделов в зависимости от размеров компании, количества сотрудников, а также набора выполняемых задач получают от 290 000 до 700 000 рублей, а средняя заработная плата по Москве и Санкт-Петербургу — 450 000 рублей в месяц.
По опросам BI-специалистов, Hays выделил 3 основных фактора материальной мотивации. Во-первых, это возможность профессионального развития. Во-вторых, это возможность карьерного роста. И третий фактор — финансовый рост.
BI-специалисты определили два основных фактора нематериальной мотивации. Ими стали получение глубокой технической экспертизы и плотное общение с бизнесом. В отличие от многих других IT-специалистов, менее критичными факторами мотивации для BI-специалистов являются возможность работы на удаленной основе и релокация в зарубежные страны.
Специалистов, которых мотивирует первый фактор, могут заинтересовать вакансии, позволяющие изучать и использовать в работе новые технологии. Основной тенденцией среди таких кандидатов является применение технологий машинного обучения. Это обуславливается тем, что они в дальнейшем заинтересованы в переходе в область Data Science.
Кандидаты, заинтересованные в общении с заказчиком, ищут для себя вакансии на стыке IT и бизнеса. Им интересно глубоко погружаться в бизнес-процессы компании, общаться с внутренними заказчиками, выступать для них в роли партнера со стороны IT. Они стараются уходить от большого количества технических задач, хорошо понимают ценность функции BI для компании и в своей работе ориентируются прежде всего на требования бизнеса.
Что такое Business Intelligence
Существует огромное количество терминов: аналитика, data mining, анализ данных, business intelligence и разница между ними не всегда столь очевидна даже для людей, которые с этим связаны. Сегодня мы расскажем о том, что же такое Business Intelligence (BI) доступным и понятным языком. Тема безусловна огромна и её не покрыть лишь одной короткой статьей, но наша задача — помочь сделать первый шаг и заинтересовать читателя темой. Заинтересованный же читатель также найдет исчерпывающий список для дальнейших шагов.
Зачем всё это нужно: из жизни аналитика
Представим, нами (неким аналитиком Петровичем у поставщика Цветочек) стоит задача оценить продажи ряда магазинов (куда мы поставляем товар) и каждый магазин ведет свой учет проданных товаров. Реальность такова, что формы учета будут заполнены не пойми как и не пойми кем, то есть у них будет разная структура и разный формат хранения (некоторая форма таблиц). Схематично эта задача изображена на схеме выше.
Казалось бы задача несложная и поэтому рассмотрим лобовое решение: пусть у нас есть N таблиц и нам нужно их собрать вместе в одну таблицу, тогда напишем N скриптов, которые преобразуют эти таблицы и один сборщик, который собирает их вместе.
Если мы поднимемся на уровень целой организации, то увидим, что проблем даже больше.
В чем задача: проблема на уровне компании
Производитель Цветочек на самом деле работает не напрямую с магазинами, а через некоторых посредников. Посредники посещают магазины и непосредственно своими действиями пытаются стимулировать продажи. Соответственно, они являются материально заинтересованными лицами и информацию, которую они выдают, приходится перепроверять.
Принципиально, задача выглядит схожим образом: пусть у нас есть N магазинов и K дистрибьюторов, можем ли агрегировать данные магазинов и сравнить их с результатами дистрибьюторов? (У всех данные имеют разную структуру и формат.)
Здесь помимо таблиц, мы уже можем столкнуться с целым зоопарком форматов, к которым добавляются отчеты дистрибьюторов. Как правило задача характеризуется очень низким качеством данных, в том числе дублированием, несогласованностью и ошибками. На основе полученных результатов и сравнения данных, отдел по закупкам принимает решения о том сколько, кому и почем чего отгружать. То есть решение этой задачи непосредственно влияет на финансовые показатели компании, что безусловно важно.
Рассмотрим несколько вариантов решения на уровне компании:
В целом если мы говорим о небольшом или среднем производителе, то с точки зрения времени интеграции, цены и качества решения сервис выглядит оптимальным вариантом, так как ценообразование динамическое и интеграция минимальна через веб. Как правило плюсом корпоративного ПО является настраиваемость и касмтомизированность (каждый бизнес считает себя уникальным), но описанная задача достаточно типична и стандартна для достаточно широкого круга компаний. Безусловно, нет единого решения для всех, но для каждого в отдельности его можно найти.
Сам процесс на уровне компании выглядит схожим образом: консолидируется данные, определенным образом трансформируются (агрегируются) и загружаются в систему для анализа.
(кликабельно) 
Обобщаем задачу: всё это звенья одной цепи
В чём же разница между аналитикой, data mining и business intelligence (BI)? Первые включают в себя комплекс методов для анализа уже чистых данных, а на практике очистка и преобразование данных в удобный для анализа формат — важный и неотъемлемый процесс. Так же помимо работы с преобразованием и консолидацией данных, основная задача BI — это принятие решений для бизнеса.
Большая инфографика
В схематичной и немного упрощенной форме описывается задача консолидации данных. Если нет возможности заниматься изучением темы в деталях, то эта инфографика даёт хорошее первое приближение проблемы и возможных методов решения. (кликабельно; взято отсюда) 
С чем можно поэкспериментировать
Сервис бесплатен и доступен через веб — ссылка.
BI-системы: что это и зачем они нужны бизнесу
Статья подготовлена экспертами факультета BI-разработки GeekBrains.
На международных рынках компании-гиганты работают с миллионами, десятками, а кто-то — и с сотнями миллионов клиентов. С помощью интернета обо всех этих клиентах можно собирать самые разные данные: возраст, пол, образование, вкусы, предпочтения и т. д. Анализ этих данных помогает менеджерам ориентироваться в пространстве и времени, планировать спрос, оценивать перспективы развития и прорабатывать стратегии.
Компаниям нужно много данных, и за их хранение, как правило, отвечают администраторы баз данных. На основании анализа данных строятся и проверяются гипотезы для развития бизнеса. Этим занимаются аналитики.
В последнее время эти две группы всё чаще дополняются отделами Business Intelligence — бизнес-аналитики. Эти специалисты приводят сырые, неудобные данные в состояние, пригодное для бизнес-анализа. Сырые данные необходимо очищать от различных выбросов, дублей и других помех. А учитывая их объём, частое обращение к этим данным будет отнимать слишком много ресурсов.
Для изучения бизнес-метрик не нужны вообще все данные. Например, чтобы получить ежедневную динамику новых пользователей приложения, не нужны их id, пол и местоположение. Достаточно сделать таблицу, в которую для каждого дня проставляется количество новых пользователей — оно будет суммироваться. Таблица будет обновляться в нерабочее время, а днём сотрудники смогут работать с нужной статистикой.
Специалисты по BI готовят таблицы агрегированных данных (витрины), строят отчёты на основе полученных витрин (дашборды) и настраивают автоматическое обновление данных в этой системе. От стандартных отчётов дашборд отличается гибкостью и интерактивностью — в нём предусмотрены разные наборы фильтров, параметров и визуализаций. Дашборд можно назвать интерактивной аналитической панелью, где заказчик может просматривать данные в любом интересующем его разрезе.
BI-разработчики не скажут, как повлияет на ваши продажи новый продукт конкурента, но построят систему, где вы сможете проверить это сами.
Основные задачи BI
Сбор данных. BI-системы позволяют строить сложные виды отчётности, где можно объединить в одну таблицу данные из разнообразных источников — базы данных, файлы, онлайн-источники (Google Docs) и т. д.
Очистка и агрегация. Агрегация данных помогает не только избавиться от лишней информации, но и сэкономить память. При работе с большими объёмами данных имеет смысл разделять нагрузку при запросах: на первом этапе агрегируем данные и складываем в таблицу, на втором делаем запрос к этой таблице из дашборда.
Визуализация. BI-инструменты предоставляют множество вариантов визуализации данных: от обычных таблиц до различных Scatter Plots, которые можно применять для практически любого анализа. Нередко BI-инструменты дают возможность связывать различные визуализации друг с другом. Например, есть два графика с одинаковой цветовой легендой. Можно настроить так, чтобы при выделении одного из элементов легенды на первом графике этот же элемент подсвечивался/фильтровался на втором. Такие приёмы существенно ускоряют поиск нужной информации и упрощают анализ.
Быстрый доступ. Быстрый доступ к данным — огромная помощь в оперативном принятии решений. BI-разработчик может использовать единое пространство для дашбордов или другой инструмент — в любом случае доступ к информации значительно упрощается. Можно не ставить задачу аналитику, не писать собственноручно запрос к базе данных — достаточно открыть дашборд и отфильтровать там необходимую информацию. Особенно хорошо, если доступ к данным предоставляется в режиме реального времени.
Распределение доступа. BI-системы обычно располагают различными средствами распределения доступа, что помогает гибко настраивать процесс получения данных. Например, один и том же дашборд можно настроить так, чтобы разным пользователям были видны разные блоки данных.
Хорошо настроенная BI-система снимает с аналитиков и продуктовых команд часть нагрузки и освобождает время, которое они тратят на оперативную отчётность или постоянно повторяющиеся запросы к базе данных. Если формат отчётности зафиксирован, можно построить дашборд в соответствии с ним, и все необходимые данные будут отображаться автоматически. Один дашборд заменит множество еженедельных отчётов. Он будет хранить весь объём данных и заказчик сможет сам отфильтровать нужную ему информацию вместо того, чтобы ждать, пока эти данные ему пришлют.
Из чего состоят BI-системы?
BI-системы можно разделить на три основные составляющие:
Хранилище данных — база с сырыми и агрегированными данными, которые будут источником для аналитики (как для запросов к базе, так и для дашбордов).
ETL-система (Extract, Transform, Load) отвечает за подготовку и сбор агрегированных данных в витрины. Обычно это набор скриптов на языке программирования, каждый из которых берёт сырые данные из одних таблиц хранилища, обрабатывает их и отправляет в другие. Также ETL-система может использоваться для административных задач, например для резервного копирования или регулярного обновления дашбордов. ETL-системы может не быть, если в дашборд надо загружать небольшой объём данных и если не требуется использовать сложные запросы к БД.
BI-сервер/BI-инструмент. Почему через слеш? Потому что есть два основных подхода — поднимать BI-сервер или использовать только BI-инструмент.
BI-сервер — это место для хранения дашбордов, средство визуализации, а также система распределения доступов и автоматического обновления. Сотрудники строят дашборды у себя на компьютере, загружают результат работы на сервер, настраивают расписание обновления и права на просмотр.
BI-инструмент — это программная платформа для построения дашбордов и визуализаций. В этом случае компании экономят: не используют сервер, а строят дашборды на локальных компьютерах, загружают их в общее пространство (например, Git), а обновление дашбордов и отправку информации целевым пользователям настраивают в ручном режиме или с помощью языков программирования.
Хранение отчётов и данных в единой BI-системе обеспечивает прозрачную инфраструктуру и облегчает поиск информации.
О чём нужно подумать при внедрении BI
Проанализируйте источники данных, их объём и тип. Это позволит оценить необходимость разработки ETL-системы и правильно выбрать BI-инструмент.
Выберите BI-инструмент, подходящий вашим целям. Инструменты различаются возможностями визуализации, разнообразием источников данных, ценами и т. д. Самые известные инструменты рассмотрены в статье на Хабре. Также проанализируйте аудиторию будущих пользователей BI-системы, подумайте над распределением прав доступа и шаблонами дашбордов.
Определите необходимость разработки ETL-системы. Она зависит от того, насколько сложны запросы к данным и насколько большой их объём требуется анализировать. Если объём велик, для бесперебойной работы потребуется распределять нагрузку между BI-сервером и ETL-системой. Часто предобработку и агрегацию данных делают в ETL-системе, а в BI строят дашборды, опираясь на уже собранные таблицы. Это ускоряет работу и даёт возможность использовать агрегированные таблицы для нескольких отчётов одновременно.
Подумайте о правильной документации для своих дашбордов, о том, как обучить сотрудников ими пользоваться — например, запишите видеоинструкции.
Если вы хотите освоить BI-системы во всех подробностях, приглашаем на курс GeekBrains. Там подробно разбирается профессия BI-разработчика — от написания запросов к данным до построения всей инфраструктуры.
Заключение
Часто компании не решаются внедрять BI-системы из-за сложности развёртывания инфраструктуры с нуля. Это стандартная проблема смены парадигмы. Вроде и так всё работает, отчётность получаем вовремя — и хорошо. Однако развёртывание BI-систем — это серьёзная инвестиция в будущее компании, помогающая внедрить data-driven-подход — управление, основанное на данных. Его главный принцип: решения нужно принимать, опираясь на исторические и прогнозируемые данные, а не на интуицию и личный опыт. BI-системы внедряются небыстро, но если у всех сотрудников будет доступ к необходимым данным за любой период времени, это упростит принятие стратегически верных решений и многократно окупится. Не измеряешь — не управляешь.
Статья подготовлена экспертами факультета BI-разработки GeekBrains.
На международных рынках компании-гиганты работают с миллионами, десятками, а кто-то — и с сотнями миллионов клиентов. С помощью интернета обо всех этих клиентах можно собирать самые разные данные: возраст, пол, образование, вкусы, предпочтения и т. д. Анализ этих данных помогает менеджерам ориентироваться в пространстве и времени, планировать спрос, оценивать перспективы развития и прорабатывать стратегии.
Компаниям нужно много данных, и за их хранение, как правило, отвечают администраторы баз данных. На основании анализа данных строятся и проверяются гипотезы для развития бизнеса. Этим занимаются аналитики.
В последнее время эти две группы всё чаще дополняются отделами Business Intelligence — бизнес-аналитики. Эти специалисты приводят сырые, неудобные данные в состояние, пригодное для бизнес-анализа. Сырые данные необходимо очищать от различных выбросов, дублей и других помех. А учитывая их объём, частое обращение к этим данным будет отнимать слишком много ресурсов.
Для изучения бизнес-метрик не нужны вообще все данные. Например, чтобы получить ежедневную динамику новых пользователей приложения, не нужны их id, пол и местоположение. Достаточно сделать таблицу, в которую для каждого дня проставляется количество новых пользователей — оно будет суммироваться. Таблица будет обновляться в нерабочее время, а днём сотрудники смогут работать с нужной статистикой.
Специалисты по BI готовят таблицы агрегированных данных (витрины), строят отчёты на основе полученных витрин (дашборды) и настраивают автоматическое обновление данных в этой системе. От стандартных отчётов дашборд отличается гибкостью и интерактивностью — в нём предусмотрены разные наборы фильтров, параметров и визуализаций. Дашборд можно назвать интерактивной аналитической панелью, где заказчик может просматривать данные в любом интересующем его разрезе.
BI-разработчики не скажут, как повлияет на ваши продажи новый продукт конкурента, но построят систему, где вы сможете проверить это сами.
Основные задачи BI
Сбор данных. BI-системы позволяют строить сложные виды отчётности, где можно объединить в одну таблицу данные из разнообразных источников — базы данных, файлы, онлайн-источники (Google Docs) и т. д.
Очистка и агрегация. Агрегация данных помогает не только избавиться от лишней информации, но и сэкономить память. При работе с большими объёмами данных имеет смысл разделять нагрузку при запросах: на первом этапе агрегируем данные и складываем в таблицу, на втором делаем запрос к этой таблице из дашборда.
Визуализация. BI-инструменты предоставляют множество вариантов визуализации данных: от обычных таблиц до различных Scatter Plots, которые можно применять для практически любого анализа. Нередко BI-инструменты дают возможность связывать различные визуализации друг с другом. Например, есть два графика с одинаковой цветовой легендой. Можно настроить так, чтобы при выделении одного из элементов легенды на первом графике этот же элемент подсвечивался/фильтровался на втором. Такие приёмы существенно ускоряют поиск нужной информации и упрощают анализ.
Быстрый доступ. Быстрый доступ к данным — огромная помощь в оперативном принятии решений. BI-разработчик может использовать единое пространство для дашбордов или другой инструмент — в любом случае доступ к информации значительно упрощается. Можно не ставить задачу аналитику, не писать собственноручно запрос к базе данных — достаточно открыть дашборд и отфильтровать там необходимую информацию. Особенно хорошо, если доступ к данным предоставляется в режиме реального времени.
Распределение доступа. BI-системы обычно располагают различными средствами распределения доступа, что помогает гибко настраивать процесс получения данных. Например, один и том же дашборд можно настроить так, чтобы разным пользователям были видны разные блоки данных.
Хорошо настроенная BI-система снимает с аналитиков и продуктовых команд часть нагрузки и освобождает время, которое они тратят на оперативную отчётность или постоянно повторяющиеся запросы к базе данных. Если формат отчётности зафиксирован, можно построить дашборд в соответствии с ним, и все необходимые данные будут отображаться автоматически. Один дашборд заменит множество еженедельных отчётов. Он будет хранить весь объём данных и заказчик сможет сам отфильтровать нужную ему информацию вместо того, чтобы ждать, пока эти данные ему пришлют.
Из чего состоят BI-системы?
BI-системы можно разделить на три основные составляющие:
Хранилище данных — база с сырыми и агрегированными данными, которые будут источником для аналитики (как для запросов к базе, так и для дашбордов).
ETL-система (Extract, Transform, Load) отвечает за подготовку и сбор агрегированных данных в витрины. Обычно это набор скриптов на языке программирования, каждый из которых берёт сырые данные из одних таблиц хранилища, обрабатывает их и отправляет в другие. Также ETL-система может использоваться для административных задач, например для резервного копирования или регулярного обновления дашбордов. ETL-системы может не быть, если в дашборд надо загружать небольшой объём данных и если не требуется использовать сложные запросы к БД.
BI-сервер/BI-инструмент. Почему через слеш? Потому что есть два основных подхода — поднимать BI-сервер или использовать только BI-инструмент.
BI-сервер — это место для хранения дашбордов, средство визуализации, а также система распределения доступов и автоматического обновления. Сотрудники строят дашборды у себя на компьютере, загружают результат работы на сервер, настраивают расписание обновления и права на просмотр.
BI-инструмент — это программная платформа для построения дашбордов и визуализаций. В этом случае компании экономят: не используют сервер, а строят дашборды на локальных компьютерах, загружают их в общее пространство (например, Git), а обновление дашбордов и отправку информации целевым пользователям настраивают в ручном режиме или с помощью языков программирования.
Хранение отчётов и данных в единой BI-системе обеспечивает прозрачную инфраструктуру и облегчает поиск информации.
О чём нужно подумать при внедрении BI
Проанализируйте источники данных, их объём и тип. Это позволит оценить необходимость разработки ETL-системы и правильно выбрать BI-инструмент.
Выберите BI-инструмент, подходящий вашим целям. Инструменты различаются возможностями визуализации, разнообразием источников данных, ценами и т. д. Самые известные инструменты рассмотрены в статье на Хабре. Также проанализируйте аудиторию будущих пользователей BI-системы, подумайте над распределением прав доступа и шаблонами дашбордов.
Определите необходимость разработки ETL-системы. Она зависит от того, насколько сложны запросы к данным и насколько большой их объём требуется анализировать. Если объём велик, для бесперебойной работы потребуется распределять нагрузку между BI-сервером и ETL-системой. Часто предобработку и агрегацию данных делают в ETL-системе, а в BI строят дашборды, опираясь на уже собранные таблицы. Это ускоряет работу и даёт возможность использовать агрегированные таблицы для нескольких отчётов одновременно.
Подумайте о правильной документации для своих дашбордов, о том, как обучить сотрудников ими пользоваться — например, запишите видеоинструкции.
Если вы хотите освоить BI-системы во всех подробностях, приглашаем на курс GeekBrains. Там подробно разбирается профессия BI-разработчика — от написания запросов к данным до построения всей инфраструктуры.
Заключение
Часто компании не решаются внедрять BI-системы из-за сложности развёртывания инфраструктуры с нуля. Это стандартная проблема смены парадигмы. Вроде и так всё работает, отчётность получаем вовремя — и хорошо. Однако развёртывание BI-систем — это серьёзная инвестиция в будущее компании, помогающая внедрить data-driven-подход — управление, основанное на данных. Его главный принцип: решения нужно принимать, опираясь на исторические и прогнозируемые данные, а не на интуицию и личный опыт. BI-системы внедряются небыстро, но если у всех сотрудников будет доступ к необходимым данным за любой период времени, это упростит принятие стратегически верных решений и многократно окупится. Не измеряешь — не управляешь.