бит дата что такое
Что такое Big Data и почему их называют «новой нефтью»
Что такое Big Data?
Big Data или большие данные — это структурированные или неструктурированные массивы данных большого объема. Их обрабатывают при помощи специальных автоматизированных инструментов, чтобы использовать для статистики, анализа, прогнозов и принятия решений.
Сам термин «большие данные» предложил редактор журнала Nature Клиффорд Линч в спецвыпуске 2008 года [1]. Он говорил о взрывном росте объемов информации в мире. К большим данным Линч отнес любые массивы неоднородных данных более 150 Гб в сутки, однако единого критерия до сих пор не существует.
До 2011 года анализом больших данных занимались только в рамках научных и статистических исследований. Но к началу 2012-го объемы данных выросли до огромных масштабов, и возникла потребность в их систематизации и практическом применении.
С 2014 на Big Data обратили внимание ведущие мировые вузы, где обучают прикладным инженерным и ИТ-специальностям. Затем к сбору и анализу подключились ИТ-корпорации — такие, как Microsoft, IBM, Oracle, EMC, а затем и Google, Apple, Facebook и Amazon. Сегодня большие данные используют крупные компании во всех отраслях, а также — госорганы. Подробнее об этом — в материале «Кто и зачем собирает большие данные?»
Какие есть характеристики Big Data?
Компания Meta Group предложила основные характеристики больших данных [2]:
Сегодня к этим трем добавляют еще три признака [3]:
Как работает Big Data: как собирают и хранят большие данные?
Большие данные необходимы, чтобы проанализировать все значимые факторы и принять правильное решение. С помощью Big Data строят модели-симуляции, чтобы протестировать то или иное решение, идею, продукт.
Главные источники больших данных:
С 2007 года в распоряжении ФБР и ЦРУ появилась PRISM — один из самых продвинутых сервисов, который собирает персональные данные обо всех пользователях соцсетей, а также сервисов Microsoft, Google, Apple, Yahoo и даже записи телефонных разговоров.
Современные вычислительные системы обеспечивают мгновенный доступ к массивам больших данных. Для их хранения используют специальные дата-центры с самыми мощными серверами.
Помимо традиционных, физических серверов используют облачные хранилища, «озера данных» (data lake — хранилища большого объема неструктурированных данных из одного источника) и Hadoop — фреймворк, состоящий из набора утилит для разработки и выполнения программ распределенных вычислений. Для работы с Big Data применяют передовые методы интеграции и управления, а также подготовки данных для аналитики.
Big Data Analytics — как анализируют большие данные?
Благодаря высокопроизводительным технологиям — таким, как грид-вычисления или аналитика в оперативной памяти, компании могут использовать любые объемы больших данных для анализа. Иногда Big Data сначала структурируют, отбирая только те, что нужны для анализа. Все чаще большие данные применяют для задач в рамках расширенной аналитики, включая искусственный интеллект.
Выделяют четыре основных метода анализа Big Data [4]:
1. Описательная аналитика (descriptive analytics) — самая распространенная. Она отвечает на вопрос «Что произошло?», анализирует данные, поступающие в реальном времени, и исторические данные. Главная цель — выяснить причины и закономерности успехов или неудач в той или иной сфере, чтобы использовать эти данные для наиболее эффективных моделей. Для описательной аналитики используют базовые математические функции. Типичный пример — социологические исследования или данные веб-статистики, которые компания получает через Google Analytics.
«Есть два больших класса моделей для принятия решений по ценообразованию. Первый отталкивается от рыночных цен на тот или иной товар. Данные о ценниках в других магазинах собираются, анализируются и на их основе по определенным правилам устанавливаются собственные цены.
Второй класс моделей связан с выстраиванием кривой спроса, которая отражает объемы продаж в зависимости от цены. Это более аналитическая история. В онлайне такой механизм применяется очень широко, и мы переносим эту технологию из онлайна в офлайн».
2. Прогнозная или предикативная аналитика (predictive analytics) — помогает спрогнозировать наиболее вероятное развитие событий на основе имеющихся данных. Для этого используют готовые шаблоны на основе каких-либо объектов или явлений с аналогичным набором характеристик. С помощью предикативной (или предиктивной, прогнозной) аналитики можно, например, просчитать обвал или изменение цен на фондовом рынке. Или оценить возможности потенциального заемщика по выплате кредита.
3. Предписательная аналитика (prescriptive analytics) — следующий уровень по сравнению с прогнозной. С помощью Big Data и современных технологий можно выявить проблемные точки в бизнесе или любой другой деятельности и рассчитать, при каком сценарии их можно избежать их в будущем.
4. Диагностическая аналитика (diagnostic analytics) — использует данные, чтобы проанализировать причины произошедшего. Это помогает выявлять аномалии и случайные связи между событиями и действиями.
Например, Amazon анализирует данные о продажах и валовой прибыли для различных продуктов, чтобы выяснить, почему они принесли меньше дохода, чем ожидалось.
Данные обрабатывают и анализируют с помощью различных инструментов и технологий [6] [7]:
Как отметил в подкасте РБК Трендов менеджер по развитию IoT «Яндекс.Облака» Александр Сурков, разработчики придерживаются двух критериев сбора информации:
Чтобы обрабатывать большие массивы данных в режиме онлайн используют суперкомпьютеры: их мощность и вычислительные возможности многократно превосходят обычные. Подробнее — в материале «Как устроены суперкомпьютеры и что они умеют».
Big Data и Data Science — в чем разница?
Data Science или наука о данных — это сфера деятельности, которая подразумевает сбор, обработку и анализ данных, — структурированных и неструктурированных, не только больших. В ней используют методы математического и статистического анализа, а также программные решения. Data Science работает, в том числе, и с Big Data, но ее главная цель — найти в данных что-то ценное, чтобы использовать это для конкретных задач.
В каких отраслях уже используют Big Data?
Павел Иванченко, руководитель по IoT «МегаФона»:
«IoT-решение из области так называемого точного земледелия — это когда специальные метеостанции, которые стоят в полях, с помощью сенсоров собирают данные (температура, влажность) и с помощью передающих радио-GSM-модулей отправляют их на IoT-платформу. На ней посредством алгоритмов big data происходит обработка собранной с сенсоров информации и строится высокоточный почасовой прогноз погоды. Клиент видит его в интерфейсе на компьютере, планшете или смартфоне и может оперативно принимать решения».
Big Data в России и мире
По данным компании IBS [8], в 2012 году объем хранящихся в мире цифровых данных вырос на 50%: с 1,8 до 2,7 Збайт (2,7 трлн Гбайт). В 2015-м в мире каждые десять минут генерировалось столько же данных, сколько за весь 2003 год.
По данным компании NetApp, к 2003 году в мире накопилось 5 Эбайтов данных (1 Эбайт = 1 млрд Гбайт). В 2015-м — более 6,5 Збайта, причем тогда большие данные использовали лишь 17% компаний по всему миру [9]. Большую часть данных будут генерировать сами компании, а не их клиенты. При этом обычный пользователь будет коммуницировать с различными устройствами, которые генерируют данные, около 4 800 раз в день.
Сейчас в США с большими данными работает более 55% компаний [11], в Европе и Азии — около 53%. Только за последние пять лет распространение Big Data в бизнесе выросло в три раза.
В Китае действует более 200 законов и правил, касающихся защиты личной информации. С 2019 года все популярные приложения для смартфонов начали проверять и блокировать, если они собирают данные о пользователях вопреки законам. В итоге данные через местные сервисы собирает государство, и многие из них недоступны извне.
С 2018 года в Евросоюзе действует GDPR — Всеобщий регламент по защите данных. Он регулирует все, что касается сбора, хранения и использования данных онлайн-пользователей. Когда закон вступил в силу год назад, он считался самой жесткой в мире системой защиты конфиденциальности людей в Интернете.
В России рынок больших данных только зарождается. К примеру, сотовые операторы делятся с банками информацией о потенциальных заемщиках [12]. Среди корпораций, которые собирают и анализируют данные — «Яндекс», «Сбер», Mail.ru. Появились специальные инструменты, которые помогают бизнесу собирать и анализировать Big Data — такие, как российский сервис Ctrl2GO.
Big Data в бизнесе
Большие данные полезны для бизнеса в трех главных направлениях:
Крупные компании — такие, как Netflix, Procter & Gamble или Coca-Cola — с помощью больших данных прогнозируют потребительский спрос. 70% решений в бизнесе и госуправлении принимается на основе геоданных. Подробнее — в материале о том, как бизнес извлекает прибыль из Big Data.
Каковы проблемы и перспективы Big Data?
Главные проблемы:
Плюсы и перспективы:
В ближайшем будущем большие данные станут главным инструментом для принятия решений — начиная с сетевых бизнесов и заканчивая целыми государствами и международными организациями [15].
bit data
Смотреть что такое «bit data» в других словарях:
Data General Nova — System Data General Nova 1200 front panel … Wikipedia
Data General Eclipse — S/130 front panel Data General microEclipse microprocesso … Wikipedia
Data Format Description Language — (DFDL, often pronounced daff o dil) is a modeling language from the Open Grid Forum for describing general text and binary data. A DFDL model or schema allows any text or binary data to be read (or parsed ) from its native format and to be… … Wikipedia
Bit — This article is about the unit of information. For other uses, see Bit (disambiguation). Fundamental units of information bit (binary) nat (base e) ban (decimal) qubit (quantum) This box … Wikipedia
Bit plane — A bit plane of a digital discrete signal (such as image or sound) is a set of bits having the same position in the respective binary numbers [cite web last = first = authorlink = coauthors = title =Bit Plane work = publisher =PC Magazine date =… … Wikipedia
Bit rate — Bit rates Decimal prefixes (SI) Name Symbol Multiple kilobit per second kbit/s 103 megabit per second Mbit/s 106 gigabit per second Gbit/s 109 … Wikipedia
Data structure alignment — is the way data is arranged and accessed in computer memory. It consists of two separate but related issues: data alignment and data structure padding. When a modern computer reads from or writes to a memory address, it will do this in word sized … Wikipedia
Data Encryption Standard — The Feistel function (F function) of DES General Designers IBM First publis … Wikipedia
Data General — Industry Computer Fate Acquired Successor EMC Corporation Founded 1968 … Wikipedia
Data transmission — Data transmission, digital transmission, or digital communications is the physical transfer of data (a digital bit stream) over a point to point or point to multipoint communication channel. Examples of such channels are copper wires, optical… … Wikipedia
Bit rot — Bit rot, also known as bit decay, data rot, or data decay, is a colloquial computing term used to describe either a gradual decay of storage media or the degradation of a software program over time. The latter use of the term implies that… … Wikipedia
data bit
Смотреть что такое «data bit» в других словарях:
data bit — informacijos bitas statusas T sritis automatika atitikmenys: angl. data bit; information bit vok. Datenbit, n; Informationsbit, n rus. информационный бит, m pranc. bit d information, m … Automatikos terminų žodynas
data bit — duomenų bitas statusas T sritis automatika atitikmenys: angl. data bit; information bit vok. Datenbit, n rus. информационный двоичный разряд, m pranc. bit de données, m … Automatikos terminų žodynas
data bit — duomenų bitas statusas T sritis informatika apibrėžtis ↑Asinchroninio perdavimo bitų grupės bitas, skirtas duomenims perduoti. Perduodamų bitų grupės pradžioje būna ↑pradžios bitas, pabaigoje – ↑pabaigos bitas, o tarp jų keletas (5, 6, 7, 8)… … Enciklopedinis kompiuterijos žodynas
Bit stuffing — In data transmission and telecommunication, bit stuffing (also known uncommonly as positive justification) is the insertion of noninformation bits into data. Stuffed bits should not be confused with overhead bits. Bit stuffing is used for various … Wikipedia
Data link layer — The OSI model 7 Application layer 6 Presentation layer 5 Session layer 4 Transport layer 3 Network layer 2 … Wikipedia
bit d’information — informacijos bitas statusas T sritis automatika atitikmenys: angl. data bit; information bit vok. Datenbit, n; Informationsbit, n rus. информационный бит, m pranc. bit d information, m … Automatikos terminų žodynas
bit de données — duomenų bitas statusas T sritis automatika atitikmenys: angl. data bit; information bit vok. Datenbit, n rus. информационный двоичный разряд, m pranc. bit de données, m … Automatikos terminų žodynas
Bit rate — Bit rates Decimal prefixes (SI) Name Symbol Multiple kilobit per second kbit/s 103 megabit per second Mbit/s 106 gigabit per second Gbit/s 109 … Wikipedia
Data General Nova — System Data General Nova 1200 front panel … Wikipedia
Data structure alignment — is the way data is arranged and accessed in computer memory. It consists of two separate but related issues: data alignment and data structure padding. When a modern computer reads from or writes to a memory address, it will do this in word sized … Wikipedia
Data Encryption Standard — The Feistel function (F function) of DES General Designers IBM First publis … Wikipedia
data bit
1 data bit
information bit — информационный разряд; информационный бит
bit chain — последовательность двоичных знаков; цепочка бит
bit location — местоположение бита; местоположение разряда
qualifying bit — указательный бит; указательный разряд
2 data bit
information bit — информационный разряд; информационный бит
bit chain — последовательность двоичных знаков; цепочка бит
bit location — местоположение бита; местоположение разряда
bit configuration — конфигурация бит; битовая конфигурация
framing bit — бит цикловой организации; кадрирующие биты
3 data bit
4 data bit
5 data bit
6 data bit
7 data bit
8 data bit
9 data bit
10 data bit
11 data bit
12 data bit
13 data bit
14 data bit
15 data bit
16 data bit
17 data-direction bit
18 data-direction bit
19 data-direction bit
20 data block beginning bit
См. также в других словарях:
data bit — informacijos bitas statusas T sritis automatika atitikmenys: angl. data bit; information bit vok. Datenbit, n; Informationsbit, n rus. информационный бит, m pranc. bit d information, m … Automatikos terminų žodynas
data bit — duomenų bitas statusas T sritis automatika atitikmenys: angl. data bit; information bit vok. Datenbit, n rus. информационный двоичный разряд, m pranc. bit de données, m … Automatikos terminų žodynas
data bit — duomenų bitas statusas T sritis informatika apibrėžtis ↑Asinchroninio perdavimo bitų grupės bitas, skirtas duomenims perduoti. Perduodamų bitų grupės pradžioje būna ↑pradžios bitas, pabaigoje – ↑pabaigos bitas, o tarp jų keletas (5, 6, 7, 8)… … Enciklopedinis kompiuterijos žodynas
Bit stuffing — In data transmission and telecommunication, bit stuffing (also known uncommonly as positive justification) is the insertion of noninformation bits into data. Stuffed bits should not be confused with overhead bits. Bit stuffing is used for various … Wikipedia
Data link layer — The OSI model 7 Application layer 6 Presentation layer 5 Session layer 4 Transport layer 3 Network layer 2 … Wikipedia
bit d’information — informacijos bitas statusas T sritis automatika atitikmenys: angl. data bit; information bit vok. Datenbit, n; Informationsbit, n rus. информационный бит, m pranc. bit d information, m … Automatikos terminų žodynas
bit de données — duomenų bitas statusas T sritis automatika atitikmenys: angl. data bit; information bit vok. Datenbit, n rus. информационный двоичный разряд, m pranc. bit de données, m … Automatikos terminų žodynas
Bit rate — Bit rates Decimal prefixes (SI) Name Symbol Multiple kilobit per second kbit/s 103 megabit per second Mbit/s 106 gigabit per second Gbit/s 109 … Wikipedia
Data General Nova — System Data General Nova 1200 front panel … Wikipedia
Data structure alignment — is the way data is arranged and accessed in computer memory. It consists of two separate but related issues: data alignment and data structure padding. When a modern computer reads from or writes to a memory address, it will do this in word sized … Wikipedia
Data Encryption Standard — The Feistel function (F function) of DES General Designers IBM First publis … Wikipedia
data bit
information bit — информационный разряд; информационный бит
bit chain — последовательность двоичных знаков; цепочка бит
bit location — местоположение бита; местоположение разряда
bit configuration — конфигурация бит; битовая конфигурация
framing bit — бит цикловой организации; кадрирующие биты
Смотреть что такое «data bit» в других словарях:
data bit — informacijos bitas statusas T sritis automatika atitikmenys: angl. data bit; information bit vok. Datenbit, n; Informationsbit, n rus. информационный бит, m pranc. bit d information, m … Automatikos terminų žodynas
data bit — duomenų bitas statusas T sritis automatika atitikmenys: angl. data bit; information bit vok. Datenbit, n rus. информационный двоичный разряд, m pranc. bit de données, m … Automatikos terminų žodynas
data bit — duomenų bitas statusas T sritis informatika apibrėžtis ↑Asinchroninio perdavimo bitų grupės bitas, skirtas duomenims perduoti. Perduodamų bitų grupės pradžioje būna ↑pradžios bitas, pabaigoje – ↑pabaigos bitas, o tarp jų keletas (5, 6, 7, 8)… … Enciklopedinis kompiuterijos žodynas
Bit stuffing — In data transmission and telecommunication, bit stuffing (also known uncommonly as positive justification) is the insertion of noninformation bits into data. Stuffed bits should not be confused with overhead bits. Bit stuffing is used for various … Wikipedia
Data link layer — The OSI model 7 Application layer 6 Presentation layer 5 Session layer 4 Transport layer 3 Network layer 2 … Wikipedia
bit d’information — informacijos bitas statusas T sritis automatika atitikmenys: angl. data bit; information bit vok. Datenbit, n; Informationsbit, n rus. информационный бит, m pranc. bit d information, m … Automatikos terminų žodynas
bit de données — duomenų bitas statusas T sritis automatika atitikmenys: angl. data bit; information bit vok. Datenbit, n rus. информационный двоичный разряд, m pranc. bit de données, m … Automatikos terminų žodynas
Bit rate — Bit rates Decimal prefixes (SI) Name Symbol Multiple kilobit per second kbit/s 103 megabit per second Mbit/s 106 gigabit per second Gbit/s 109 … Wikipedia
Data General Nova — System Data General Nova 1200 front panel … Wikipedia
Data structure alignment — is the way data is arranged and accessed in computer memory. It consists of two separate but related issues: data alignment and data structure padding. When a modern computer reads from or writes to a memory address, it will do this in word sized … Wikipedia
Data Encryption Standard — The Feistel function (F function) of DES General Designers IBM First publis … Wikipedia