Что такое маркет дата
Суровая оптимизация работы с market data для криптобиржи
В ходе рефакторинга нашей криптобиржи, было решено пересмотреть концепцию работы с маркет-датой. В классическом случае маркет-дата распространяется двумя методами:
1. REST-интерфес;
2. WEBSocket broadcast subscription.
Метод REST зачастую используется для получения исторических данных, в то время, как по WEBSocket рассылается актуальная информация в режиме online. В некоторых случаях WEBSocket вообще не используется, а обновление происходит регулярными запросами через REST.
И вроде все довольны. Но, при более детальном рассмотрении, становится очевидными огромные накладные расходы на такую концепцию. Их основная масса ложится на REST. Для обеспечения функционирования REST-интерфейса мы должны создать backend отвечающий требованиям высоконагруженных систем. Естественно, тут можно выбирать различные варианты решения от PHP до нынче модного Golang.
Также требуется создать высокодоступную инфраструктуру, реализовать такие мелочи как CI/CD для сервисов, обеспечить все это нужными спецами по разработке, сопровождению, и т.д., и т.п.
При этом, именно историческая маркет-дата занимает основной объем дискового пространства. Хранится она обычно в БД. Это с одной стороны, позволяет решить вопрос кластеризации, но при критических размерах, становится невыносимой тяжестью и ставит перед командой DevOps и разработчиков нетривиальные задачи.
В общем… кажущаяся простота и логичность данной концепции вдребезги разбивается о суровый быт.
Отдельно нужно заметить особенность маркет-даты. Она всегда накапливается (прирастает). Т.е. говоря языком программиста БД мы всегда инсертим и потом селектим. Но не делитим. Т.е. замечательная функциональность БД по систематизации, оптимизации и т.п. хранимых данных становится маловостребованной.
Еще одним важным свойством маркет-даты является ее четко определенная структура. Например свеча в графике имеет всего восемь параметров:
1. Момент времени;
2. Экспозиция;
3. Максимальная цена;
4. Минимальная цена;
5. Цена открытия;
6. Цена закрытия;
7. Объем;
8. Средняя цена.
Тоже можно сказать о сделках.
Опираясь на эти предпосылки, а также вооружившись опытом, я достаточно быстро пришел к выводу, что правильнее рассматривать маркет-дату как структурированный поток.
Например, поток со свечами, можно рассмотреть как массив бинарных структур:
moment: int32
exposition: int32
min: float64
max: float64
open: float64
close: float64
volume: float64
average: float64
Для примера, такая свеча в JSON будет описана так:
Профит по размеру очевиден. А это меньше трафик, выше скорость доставки до клиента.
И тут, конечно, приходит на ум BSON. Но он не решает проблемы необходимости наличия backend и в общем-то не решает проблему в корне. К тому же, он не поддерживается браузерами нативно.
Я посмотрел в иную сторону. В сети есть масса ресурсов работающих с потоками. Это аудио и видео ресурсы. Они демонстрируют все те признаки, которые необходимы:
Фактически, теперь, на стороне фронта можно организовать обращение к необходимому участку файла, например, содержащего свечи. А так как, точно известно сколько байт занимает одна свеча (56 байт), мы легко можем определить нужное нам смещение. Правда, мы еще должны знать момент времени, с которого график начинается. И это весьма легко решается добавлением к файлу заголовка, размер которого также является константой.
Т.е. первым делом, фронт обращается к файлу с нулевой позиции, и получает
заголовок. Одновременно с этим nginx отдаст размер файла. Это позволит определить общее количество свечей в файле и момент начала отсчета.
Теперь, зная начальную точку времени, имея четкое представление о количестве свечей, мы можем получить любое их количество за любой промежуток времени из фронта, не используя backend.
Ах, да… еще момент… у нас есть такой параметр как экспозиция свечи. Тут решение тоже простое — мы держим сразу несколько файлов для разных экспозиций. Как дополнительный мелкий бонус, сокращается размер структуры свечи еще на 4 байта.
В целом, решение уже было достаточно интересным для реализации, но выяснились еще, не постесняюсь сказать — очень крутые профиты. Дело в том, что браузеры умеют кэшировать данные полученные методом range. Т.е. при очередном запросе фронта к серверу, если этот участок файла был получен браузером ранее, он не полезет к вам на сервер, а возьмет его из кэша.
Но даже это не все. Используя CDN, кеширование может быть настроено еще и его средствами. Т.е. по итогу, можно получить систему, которая в состояние отдавать большие объемы маркет-даты минимально нагружая инфраструктуру и сервера.
Нужно ли говорить, что сомнений в верности идеи уже не было? Теперь остались сущие мелочи… нужно сделать генерацию этих самых файлов.
Как уже было сказано выше, обычно, биржа эксплуатирует два средства доставки маркет-даты: REST и WEBSocket. Последний транслирует online актуальную маркет-дату. Обычно это отдельный сервис. Как показала практика, доработка этого сервиса для того, чтобы он дописывал данные в необходимые файлы не представляет труда и решается буквально парой часов работы разработчика. Можно сказать, что он одновременно с рассылкой ведет лог.
Вопрос доставки файлов на ноды — классическая проблема синхронизации файловой системы. Команда DevOps решает ее легко и непринужденно. Например используя rsync.
Вот теперь, можно смело сказать — БИНГО!
Возможно, возникнет вопрос — а почему все крипто-биржи делают иначе? На этот вопрос у меня нет достоверного ответа. Но есть мысли:
СЕРВЕР МАРКЕТ-ДАТЫ CSCALP
Пользователи CScalp могут торговать на Binance через сервер-маркет даты. Рассказываем, что такое маркет-дата, какие преимущества может дать использование сервера МД и как подключить к бирже через сервер МД.
Еще не скачали терминал CScalp? Оставьте свой электронный адрес в форме ниже и мы вышлем письмо со всем необходимым для установки.
Что такое маркет-дата?
Маркет-дата (с англ. рыночные данные) – это все данные о заявках на покупку и продажу на рынке, которые отображаются в книге ордеров (стакане).
Сервера биржи Binance транслируют рыночные данные по API в двух потоках: по одному приходят данные по стакану, по другому приходят анонимные сделки (поток котировок).
Как работают сервера маркет-даты в CScalp
Сервера маркет-даты отвечают за поступление данных в стакан и не влияют на отправление и поступление сделок. Все торговые транзакции идут напрямую на сервера биржи.
Данные на сервер маркет-даты поступают из ядра биржи. Они перекодируются в более легкий формат и отправляются в стакан пользователя по новому протоколу. Это происходит практически мгновенно. Новый протокол имеет меньший объем, он быстрее базового протокола биржи. При сильных движениях на бирже использование сервера маркет-даты может обеспечить более стабильную работу CScalp.
Два сервера маркет-даты имеют разные маршруты – через Токио и Хабаровск. Пользователи терминала подключаются с разных локаций по всему миру и могут иметь разные маршруты к серверам CScalp. Поэтому мы предоставляем разные точки доступы к нашей инфраструктуре.
Примечание: для некоторых пользователей более оптимальный может быть подключение к Binance без использования серверов маркет-даты Binance или через прокси. Каждый трейдер сам выбирает вариант, который будет быстрее и стабильнее для его рабочего места.
Что такое маркет дата
Наиболее надежный инструмент, который трейдеры используют для принятия торговых решений — это рыночные данные Level I и Level II.
Данные о рынке поступают напрямую с биржи — к примеру Нью-Йоркская фондовая биржа NYSE и биржа CME предоставляет данные Level I и II для акций и фьючерсных контрактов. Трейдеры получают рыночные данные через своего брокера. Level I и Level II доступны для фьючерсов и акций. В платформе VolFix доступны оба типа данных.
Доступ к данным Level II стоит дороже, чем Level I для акций и фьючерсов. Некоторые брокеры могут предоставлять все потоки данных бесплатно, но обычно взимают более высокие комиссии в качестве компенсации.
Эти рыночные данные включают информацию о текущих ценах и недавно завершенных сделках. Данные Level II предоставляют больше информации, чем Level I. В зависимости от брокера, Level I и Level II могут иметь разные затраты, связанные с ними.
Level l Market Data
Level I — базовые рыночные данные, необходимые для торговли и они есть у большинства торговых систем на основе графиков. Если вы торгуете с использованием стратегии Price Action или стратегии на основе индикаторов.
Данные Level I включают следующую информацию:
Level II Market Data
Level II предоставляет больше информации, чем данные Level I. В основном, он не просто показывает самую высокую ставку и предложение, но также показывает заявки и предложения по другим ценам.
Рыночные данные Level II предоставляют дополнительную информацию, необходимую для торговли на основе изменений, которые происходят в заявках и предложениях.
Трейдеры анализируют, какая сторона более активна или более ликвидна, чтобы предсказать краткосрочное направление рыночной цены. Если большинство транзакций происходит по цене предложения, это означает, что цена может снизиться в краткосрочной перспективе, тогда как если большинство транзакций происходит по цене предложения, цена может вырасти.
Эти методы также можно комбинировать со стратегиями на основе графиков.
Level II или Order Book — показывает все заказы, которые были размещены и ожидают исполнения. Ордер исполняется, когда кто-то другой желает заключить сделку с кем-то еще по той же цене.
Более детально об этом Вы можете узнать на открытых web-семинарах, которые запланированы на 9 — 16 и 23 сентября 2020.
market data
Смотреть что такое «market data» в других словарях:
Market data — Example of a stock chart, the stock shown is SourceForge, Inc. In finance, market data is quote and trade related data associated with equity, fixed income, financial derivatives, currency, and other investment instruments. Market data is… … Wikipedia
Inside Market Data — is a weekly newsletter published by Incisive Media providing news for the financial market data industry.It was launched in 1985 by Waters, later Risk Waters Group, which in 2003 was acquired by Incisive Media.External links*… … Wikipedia
continuous flow of market data — A continuous flow of market data provided exclusively to data vendors. Available through Euronext, it includes both raw data such as prices, trade volumes and five best bids and offers, and in depth information on financial instruments such as… … Financial and business terms
Market Intelligence — (often contracted to MARKINT) is a relatively new intelligence discipline that exploits open source information gathered from global markets. It relies solely on publicly available information such as market prices and ancillary economic and… … Wikipedia
Market Information in Business intelligence — Market Information is the information relevant to a company’s markets, gathered and analyzed specifically for the purpose of accurate and confident decision making in determining market opportunity, market penetration strategy, and market… … Wikipedia
Market information systems — (otherwise known as market intelligence systems, market information services, or MIS, and not to be confused with management information systems) are information systems used in gathering, analyzing and disseminating information about prices and… … Wikipedia
Data East — Corporation 株式会社データイースト Former type Public Industry Computer and video game industry Fate Bankruptcy … Wikipedia
Data Explorers — Limited Type Private Industry Market Data Founded 2002 Headquarters London, UK … Wikipedia
Market foreclosure — is the exclusion that results when a downstream buyer is denied access to an upstream supplier (Upstream foreclosure) or when an upstream supplier is denied access to a downstream buyer.[1] A supplier or intermediary in a supply chain can acquire … Wikipedia
market analysis — An analysis of technical corporate and market data used to predict movements in the market. Bloomberg Financial Dictionary * * * market analysis UK US noun [S or U] FINANCE ► the activity of collecting and examining information about a financial… … Financial and business terms
Data General — Industry Computer Fate Acquired Successor EMC Corporation Founded 1968 … Wikipedia
market data
рыночные данные
Данные (имеются в виду, прежде всего, цены, фактически используемые на рынке ), которые делятся на непосредственно наблюдаемые и ненаблюдаемые (см.Иерархия справедливой стоимости).
[http://slovar-lopatnikov.ru/]
Тематики
Смотреть что такое «market data» в других словарях:
Market data — Example of a stock chart, the stock shown is SourceForge, Inc. In finance, market data is quote and trade related data associated with equity, fixed income, financial derivatives, currency, and other investment instruments. Market data is… … Wikipedia
Inside Market Data — is a weekly newsletter published by Incisive Media providing news for the financial market data industry.It was launched in 1985 by Waters, later Risk Waters Group, which in 2003 was acquired by Incisive Media.External links*… … Wikipedia
continuous flow of market data — A continuous flow of market data provided exclusively to data vendors. Available through Euronext, it includes both raw data such as prices, trade volumes and five best bids and offers, and in depth information on financial instruments such as… … Financial and business terms
Market Intelligence — (often contracted to MARKINT) is a relatively new intelligence discipline that exploits open source information gathered from global markets. It relies solely on publicly available information such as market prices and ancillary economic and… … Wikipedia
Market Information in Business intelligence — Market Information is the information relevant to a company’s markets, gathered and analyzed specifically for the purpose of accurate and confident decision making in determining market opportunity, market penetration strategy, and market… … Wikipedia
Market information systems — (otherwise known as market intelligence systems, market information services, or MIS, and not to be confused with management information systems) are information systems used in gathering, analyzing and disseminating information about prices and… … Wikipedia
Data East — Corporation 株式会社データイースト Former type Public Industry Computer and video game industry Fate Bankruptcy … Wikipedia
Data Explorers — Limited Type Private Industry Market Data Founded 2002 Headquarters London, UK … Wikipedia
Market foreclosure — is the exclusion that results when a downstream buyer is denied access to an upstream supplier (Upstream foreclosure) or when an upstream supplier is denied access to a downstream buyer.[1] A supplier or intermediary in a supply chain can acquire … Wikipedia
market analysis — An analysis of technical corporate and market data used to predict movements in the market. Bloomberg Financial Dictionary * * * market analysis UK US noun [S or U] FINANCE ► the activity of collecting and examining information about a financial… … Financial and business terms
Data General — Industry Computer Fate Acquired Successor EMC Corporation Founded 1968 … Wikipedia