Changes between Initial Version and Version 1 of Collector

Timestamp:

May 25, 2019, 8:19:00 PM (5 years ago)

Author:

andy

Comment:

--

Collector

@@ +1 @@
+= Collector
+
+
+Полная система состоит из 3 компонентов, соединённых по сети:
+
+коллектор <-> бэкенд <-> клиент (браузер)
+
+== В идеале
+
+В идеале коллектор это демон, который 
+- сам опрашивает биржи через их кривой API (JSON REST или Websocket)
+- обрабатывает все ошибки API
+- приводит данные от разных бирж к единому виду
+- активно (см. ниже) отдает эти унифицированные данные в бэкенд по выпрямленному стандартному протоколу Financial Information Exchange (FIX) 4.x
+
+== Сейчас в продакшене (pre-2019 код)
+
+- между бэкендом и сервером наш кривой протокол
+- коллектор постоянно падает и бывает что тянет за собой бэкенд
+- код коммуникаций кривой и хрупкий
+- коллектор частично пассивный (бэкенд запрашивает данные) частично активный (коллектор пушит данные в бэкенд)
+
+== Предлагаемое краткосрочное решение
+
+- между бэкендом и коллектором очередь сообщений, например Gearman (проще чем FIX, легко найти библиотеки клиентов под любой язык). Но можно MQTT или что иное.
+- формат сообщений не унифицированный, такой, в каком отдает API биржи
+- активность-пассивность тоже максимально простая:
+  - если API REST polling - то работаем через request-response гирмана, бэкенд делает SUBMIT_JOB, а коллектор регистрируется как воркер
+  - если API websocket streaming (или другой стриминг) - то используем background jobs (sic!) гирмана. Коллектор делает SUBMIT_JOB_BG, а бэкенд регистрируется воркером.
+
+Примеры API:
+
+- простой REST https://www.bitstamp.net/api/v2/order_book/BTCUSD/
+- websocket API и FIX от них же: https://www.bitstamp.net/api/
+- купуй украйинське: https://docs.google.com/document/d/1ocYA0yMy_RXd561sfG3qEPZ80kyll36HUxvCRe5GbhE/edit
+
+Простейший вариант пассивного коллектора:
+
+- коллектор регистрируется воркером для джоба с названием bitstampUSD
+- когда приходит джоб, выполняется HTTP GET https://www.bitstamp.net/api/v2/order_book/BTCUSD/ и гирман-воркер возвращает его тело
+
+
+Обработка ошибок (адвансед):
+
+- таймаут
+- non-200 HTTP error code
+- неправильный content-type
+- битый json
+- json не в том формате
+
+Сигнализация ответом на джоб в формате `{err: "код_ошибки"}`