CME於2015/6/10開始, 全面改用FIX/SBE的方式並停用FIX/FAST


特別是商品描述的欄位部分非常容易混淆
以CME的用戶端iLink來看, 應該是要讓MDP3.0經過轉換後相容於之前的對應

個人觀點:

項目/格式	FIX/FAST(舊的MDP)	FIX/SBE(新的MDP3.0)
概念	以商品訊息為主軸	以資料處理為主軸
格式	格式繁多雜亂,重複設計,焦點不明確	格式統一,功能明確,變動可能性降低
封包	FAST壓縮,位元組傳輸量較少	Binary無壓縮,封包數增加20%~50%,傳輸量大增
閱讀	封包內容經FAST壓縮,人工閱讀困難	結構化Binary資料,內容單純易於確認與溝通
行情解讀	一個商品一個訊息更新	一個訊息多個商品更新
成交揭示	一個商品一個訊息完成,較為單純	一個商品兩個訊息完成,恐增加行情處理負載
價位小數	只有小數三位數	完整小數位數
Tick合併	逐筆不合併,真實呈現	同一個TimeStamp同價合併,Tick大幅度減量
實測數據	整體原始數據量所需位元組較少	可高達FAST的2.33倍,也就是增加1300%,需更大的頻寬確保品質

價位小數點的差異:

Tick合併比較:

以期貨商品同時段同範圍資料量比較:

FIX/FAST: Channel ( 7,9,11,13,15,30,31,32,33,60,111,117,113,115 )

FIX/SBE: Channel ( 310,312,314,316,318,382,386,384,360,320,340,346,342,344 )
新格式明顯為舊格式的2倍多

---

GMDS的規劃與建置, 介紹由當前FAST移轉到SBE的方式

假設FIX/FAST的GMDS/URDS設定為

Future	/channel 7,9,11,13,15,30,31,32,33,60,111,117,113,115,801
Option CBT	/channel 112,114,116
Option CME	/channel 8,12,61
Option NYM	/channel 35,38

(PS: 801 or 117是設定相同的Group進系統, 只會有其中之1)

FIX/FAST的GMDS/PatsEmu-CME設定為

Future	SecurityExchange=XCME,XCBT,XNYM,XCEC Symbol=6A,6B,6C,6E,GF,GE,LE,HE,6M,6N,6J,NQ,ES,ND,NK,6S,SP,ZQ,XC,XK,ZC,ZR,ZD,YM,ZO,ZS,ZB,ZF,ZW,GC,QO,HG,SI,QM,NG,PD,PL,CL,XR,BD,IE,OP,ZN,ZT
Option CBT	SecurityExchange=XCBT SecurityGroup=6E,ES,OG,LO,SO,6A,6B,6C,6J,OZC,OZW,OYM,OZB,OZS,OZN,OZF
Option CME	SecurityExchange=XCME SecurityGroup=6E,ES,OG,LO,SO,6A,6B,6C,6J,OZC,OZW,OYM,OZB,OZS,OZN,GE,LE,GF
Option NYM	SecurityExchange=XNYM,XCEC SecurityGroup=6E,ES,OG,LO,SO,6A,6B,6C,6J,OZC,OZW,OYM,OZB,OZS,OZN,ON

(PS: 選擇權設定有點亂, 用顏色把對應交易所的商品標示出來, 不符合交易所的設定商品可以移除)

由CME的對照表
http://www.cmegroup.com/confluence/display/EPICSANDBOX/MDP3#MDP3-FIX/FASTtoMDP3ChannelMapping
新的FIX/SBE的GMDS/URDS設定變為

Future	/channel 310,312,314,316,318,382,386,384,360,320,340,346,342,344
Option CBT	/channel 341,343,345
Option CME	/channel 311,315,321
Option NYM	/channel 383,361

FIX/SBE的GMDS/PatsEmu-CME設定為 (也就是沒有改變)

Future	SecurityExchange=XCME,XCBT,XNYM,XCEC Symbol=6A,6B,6C,6E,GF,GE,LE,HE,6M,6N,6J,NQ,ES,ND,NK,6S,SP,ZQ,XC,XK,ZC,ZR,ZD,YM,ZO,ZS,ZB,ZF,ZW,GC,QO,HG,SI,QM,NG,PD,PL,CL,XR,BD,IE,OP,ZN,ZT
Option CBT	SecurityExchange=XCBT SecurityGroup=OZC,OZW,OYM,OZB,OZS,OZN,OZF
Option CME	SecurityExchange=XCME SecurityGroup=6E,ES,6A,6B,6C,6J,GE,LE,GF
Option NYM	SecurityExchange=XNYM,XCEC SecurityGroup=OG,LO,SO,ON

如果選用Multi-DB版本來規劃, 可以簡化為 (基於Future/Option的應用或架構方式可能不同, 還是規劃成兩個分流)

URDS的設定(也就是把Option的部分簡化為一個)

Future	/channel 310,312,314,316,318,382,386,384,360,320,340,346,342,344
Option	/channel 341,343,345,311,315,321,383,361

PatsEmu-CME的設定(也就是把Option的部分簡化為一個)

Future	SecurityExchange=XCME,XCBT,XNYM,XCEC Symbol=6A,6B,6C,6E,GF,GE,LE,HE,6M,6N,6J,NQ,ES,ND,NK,6S,SP,ZQ,XC,XK,ZC,ZR,ZD,YM,ZO,ZS,ZB,ZF,ZW,GC,QO,HG,SI,QM,NG,PD,PL,CL,XR,BD,IE,OP,ZN,ZT
Option	SecurityExchange=XCBT,XCME,XNYM,XCEC SecurityGroup=OZC,OZW,OYM,OZB,OZS,OZN,OZF,6E,ES,6A,6B,6C,6J,GE,LE,GF,LO,ON,OG,SO

Multi-DB版本的PatsEmu-CME提供 /GroupMap 參數(點連結直接參考)

所以, 針對Future與Option的GroupMap設定檔可以分別這樣設計
(PS: 由於LO有獨立抽出, 所以O_XNYM中不含LO商品, 於此例中只剩ON而已)

不同於之前的設置方式, 差異如表

	分流數	TSHS-TfsRaw	PatsEmu-CME	數據庫(DbfId)	UniDnf-SB 同步需求	TSHS-UniDbf/OBG
舊的方式	4	4	4	4 ( 1 Future 3 Option )	4	選擇性少, 容易有多餘的資源耗費
新的方式	2	2	2	9 ( 4 Future 5 Option)	2	選擇性多, 有效使用資源提升效率

也就是新的方式架構更為簡單, 但能提供更多數據庫組合方式作為運用

同步的部分也能考慮改用UniDbf Merge Server (UniDbf-MS), 那麼只需執行一個UniDbf-MS 便能替代多個UniDbf-SB
不過舊的設置方式中, 每個分流的PatsEmu-CME要先透過/DbfId參數變更預設數據庫代碼0x0022成四個分別不同的代碼才能作為區別

新版的PatsEmu-CME支援FIX/SBE並相容舊的CME平台FIX/FAST,
新增Channel View可以查看所有Channel接收情形

新增FIX/SBE格式查看功能(rem是格式名稱,如果是偵測到新格式則是格式分析說明)

調整CME Filter的方式, 易於對照交易所提供之商品是否正確

新的URDS增加8,9,10三種新的接收方式 (可參考 URDS延伸參數說明 )
其中模式9可以用來替代目前收FIX/FAST使用的模式6
新的SBE則用模式10設定來接收

由於URDS接收模式9,10為自行定義清單, 因此控制分流接收可以透過檔案內容設定不同清單,
也可用相同的完整清單設定透過 /Channel 參數作不同的分流設定

例如以目前的Future/Option兩個分流, 可以用一個完整的清單
那麼可以設定
Pars_10fut 內容為
Pars_10opt 內容為

也可以用兩個分別的清單檔案來完成
那麼則設定清單檔案即可
Pars_10fut 內容為
Pars_10opt 內容為

MDP3.0新的Channel的資料與流量可以參考CME頁面: Data Directly from the Market Data Platform

擷取CME 2018-11-26的資料, 依頻寬使用狀態排序後的內容如下:


其他舊的相關文章:
PatsEmu-CME的商品篩選設定方式
CME市場商品分析規劃
CME FAST/Template Decode