高頻數據存儲、訂單簿、高頻回測 DolphinDB 中高頻量化一站式解決方案
3月14日下午，DolphinDB 受邀出席由卡方科技與華安證券攜手舉辦的私募行業交流會。此次盛會匯聚了私募行業的精英力量。眾多國內成長型私募機構代表齊聚一堂，共同探討私募領域的多元化合作策略，攜手書寫行業發展的新篇章。
在分享環節，DolphinDB 創始人、CEO 周小華博士帶來了一場精彩演講。他不僅對中高頻量化交易的解決方案進行了深入剖析，還就當前熱點 AI 大模型展開了富有洞見的探討。現在，讓我們一同回顧周博士在現場的精彩分享。
01 高頻數據存儲
隨著行情數據頻率的提高，海量數據的存儲為投研帶來巨大挑戰。傳統的關系型數據庫及文件存儲等方式存在著壓縮比低，性能優化不足，數據難以管理等痛點。針對以上問題 DolphinDB 提出了新的解決方案，除了能夠將壓縮比大幅提升之外（最高可達10:1），DolphinDB 深刻洞察量化領域業務，提供了相同時間戳存儲、數組存儲、寬表存儲/窄表存儲和 co-location 存儲，為用戶提供了更為高效的海量數據存儲方案。
02 訂單簿
在研究市場的微觀結構時，每家機構都希望能夠對逐筆數據進行挖掘，高效、靈活處理訂單簿數據。目前市面上多數快照引擎普遍采取每三秒生成一次快照的方式，這樣的頻率難以捕捉更為細致的信息，例如三秒內所有交易的平均價格，以及最后一筆成交與最后一筆報價之間的精確時間差。這些細微的數據點對于精確分析市場動態至關重要。為此，DolphinDB 提供了訂單簿數據處理框架允許用戶自定義指標，生成交易信號，助力策略開發。DolphinDB 的訂單簿數據處理架構，提供了高度的靈活性和性能保障，能夠滿足用戶的個性化業務需求。
03 高頻回測
市場上，對于中低頻的回測產品，用戶有許多選擇。但是在對高頻數據進行回測時，由于數據量巨大，性能時延要求高、開發難度大等特點，市場上并沒有太多成熟的產品，用戶往往選擇自研。為此，DolphinDB 提供了一套模擬撮合引擎，方便用戶在中高頻策略回測中模擬實際交易，從而更合理地評估和推斷策略在真實交易中的效果。DolphinDB 模擬撮合引擎支持訂單成交比例和延時等設置，多筆同方向的用戶委托訂單同時撮合時，遵循按照價格優先、時間優先的原則進行撮合成交，方便用戶在高頻策略回測中模擬實際交易。模擬撮合引擎插件使用 C++ 開發，結合 DolphinDB 分布式數據庫，能極大地減少高頻策略回測的整體耗時。
04 流批一體的高頻因子
因子挖掘是量化交易的基石，挖掘中高頻行情數據中的有價值因子并建模回測，構建交易系統是量化團隊的必要路徑。DolphinDB 整合歷史與實時數據提供了實時流計算框架，用戶在投研階段基于批量數據開發的核心因子表達式，經封裝后，可以無縫應用于實際生產環境中。由此，實時行情訂閱、行情數據收錄、交易實時計算、盤后研究建模，可以用同一套代碼實現。這不但確保了歷史回放和生產交易的數據一致性，還大大降低了用戶的開發與代碼維護成本。同時，流計算框架在算法路徑上進行了精細的優化，兼顧了高效開發和計算性能的優勢。
05 AI & DolphinDB
在總結部分，周博士深入探討了 AI 與 DolphinDB 前沿技術的融合。其中，CPU-GPU 異構計算平臺，可以讓 DolphinDB 腳本能夠無縫切換至 GPU 進行高效的并行計算，從而實現了性能上的顯著躍升。同時，GPLearn 負責訓練時的調度工作，涵蓋了種群生成、進化與變異操作等關鍵環節，確保了訓練過程的精準與高效。此外，AI Dataloader 極大地簡化了大量因子數據導入深度學習框架進行訓練的過程，有效縮減了數據準備與模型訓練的時間成本。值得一提的是，這些前沿功能將在即將發布的 DolphinDB 3.0版本中全面呈現，我們熱切期待各位用戶的積極試用與反饋！周博士還強調，DolphinDB 的應用范圍已擴展到交易策略、交易風控、交易監控、機構業務、算法交易、實時數倉、風險控制、指標計算、估值定價等多個金融行業場景。DolphinDB 致力于在金融技術領域不斷創新，為金融機構提供高效技術解決方案，助力中小機構在激烈的市場競爭中脫穎而出。
