2023 DolphinDB 年度峰會演講：引領數字金融時代的基礎軟件創新
9月8日，“地心引力 · 2023 DolphinDB 年度峰會”在杭州舉辦。DolphinDB 創始人、CEO 周小華博士進行了“引領數字金融時代的基礎軟件創新”主題演講。
周博士講述了自己的創業故事，從時代發展視角為大家分享選擇金融領域基礎軟件進行創業的初衷。DolphinDB 作為一款基于高性能時序數據庫，支持復雜分析和流數據處理的實時計算平臺，其根本定位始終是開放的企業級基礎軟件。與金融行業深度融合的差異化策略，讓 DolphinDB 在短短六七年的發展時間中，收獲了大量用戶的認可。
以下是周博士在峰會分享的全文內容：
尊敬的各位來賓，DolphinDB 的用戶和合作伙伴，
大家早上好！歡迎大家來到杭州參加 DolphinDB 2023年度用戶峰會！
我今天要分享的題目是，“引領數字金融時代的基礎軟件創新”。
DolphinDB 是國內為數不多的，針對金融領域的業務需求而研發的基礎軟件。未來我們也會繼續深耕金融領域，為大家提供優質高效的基礎軟件，不斷提升金融行業的生產力。
接下來，我想以問答的形式來展開今天的分享：為什么創業？為什么選擇金融領域的基礎軟件創業？DolphinDB的定位是什么？相比其它基礎軟件，解決了哪些問題？給金融行業帶來了什么變化？接下來會朝什么方向努力？
希望通過短短的20幾分鐘，讓大家對我們的團隊和產品，有一個快速的了解。
01 創業故事
熟悉我們創始團隊的人都知道，DolphinDB 的三位創始人在創業之前都有華爾街的工作背景，曾經一起共事過。我和張博士是搞技術的，初總是做金融業務的。十幾年前，時序數據庫在華爾街應用就很廣泛了，可以存儲與分析海量的金融數據，但是使用難度非常高，而且當時還沒有分布式的時序數據庫。更重要的是，當時國內金融領域還沒有海量數據的高性能存儲與分析的解決方案。我們看到這個機會以后，就決定做一款易于使用的分布式高性能時序數據庫，去推動這個行業的發展。
2016年的時候，我們三人全職投入到了 DolphinDB。2018年底的時候，我們收獲了第一個付費客戶。截至8月份，我們已經有超過130位員工，付費客戶超過100個，國內外社區用戶的數量以每周300多的人數在快速增加，DB-ENGINES 時序數據庫榜單的排名也上升到了國際第6，國內第1。DolphinDB 的快速成長，離不開國內大資管行業規模的高速增長，更離不開在座的各位用戶對 DolphinDB 的支持與厚愛， 謝謝大家！
02 選擇基礎軟件創業
基礎軟件開發雖然極為困難，周期漫長，但可以創造更大的價值。
在過去幾十年里，國內金融行業的 IT 供應商，層出不窮，百花齊放，很多應用系統都達到了很高的水平。唯獨在基礎軟件，尤其是針對金融行業的數據庫、計算引擎、實時計算引擎方面，沒有一家出色的廠商。而這些恰恰是一個金融機構差異化競爭的 IT 基礎。
首先，不斷增長的海量數據需要一套高性能數據庫；其次，不斷變化的業務邏輯需要快速開發的能力；再次，永無止境的對性能的追求要求高性能的批計算系統與低延時的流計算系統。
如果我們的系統可以做好這三點，我們相信，這個系統就可以為金融領域數據分析相關的業務提供一個良好的基座來進行開發，讓用戶把精力聚焦于核心業務。
03 DolphinDB自畫像：三位一體的自主式實時計算平臺
DolphinDB 是一個企業級的基礎軟件，是一個基于高性能時序數據庫，支持復雜分析與流處理的實時計算平臺，賦予用戶強大的自主開發的能力。
3.1 DolphinDB的定位：基礎軟件
DolphinDB 是一個基礎軟件。它首先是一個分布式的多模數據庫，可以存儲金融行業的各類數據，包括多檔的快照數據，逐筆的委托和交易數據，各類財務數據，以及另類的新聞、向量、JSON 等異構數據，可以用于實時數倉、行情中心、數據中臺等場景。其次，它提供了功能全面、性能強悍的批計算引擎，可以高效完成復雜的批計算，例如因子挖掘，量化投研，風險控制，指標計算、估值定價等場景。再次，DolphinDB 提供了一套流計算系統，支持流批一體，并且內置10余個流計算引擎，開發便利，時延低，適合實時交易、算法交易、做市業務、實時風控這些場景。
DolphinDB 還內置了一個多范式編程語言，以及1500多個內置函數，用于操控數據庫、批計算引擎和流計算引擎。此外，DolphinDB 提供了插件機制和各種語言的 SDK。通過插件開發，DolphinDB可以訪問外部生態如消息中間件、行情源、各類數據庫和大數據系統、第三方計算庫、模擬撮合引擎等。通過各種語言的 SDK，Dashboard、因子開發和管理平臺、監控系統等外部系統可以連接到 DolphinDB。
3.2 企業級基礎軟件
DolphinDB 定位一個企業級的基礎軟件，可以作為整個機構的基礎設施。首先，DolphinDB 可以納入一個機構IT部門全局的用戶管理體系、應用監控體系、安全監控體系以及運維管理體系。其次，DolphinDB 可以融入企業的數據治理體系，數據安全策略，以及彈性的存儲和計算資源管理體系。再次，DolphinDB 可以滿足一個大型機構海內外分支機構的部署需要，以及異地多中心的部署。最后，一個企業級的基礎軟件，必須配套企業級的服務。DolphinDB 正在建設一個全方位的從生態、售前、售中到售后的專業的技術支持體系。DolphinDB 也正在完善從用戶手冊、教程案例、白皮書，最佳實踐到用戶問答的多層次的文檔體系，并提供統一的搜索界面。我們也在和第三方合作開發私有的垂直大模型，在不久的將來提供更智能化、更高效的服務體系。
3.3 賦予用戶自主開發能力
DolphinDB 是一個高度模塊化、參數化、可編程的、開放的標準化基礎軟件?？膳c金融機構的業務部門、IT 部門、或第三方生態等合作，快速二次開發新的應用解決方案。換句話說，DolphinDB 希望賦予我們的用戶開發的自主性，使用 DolphinDB 之后，您可以在上面自由的開發因子，開發策略，開發生態或算法插件，開發應用程序與 DolphinDB 對接，完全不用擔心受制于廠商昂貴的開發服務。在您的二次開發過程中，DolphinDB 會提供優質的技術支持服務予以保障。這些服務包括用戶培訓、解決方案的咨詢服務，PoC 評估服務，技術問題解答，生產問題排查和解決，公共軟件模塊開發等等。
04 DolphinDB 解決了什么問題？
DolphinDB 比其它國產的基礎軟件得到了金融機構更多的認可，最核心的原因在于 DolphinDB 團隊對金融業務有深刻的認識，充分理解金融IT的價值點。
4.1 差異化策略，“對著釘子造錘子”
我們從設計產品的第一天開始，就明確一定要把基礎軟件與金融行業的需求深度的融合起來，真正去釋放金融 IT 的生產力。有人是拿著錘子到處找釘子，我們是對著釘子造錘子。我還記得當年團隊討論的一些結論：一定要充分利用金融數據的時序特性來提升存儲效率，一定要做高可用來解決金融可靠性的強需求。一定要強化計算來提升業務價值，一定要提供豐富的函數庫來適配金融業務，一定要有編程語言來滿足金融計算的復雜性要求，一定要做流式增量計算來降低實盤業務的時延。
4.2 數據驅動業務的本質，數據-投研-生產
隨著大數據和人工智能的發展，越來越多的金融業務開始啟用數據驅動業務的模式。譬如量化交易、算法交易、做市業務、衍生品定價、風險控制、指標計算等都采用了這種模式。雖然具體業務不同，但本質上都是遵循了 數據-投研-生產 這個模式：收集和清洗大量歷史數據，用歷史數據建模，最后在生產實盤中進行模型推理和決策。這個模式背后對應的技術，則分別是數據庫，批計算和流計算。與其它的基礎軟件只關注存儲不同，DolphinDB 理解存儲和計算并重對金融的重要性。DolphinDB 把這三個技術糅合在一個系統里，可以大大提升金融業務推進的效率。
4.3 不斷擁抱新技術，提升系統開發和運行效率
金融 IT 非常關注兩個效率：系統開發效率與運行效率。DolphinDB 提拱了很多技術，來提升這兩種效率。我們先來看 DolphinDB 如何提升系統開發效率：DolphinDB 引入了多范式編程語言，向量式、函數式、SQL 編程可以大大縮短開發時間；流批一體的技術，也可以大大縮短從研發到生產的時間。我們即將推出的 Python Parser，可以讓用戶將存量的 Python 代碼無縫切換或稍加修改后快速切換到 DolphinDB 平臺。
我們再來看看 DolphinDB 如何提升運行時效率：DolphinDB 的內置函數進行了充分優化，運行速度極快；通過流式增量計算，縮短時延；引入了 JIT 技術，讓腳本運行的更快；推出了嵌入式版本 Swordfish，內存存取和實時計算的時延達到微秒級；正在研發的 CPU-GPU 異構計算平臺，可以讓 DolphinDB 腳本無縫切換到 GPU 進行并行計算，性能提升一個數量級。
DolphinDB 希望通過提升系統開發效率來提升金融機構在行業中的競爭優勢，提升運行時效率贏得實盤博弈中的領先優勢。
05 DolphinDB 給金融行業 IT 帶來了什么變化？
DolphinDB 是一個新的生產力工具，大幅提升了處理金融大數據的效率，加快了業務對金融市場變化的響應速度，金融 IT 從早期的各自為政，慢慢形成行業的最佳實踐和技術棧。
5.1 從各自為政到形成行業最佳實踐
在 DolphinDB 出現之前，非銀金融的IT基礎設施，可謂五花八門。存儲層面，有用 csv 文件的，二進制文件的，有用 MongoDB 的，有用 oracle ，sql server 或 mysql 的關系數據庫，有用開源的數據倉庫的如Greenplum和ClickHouse。計算層面Python，C++，Matlab， R， SQL，Spark 等各種工具都有。簡單說，各家都在搭建自己獨特的技術棧，行業內很難把一些共性的經驗和實踐積累下來。
DolphinDB 推出之后，不僅僅成為了大家都在用的一個基礎軟件，更間接成為了行業最佳實踐分享、反饋和改進的平臺。過去幾年中，眾多的 DolphinDB 付費用戶和社區用戶，反饋了大量的需求和改進建議給 DolphinDB。行情數據解決方案，因子開發和管理，投研數據中臺，私募產研一體化這4個領域是意見較為集中的大領域。DolphinDB 通過新的軟件版本和教程等形式，將我們積累的行業最佳實踐，反饋給了用戶和社區。
這種正向的交流和積累，對一個行業來說非常重要。DolphinDB 愿意繼續做好這個中間角色，后面推出更多的線下交流活動，讓行業中的各位大咖有更多火花碰撞的機會。
5.2 把寶貴的精力聚焦到業務上來
懂業務的不懂技術，懂技術的不懂業務，這一直是金融行業中的一個痛點。有時候業務方和技術方聯合起來做項目，溝通成本會很高。DolphinDB 的出現，其實給出了一個方案，IT 部門用 DolphinDB 做好大的工程框架，業務部門用 DolphinDB 腳本去編寫日常的核心業務代碼。這樣的組合，大大降低了業務人員對技術的要求，實際上是賦予了業務人員更大的自主性，把寶貴的精力聚焦到業務上來。以因子投研平臺為例，構建這樣一個系統，非常復雜。但核心業務，技術上其實比較簡單，寫一下因子的表達式或自定義函數即可。
原先業務人員使用 Python 其實也是這個邏輯，因為 Python 簡單易學，技術門檻低。但是 Python 的性能不夠好，不能滿足大數據處理或生產環境的需要。DolphinDB 出色的性能彌補了 Python 的短板，能兼顧到業務方和技術方的需求。
5.3 大數據分析更簡單更高效
大數據分析是金融行業中的一個普遍需求。金融行業的數據分析的一個特點就是業務復雜度高，因此對功能、性能以及易用性都有較高的要求。DolphinDB 支持分布式存儲和計算，內置強大的金融函數庫，支持多范式編程，不同背景的人可以選擇自己熟悉的編程方式，把性能、功能和易用性很好的結合起來了。
在 DolphinDB 之前，金融行業的大數據分析大致有3個生態，DolphinDB 與之相比，至少在性能、功能和易用性中的某一個維度有了大幅提升。Python 是用的最多的一個生態。Python 的 pandas 和 numpy 能夠滿足金融復雜數據分析的功能要求，但處理大數據時性能不夠高，DolphinDB 的性能通常超越Python 1～2個數量級。第二個生態使用類似 Hadoop、ClickHouse 等大數據工具來解決。這類方案的主要是缺點是運維和部署的復雜度較高，對金融業務的適配比較有限。第三個生態主要來自于早期的量化私募。他們直接將金融數據存為私有的二進制文件格式，然后直接寫 C++ 程序實現每一個數據分析。這種方式的缺點非常明顯，開發和調試的成本太高；優點是性能優異。但在很多 PoC 測試過程中我們也發現，這些定制的分析程序，性能上并沒有超越 DolphinDB 這種通用化的方案。
06 一起創造未來
再先進的生產力工具，如果沒有人會用，沒有配套的應用，沒有工程化的落地方案，那也是空中樓閣。
6.1 培養行業IT人才
DolphinDB 才7歲，在金融生態中屬于一個新產品。目前市場上沒有足夠多的 DolphinDB 專家來滿足行業快速增長的需求。DolphinDB 正在跟越來越多的頭部高校合作，培養金融科技人才，培養 DolphinDB 的優秀工程師。DolphinDB 的社區也在茁成長，每周約新增300個社區版本安裝。我們也即將推出 DolphinDB 技能認證。
除了社區和 DolphinDB 自己培養，我們更愿意與我們的客戶一起培養人才。在任何時候，如果您的部門需要給員工培訓，請聯系我們，我們有專職的講師團隊。如果您需要在1～2個星期之內速成 DolphinDB 工程師，歡迎把你的員工送到 DolphinDB 總部，跟著我們的工程師一起快速成長！我們的 HR 部門也十分樂意和我們的客戶推出聯合培養實習生項目?？傊?，培養行業 IT 人才，我們是認真的。
6.2 孵化插件市場
一個好的生態需要大量優質的應用。在 DolphinDB 上開發一個好的應用就是開發一個插件。DolphinDB 內部有專門的插件開發團隊，幫助我們的客戶開發在行業內有共同需要的插件。截至8月份，這個團隊已經幫客戶開發了近百個各種類型的插件，現在平均每周新推出一個插件。
DolphinDB 的每一個插件幾乎都是開放源代碼的。最近我們越來越感受到社區用戶參與的意愿。接下來，我們會推出 DolphinDB 的插件市場，把開發的插件分享給更多的用戶。我們非常歡迎您把您的插件需求告訴我們，讓 DolphinDB 和社區一起來滿足您的需要。
6.3 工程化落地
金融系統對穩定性、正確性和連續性有著苛刻的要求。尤其在生產環境中，我們需要一整套工程化的方法去部署，去優化配置，去測試，去監控。在初期，DolphinDB 更關注功能和性能，現在這個階段，我們更關注工程化落地。我們非常愿意跟金融機構的IT部門合作，尤其是運維部門，一起探討規范和流程，去打造一個個切實可行的工程化落地方案。
寄語
產品和服務是 DolphinDB 的生存之本，為行業客戶創造價值是 DolphinDB 的一貫目標。我們將始終如一為大家提供高質量的產品和服務，共同前進，希望一如既往的得到您的支持！謝謝！
