文|帆軟數據應用研究院 周小鈞
證券市場作為證券業和金融業重要組成部分,它不僅僅只是備受政府主管部門、券商和廣大投資者的青睞,更可以堪稱是國民經濟的“晴雨表”。長期以來各券商的交易系統一直融合各類高質量的信息和技術,積累大量交易數據,為獲取行業競爭優勢積聚優質能量。
但隨著數據量和數據系統的不斷增多,數據管理變得越發困難,如何既能夠有效輔助證券投資者投資決策,也能夠使一家證券公司的長期積累得到充分發揮成為了一個難題。本文以東吳證券為例,探索數據管理如何賦能運營。
東吳證券作為全國第18家上市券商,擁有以證券經紀、資產管理、投資銀行服務、基金債券代銷服務等為基本架構的專業證券服務體系,旨在為客戶提供全方位證券理財服務。經過20多年的發展,東吳證券已經從一家地方性證券公司成長為擁有130多家營業網點的全國性綜合券商,業務門類齊全,也建設了200多套系統支持各種業務的發展。
多年的快速發展,公司積累了大量各種的類型數據,也認識到這些大量的數據中蘊藏了巨大的價值,但發現由于數據管理組織和制度缺失、數據分散且共享不足、報表自動化程度低、數據分析應用能力缺失,導致各部門難以形成統一管理制度,數據整合能力低下,缺少數據分析以支持決策。這一切都最終造成了數據價值無法被發現。為此,東吳證券決定做出改變。
自2017年3月開始,東吳證券正式開始進行針對數據管理的技術系統建設,通過與帆軟軟件有限公司合作,使用其FineReport與FineBI軟件,逐步構建了駕駛艙管理系統、BI系統、資訊系統、輿情風控等多個大數據平臺系統。此外,針對各部門業務需求,針對性的進行了機器學習方面的拓展,實現了客戶精準營銷,客戶流失預警等多個項目。
一、建立大數據平臺
東吳證券針對不同的服務對象和服務內容,共計開發了約200套服務系統。然后系統之間的數據并不完全交互,進而逐步形成了“數據孤島”。由于一組數據可能歸屬于不同的業務線,因此要及時了解某些數據類的變化非常困難。通過接近一年的逐步研發,東吳證券在帆軟軟件的幫助下,逐步實現了大數據平臺的落地與個性化管理系統的集成和開發。
1.管理駕駛艙系統
由于各種業務數據在不同的系統中,在白天交易時間內會實時變化,對于公司管理層和相關的業務部門來說,很希望能夠對當天的經營情況能夠有及時的了解。但是,由于系統和業務特性,一般報表都會在當天晚上清算后,第二天早上才能看到。通過管理駕駛艙系統,實時把數據從各系統抓取過來,經過加工處理,把不同的系統、不同業務的數據實時顯示到管理駕駛艙系統中,并可通過移動端應用,管理部門可以實現實時掌握公司當日運營情況。
東吳證券管理駕駛艙系統主頁
通過對實時和盤后采集的數據進行分析計算,管理駕駛艙能夠通過圖形、表格等形式提供給公司管理者直觀的公司業務運營數據。
同時,東吳證券在大數據平臺中基于FineReport開發了大量對外和對內的報表系統。
東吳證券管理駕駛艙系統報表頁面
由于各業務部門或業務條線日常需要大量的報表對運營情況進行掌握,同時也需要制作大量的報表報送給監管機構,比如營業部每月初需要花好幾天時間從不同的系統中獲取數據,然后填寫到報表中,效率低下且容錯率低。通過在管理駕駛艙系統中利用FineReport,使得報表可以一鍵生成,節省了大量的時間和勞力,使原先需要數日完成的工作可以秒級完成。
東吳證券移動端管理駕駛艙系統頁面
同時,利用帆軟產品與釘釘、微信等移動端應用可集成的特性,東吳證券開發了移動管理駕駛艙允許用戶通過手機、平板等移動終端瀏覽訪問日常的報表數據,實現隨時隨地,任意地點都可以實時訪問東吳管理駕駛艙。通過訪問管理駕駛艙,管理者實時了解掌握公司各業務部門報表數據,實時運營數據,運營異常預判等數據信息。
2.BI數據分析
東吳證券于18年6月份引入FineBI,期望在數據分析方面能夠取得更大的進步。引入BI系統旨在把數據分析和部分報表工作遷移至業務部門報表人員,讓他們能夠自主的進行數據分析,挖掘數據價值,發現問題,尋找解決方案,同時也可以部分降低后臺技術人員的工作強度和壓力,使技術人員能夠把逐漸把精力轉向提供基礎數據服務。
東吳證券BI營銷數據分析界面
東吳證券BI風險數據分析界面
BI營銷數據系統已經在多個部門開始使用,并取得了不少成果。通過查看各家營業部每天活躍客戶數量情況,可以清楚的了解到各家營業部客戶活躍情況程度,對那些活躍客戶比較多的業務部門進行表揚,提高大家積極性,同時激勵活躍度不高的營業部。
同時,通過指標體系建立BI風險數據分析模型,實時反映公司全面風險的運行狀態,將數據直觀化、具體化、形象化。實際上這是為與風險相關的高層管理層提供的“一站式”決策支持的模板。通過信用風險相關數據,從而實現風險管理信息展示與工作流轉,實現風險偏好到風險指標,經濟資本等量化分析管理。
3.客戶盈虧計算
客戶盈虧分析一直是券商的一個棘手問題,一方面原因是盈虧計算涉及的庫表非常多,一般會涉及到10多個數據庫,20多張表,業務邏輯經常變化且相對而言比較復雜,涉及兩融、理財、經紀、質押回購、約定購回等諸多業務,邏輯復雜難以理清,另一方面原因是計算量比較大,尤其對客戶量達千萬量級的大型券商更是如此。
通過FineBI與FineReport集成后的大數據平臺,能夠實現客戶數據的迅速整合,在三分鐘左右就可以完成一位客戶的盈虧情況計算,大大提升了東吳證券對客戶的服務效率。
4.年度賬單推送
年度賬單業務依賴于客戶標簽,東吳證券將證券客戶的標簽分為六大類、四個層次:六類標簽包括證券投資者的個人屬性、資產情況、盈虧情況、以及和投資交易相關的信息。四個層次指的是由上至下,標簽的抽象程度逐步遞減。
東吳證券客戶指標體系
東吳證券客戶年度賬單推送
通過建立多層指標體系,對于客戶進行標簽化分類,這使得東吳證券可以對于客戶進行更精確的畫像,為后續的精準營銷打下基礎。同時,基于此開發年度賬單推送,標簽本身的趣味性加上APP端的美工設計,對移動端客戶可以在一定程度上增強使用粘性。
二、開發機器學習算法系統
在大數據平臺落地的基礎上,為了應對更為復雜和深度的業務需要,東吳證券開始著手在深度學習等方面進行研發。針對不同的業務場景和和需要,基于機器學習算法,開發了“理財精準營銷”與“客戶流失預警”兩套算法系統。
1.理財精準營銷
東吳證券探索利用機器學習算法為公司產品營銷提供目標客戶群,降低營銷成本,提高營銷轉換率,通過并行多個機器學習算法,建立起理財精準營銷系統。
東吳證券理財精準營銷算法對比示意圖
通過機器學習算法,東吳證券于2018年11月完成了對一批客戶的精準營銷,轉化率極高,當月轉化客戶達到活動期間總新增客戶數的百分之六十。
2.客戶流失預警
為了預測客戶流失,基于機器學習算法,通過對于歷史數據的訓練,東吳證券建立了“客戶流失預警”系統,并于2018年12月對一批客戶進行了流失預測,最后的客戶召回率可達到百分之五十至六十。
東吳證券客戶流失預警算法對比示意圖
一、持續開展數據治理
1.數據標準化
數據標準化是信息的縱向貫通的基礎,同時支持管理標準的落實,以及信息化成果的全公司應用,旨在解決解決數據定義不同,難以整合的問題。目標做到以下幾點:
2.數據質量管理
明確用戶對數據質量的要求(包括業務規則層面和數據應用層面),并通過業務操作制度和技術手段保障需求。不斷解決產生的數據質量問題,消除造成數據質量問題的根本原因,提升整體數據質量。目標做到以下幾點:
3.數據安全性管控
結合自身的數據安全要求,東吳證券期望未來能制定相關數據的安全等級和數據訪問授權機制,實現數據安全管理,并在系統中落實,進而解決數據安全要求不明確,缺乏安全保障問題。
二、完善大數據分析系統與數據價值挖掘體系
經過近兩年的實踐和積累,東吳證券的數據平臺建設已經初見規模,制定出了數據管理制度,組建了數據管理組織,基本架設起了一套面向證券行業的大數據生態系統,并初步具備了在大數據平臺之上進行人工智能探索的能力,取得了一些階段性的成果。
東吳證券大數據分析系統示意圖
東吳證券數據挖掘進程規劃示意圖
未來東吳證券希望能繼續在數據領域深耕,目標建成完善的大數據分析系統與數據價值挖掘體系。東吳證券還希望通過人工智能的產品化,將AI融入到產品中,與移動交易終端的結合,在APP中體現智能應用、智能投顧、智能客服、智能選股、推薦系統等技術,通過AI的精準效果增強APP的易用性、社交性、和娛樂性,提高存量用戶的粘性,最大程度地挖掘用戶價值。
兩年勵精圖治,東吳證券通過與帆軟軟件的合作,實現了數據整合與數據分析系統的落地,并在此基礎上成功開發了基于深度學習的個性化證券數據分析產品。借助數據管理的力量,東吳證券成功解決了數據應用上的多個痛點,并準備繼續深耕數據價值領域,以期獲得更多的突破和更大的成就,開創企業更美好的未來!