編者按
8月29日，上海國資大數據課題啟動儀式暨數據資產技術及金融行業應用沙龍在華東理工大學隆重召開。本次沙龍在上海市國有資產監督管理委員會、上海市經濟和信息化委員會、上海市科學技術委員會的指導下，由上海市國有資產信息中心、華東理工大學金融大數據研究中心、上海計算機軟件技術開發中心聯合主辦，暢享網作為媒體支持，有逾200位專家、學者、企業代表等匯聚一堂，共同探討國資大數據的應用發展。
本文為國泰君安證券信息技術部總經理俞楓所做的主題分享《券商大數據技術及應用》，由暢享網整理。
各位領導、各位專家、下午好！
今天非常榮幸有機會在這里跟大家一起探討一下券商大數據應用的一些情況，首先從我的角度來理解一下我們對大數據發展趨勢的認識，探討一下大數據在券商行業應用的方向。
這張圖大家看了可能會嚇一跳，其實這是Matt Turck今年發布的2017年大數據全景視圖。大數據、互聯網、云計算是當前的應用熱點，但現階段最大的熱點還是人工智能，人工智能的基礎也是大數據。為什么人工智能這幾年有長足發展，主要就是大數據和計算能力的發展。大數據這一兩年入了一個相對來說比較快速成熟的發展周期，從全景視圖上看，其技術分類是越來越細了，應用領域也越來越廣。特別是在AI的技術出現以后，應該講大數據決定了AI發展的高度，同時AI技術也已應用到大數據分析處理里面。我覺得大數據跟AI技術是一對共生的兄弟，相互促進，相互融合才能更有效地發展。從企業角度講起來，現在大家對大數據的重視不只是口頭上，大家越來越重視，已經進入到全面布局的階段，這也是我們為什么今天在這里探討國資大數據問題的原因。。第三個趨勢是往云端發展，這點在國內發展受到一點制約，但國外的許多企業都樂意把大數據放在云端，他們很希望通過這個來吸引更多的人參與，核心也是要獲得大量的訓練數據。就是在機器學習過程中，因為訓練數據的缺乏，很多時候要加入人工輔助學習、訓練，通過人工的參與彌補原有數據樣本的不足。總之，目前大數據應用的發展已經到了新的階段，以后會越來越深入。
具體來說有幾塊應用比較重要，一塊是基礎架構，現在大家都知道流處理的重要性日益增加，Spark仍高居榜首，不過像Flink這樣的有趣競爭者正在涌現。第二是分析，在AI技術的大眾化和自服務工具飛速涌現的背景下，傳統的數據分析是靠數據科學家，目前很大的趨勢是通過人工智能技術來發展大數據分析的工具。剛才有位專家提到因子分析，現在美國最新的發展趨勢就是出現了很多輔助工具，通過工具輔助做數據的復雜關聯分析，可以通過機器學習找出來相關影響因子，以降低大數據的門檻，這方面的意義還是很大的。應用方面，就是跟AI相結合，適用用的領域會越來越廣，這可能是我覺得大數據目前發展的一個重要趨勢。
大數據解決的是數據工程的問題，負責提供管道，AI解決數據洞察的問題，也就是智能。特別是機器學習、深度學習、模式識別、自然語言處理等人工智能技術已用到大數據處理。原來大數據處理要處理一些語音、圖像難度很大，AI引進使之得到了有效的推動加深。我想以后大數據處理包括應用的場景跟廣度會越來越深。
從大數據在證券行業應用來看，我認為可以歸納為TO C和TO B兩個方面。
第一個就是針對客戶的TOC層面，核心就是提供更加個性化、場景化、智能化的普惠金融服務。隨著大數據的應用，特別是與智能化技術結合起來，有可能使得我們單個投顧對客戶的服務真正從原來幾個人變成幾萬、幾十萬，包括上千萬。跟大數據標簽、個性化的標簽相結合，可以實現千人千面，包括現在很時髦的像智能投顧，智能客服，這些都有可能通過AI跟大數據結合達到目標。
第二個TO B層面，主要是在于利用大數據相關技術打造數字化現代科技金融企業，實現數據驅動的業務模式創新，實現數據資產價值的變現。數據驅動的業務模式，原來業務運營是靠人、靠經驗為主，現在是以數據驅動。以數據驅動的角度實現模式創新，實現價值變現。比如客戶運營、社區運營、渠道運營等，目前我們公司的IT運營就實現了全數字化管理，這樣所有的過程和結果都可以數量化，從管理者角度每天只要看數據報表。
國泰君安從2014年開始投入研究和應用大數據技術提升客戶服務和數字化運營水平。國泰君安DMP，是把數據資產、大數據平臺跟大數據應用結合起來，形成整體的解決方案。這是我們三年前開始在做的，大數據應用的場景是要來源于現實需求。可能是我們從數據里面挖潛出來的需求，也可能是我們從客戶交流里來的需求。國泰君安始終秉承著以當前及潛在的業務需求為導向，探索集數據資產、平臺和應用于一體的大數據整體解決方案，應用的核心是通過大數據來驅動整個業務場景的實現。
這是我們公司大數據應用的金字塔，底下的數據基礎，對客戶數據進行標簽化處理，歸類、分類，在此基礎上建立業務跟IT的數據運營，第三層面是用戶體驗優化，第四做數據化營銷服務，最上面是提供數據服務，這是實現數據價值變現的比較好的應用途徑，再上面提供高層決策者的戰略分析。這個金字塔是我們整個大數據應用的基石。
目前國泰君安大數據平臺建設已經發展到了第二代。三年前開始做的，第一次跟IBM合作，現在我們是自主在發展，我們用很多開源軟件。當前，我們已經完成第二代大數據基礎平臺建設，自主掌控了hadoop、Spark、Spark Streaming、Elasticsearch、Kafka、Logstash、Kylin等開源技術框架。具備了結構化、非結構化、流數據處理能力，目前已經具備了大概有400多個TB的數據量，整合了公司內外用戶、客戶、交易、存管、產品、資產、市場交易的數據。每天數據增加2T左右，目前來看我們已經形成一定規模的數據資產，接下來通過大數據的一些應用把價值更好的體現出來。在大數據應用探索和實踐層面，已經實現了個性化推薦、季度賬單、賬戶分析、智能投顧等對客服務，同時也在企業內部管理層面，實現了IT業務運營、營銷反欺詐，實時業務大屏、營銷管家等應用推廣落地。
大數據助力打造智能APP
智能化并不是代替人，而是要人機同行。前段時間去美國印象很深，美林已用很多智能化的手段，但受到中低層員工很大的反彈。第一員工覺得它不完全可信，機器目前不可信其實是一個慢慢成長過程，員工越反對，它的訓練學習成熟的時間就會越長。第二員工參與訓練學習的積極性差，訓練的效果不十分理想。所以我覺得在當前階段談人工智能代替人還為時尚早，如果實現人機同行，把人工智能作為一種工具，我覺得是比較好的。比如原來只能服務一個人，現在因此可以服務千萬人。同樣在打造智能APP的領域，可以把大數據和人工智能結合起來，為我們服務客戶或者客戶投資提供很好輔助工具。我們具體做了六個方面的實踐，一個是智能推薦，根據客戶標簽、產品標簽、資訊標簽形成智能推薦環，第二個是智能搜索，第三是籌碼分布和相似K線，還有智能診股和賬戶分析。我印象很深的，大概在11年前，我的同學在家里畫個性化的K線圖，實際上這些靠機器計算可以很容易達到目標。第六類應用是智能診斷，主要是針對客戶的實際情況，給他進行一些分析。目前，大數據的眾多場景化應用對于移動APP的智能化打造提供了很大的助力。
1.相似K線
我們把它定位成投資者交易輔助工具，準備推出一個特色應用系列。相似K線的理論基礎假設市場會重演的，我們使用了快速模式識別引擎，實現了相似度的毫秒級運算。原來設想搞出來以后有一個未來走勢變化的概率顯示，今天走出來以后漲跌有什么概率，后來相關合規部門不同意，暫時沒推出。在美國，他們智能投顧也不是直接推薦股票，也只是把ETF組合推給客戶，最后也是靠人自己判斷的。這個應用是通過歷史的數據，去找出它的相似度，然后給客戶提供一些相似K線的引導，不能說是提示，客戶可以根據這個東西來決策，至少多了指標分析的新角度。這個應用的難點是數據量比較大，這么多股票，要算十年的K線，每年又是200個交易日，要找出相似股票還是很難的。這個原來是不可想象，現在是可以的。這個是我們前段時間推出的應用，我覺得這個應用對客戶來說還是不錯的。
2.籌碼分布
大家對此也是十分感興趣的，可以幫助投資者充分利用籌碼的分散與密集來研判股價的運作趨勢。因為如果你要知道一個股票大概是在什么樣的成本區間內運行，這樣你就會主動投資，這也是基于大數據的分析，給投資者一定的提示。這里面的核心環節還是分布式計算，是基于大數據給投資者提供一種輔助的投資工具。
3.智能搜索
傳統的智能搜索比如谷歌，谷歌上面，他們的搜索還蠻智能的。我們通過使用全文檢索，分詞等技術，將搜索智能化逐步拓展至APP全平臺，提供股票、資訊、功能及社交搜索等豐富的功能，同時結合流數據處理、推薦引擎，推出搜索場景下的熱點及感興趣內容的智能化推薦。我們可以進行關聯搜索，這種搜索最大的好處就是可以提高客戶的體驗，對投資還是非常有幫助的。特別是利用大數據推薦熱點咨詢，我們有一個智能引擎在里面進行搜索。最近我們也在探討，怎么能夠把市場上各種報告更好地進行規整，更好地進行分詞處理，形成基于關鍵字的數據化揭示，也是可以幫到投資者。MIT前幾年有一篇論文，就是通過facebook上對某股票的關注熱度來預測下一階段的漲跌。這里面的核心也是通過大數據的處理，里面需要用到智能化的分詞等技術。
4.賬戶分析
通過賬戶診斷數據模型結合列存儲及全文檢索技術，實時為客戶提供最全面、最專業的投資分析報告查詢服務，時間跨度最長可達到2年。原來賬戶分析基本上還是短時間，靜態的，我們提供一個能夠進行，相對來說更完整的資產到證券的分析，這里面最大的難度，我們把數據很好的存儲，然后有個數據診斷的模型。
5.智能推薦
我們基于機器學習、規則引擎、實時標簽運算，構建用戶標簽、產品標簽、資訊標簽和智能化匹配引擎，實現海量用戶實時畫像和個性化營銷推薦策略。如果把智能推薦做好了，客戶體驗就會非常高。難度第一是你的數據源是不是足夠大，我們不能只是局限于自己的交易數據，還需要第三方的數據。第二能不能把我們這些信息、資訊有效的進行分類，有效地進行標簽化，這里面的核心內容主要我們對原始資訊信息的處理能力，標簽化的能力。在美國看到一家公司基于智能技術分析、處理、推薦各類文本，通過人工訓練，就是對其推薦的一篇文章進行打分，經過幾個回合的機器學習以后，它對你需要那些數據、那個關鍵詞就能分析得非常準。當然它們目前處理中文還有難度，如果這方面有所突破的話，智能推薦的效果會更加明顯，也會更加好用。
6.智能診股
從基本面、技術面、消息面、資金面四個方面對個股進行綜合打分，幫助客戶進行投資選股，特別是在消息面處理時，結合了時下熱點的自然語言處理、輿情分析技術，解決了從研報提取核心觀點信息，對新聞進行利好利空判斷的兩個難點。現在越來越發現處理非結構化的數據是非常重要的，能夠把它與結構化的數據很好的結合起來再去找到合適的場景，未來也是比較好的應用方向。
大數據驅動業務創新模式
1.智能辦公助手
目前，越來越多的金融企業將大數據技術運用到風控領域，包括異常交易監控、網絡安全臺式感知、專業文檔審核以及用戶征信和反欺詐等。今年我們做了一個嘗試，效果不錯，就是進行投行申報文件AI自動復核，利用AI技術自動進行校對，基于ORC圖像識別、自然語言處理、詞向量分析、文本挖掘等技術，實現投行項目申報文件AI自動復核，以求最大化提升金融企業的效能，降低人工成本。從AI來說比較好的是做一種規范化的工作，做起來是最容易的。難度大的進行有效的文件識別，進行圖像識別，進行自然語言的處理，包括調向量分析，文本挖掘，以后我們會有更多場景會用到這項技術，這又是一大應用場景。通過我們開發辦公助手提高企業效能，美國公司也在做類似的應用，新員工進來以后會有很多問題，就搞了一個智能助手，有問題找到他，這個方法也很好。我們原來主要把智能化應用重點放在客戶，其實對員工、對企業也是很有意義的。
2.營銷欺詐防控
另一個風險控制的典型應用場景就是“營銷欺詐防控”，為公司不斷推出的各項營銷推廣活動（比如近期的818金融節、牛股PK大賽）進行保駕護航。怎么來進行有效的識別、防范，而且實時識別，這數據量又是非常大的，大數據通過用戶行為分析、反欺詐規則識別、黑名單甄別等手段，實現了對于薅羊毛行為的實時欺詐識別和攔截。我們從去年開始總結了一套很好的規則，通過數據實時監測，進行實時的阻斷，效果很好。我們有個效果數據，查詢率70%以上，準確率90%，結果還會回饋給呼叫中心進行進一步的篩選，為公司節約了大量的營銷成本，保障活動效果。應該講，在營銷欺詐上防控的領域，大數據還是非常有前途的。
3.3A3R互聯網運營模型
這是互聯網營運方面的應用，我們現在很多做互聯網活動，基本上還是以經驗導向，應該看到券商有很好的數字化基礎。這是我們去年開始搞了一個3A3R互聯網運用的模型，構建了基于3A3R模型的一整套運營指標體系，分別從感知（Awareness）、獲客（Acquisition）、活躍（Activation）、留存（Retention）、收入（Revenue）、傳播（Refer）六個方面，幫助掌握互聯網業務現狀，進行日常業務運營監測，指導運營決策，尋找業務場景。最大的特點把所有的活動運營用數字化表現出來。移動互聯網發展以后采集數據的領域，采集量也會不斷提升，應用的深度、廣度也會不斷提升。上次我就跟李處在探討到，在國資領域內數據是很多，比如說國泰君安也有很多數據，東航也有很多數據。如果一個客戶在國泰君安貸了一大筆款，他過幾天又到東航訂一張去美國的機票，是不是這個原有的風險等級就要進行調整了，但這件事單靠東航或國泰君安實際是無法進行數據連接的，但如國資想做就有可能了。我們很希望借助國資這么一個大的平臺，能夠把整個國資領域的數據服務搞起來，推進整個國資領域數據應用水平的進一步提升。
今天我簡單介紹到這里，謝謝大家！
