如果有A、B、C三位同學(xué)，他們各自手上有10、15、20塊錢，這時(shí)需要在相互不知道對(duì)方有多少錢的情況下，不借助力第三方來計(jì)算三個(gè)人一共有多少錢。請(qǐng)問這時(shí)候，我們?nèi)绾螌?shí)現(xiàn)呢？——這，就是最經(jīng)典的秘密共享場(chǎng)景。在看完這篇文章后，答案就出來了~
互聯(lián)網(wǎng)時(shí)代，一切基于數(shù)據(jù)。
隨著人工智能的興起，數(shù)據(jù)的質(zhì)量和數(shù)量，已經(jīng)成為影響機(jī)器學(xué)習(xí)模型效果最重要的因素之一，因此通過數(shù)據(jù)共享的模式來“擴(kuò)展”數(shù)據(jù)量、從而提升模型效果的訴求也變得越發(fā)強(qiáng)烈。但在數(shù)據(jù)共享過程中，不可避免會(huì)涉及到兩個(gè)問題：隱私泄露和數(shù)據(jù)濫用。提到這兩個(gè)關(guān)鍵詞，大家一定都對(duì)其背后的緣由有所耳聞：- 第一則：2018年3月，劍橋咨詢公司通過FaceBook的數(shù)據(jù)共享漏洞，收集了5000萬用戶信息，據(jù)說有可能利用這些信息操控美國(guó)總統(tǒng)競(jìng)選，造成惡劣社會(huì)影響；事件曝光后，F(xiàn)B公司股票大跌7%，引發(fā)一系列后續(xù)問題。
- 第二則：2018年5月，歐盟通過General Data Protection Regulation（GDPR）法案，法案指出：所有與個(gè)人相關(guān)的信息都是個(gè)人數(shù)據(jù)，對(duì)數(shù)據(jù)的使用行為必須要有用戶的明確授權(quán)。把對(duì)隱私保護(hù)的要求提到了一個(gè)新的高度。
隨著對(duì)數(shù)據(jù)安全的重視和隱私保護(hù)法案的出臺(tái)，以前粗放式的數(shù)據(jù)共享受到挑戰(zhàn)，各個(gè)數(shù)據(jù)擁有者重新回到數(shù)據(jù)孤島的狀態(tài)，同時(shí)，互聯(lián)網(wǎng)公司也更難以收集和利用用戶的隱私數(shù)據(jù)。數(shù)據(jù)孤島現(xiàn)象不僅不會(huì)消失，反而會(huì)成為新的常態(tài)，甚至它不僅存在于不同公司和組織之間，在大型集團(tuán)內(nèi)部也存在。未來，我們必須面對(duì)這樣的現(xiàn)狀：如果我們想更好的利用數(shù)據(jù)，用大數(shù)據(jù)和AI做更多有意義的事情，就必須在不同組織之間、公司與用戶之間進(jìn)行數(shù)據(jù)共享，但這個(gè)共享需要滿足隱私保護(hù)和數(shù)據(jù)安全的前提。隱私泄漏和數(shù)據(jù)濫用如同達(dá)摩克利斯之劍懸在各個(gè)公司和組織頭上，因此解決數(shù)據(jù)孤島，成為AI行業(yè)需要解決的首要問題之一。當(dāng)前，業(yè)界解決隱私泄露和數(shù)據(jù)濫用的數(shù)據(jù)共享技術(shù)路線主要有兩條。一條是基于硬件可信執(zhí)行環(huán)境（TEE：Trusted Execution Environment）技術(shù)的可信計(jì)算，另一條是基于密碼學(xué)的多方安全計(jì)算（MPC：Multi-party Computation）。TEE字面意思是可信執(zhí)行環(huán)境，核心概念為以第三方硬件為載體，數(shù)據(jù)在由硬件創(chuàng)建的可信執(zhí)行環(huán)境中進(jìn)行共享。這方面以Intel的SGX技術(shù)，AMD的SEV技術(shù)，ARM的Trust Zone技術(shù)等為代表。TEE方案的大致原理如下圖所示：目前在生產(chǎn)環(huán)境可用的TEE技術(shù)，比較成熟的基本只有Intel的SGX技術(shù)，基于SGX技術(shù)的各種應(yīng)用也是目前業(yè)界的熱門方向，微軟、谷歌等公司在這個(gè)方向上都有所投入。SGX（Software Guard Extensions ）是Intel提供的一套軟件保護(hù)方案。SGX通過提供一系列CPU指令碼，允許用戶代碼創(chuàng)建具有高訪問權(quán)限的私有內(nèi)存區(qū)域（Enclave - 飛地），包括OS，VMM，BIOS，SMM均無法私自訪問Enclave，Enclave中的數(shù)據(jù)只有在CPU計(jì)算時(shí)，通過CPU上的硬件進(jìn)行解密。同時(shí)，Intel還提供了一套遠(yuǎn)程認(rèn)證機(jī)制（Remote Attestation），通過這套機(jī)制，用戶可以在遠(yuǎn)程確認(rèn)跑在Enclave中的代碼是否符合預(yù)期。MPC（Multi-party Computation，多方安全計(jì)算）一直是學(xué)術(shù)界比較火的話題，但在工業(yè)界的存在感較弱，之前都是一些創(chuàng)業(yè)小公司在這個(gè)方向上有一些探索，例如Sharemind，Privitar，直到谷歌提出了基于MPC的在個(gè)人終端設(shè)備的“聯(lián)邦學(xué)習(xí)”(Federated Learning）的概念，使得MPC技術(shù)一夜之間在工業(yè)界火了起來。MPC方案的大致原理如下圖所示：目前，在MPC領(lǐng)域，主要用到的是技術(shù)是混淆電路（Garbled Circuit）、秘密分享（Secret Sharing）和同態(tài)加密（Homomorphic Encryption）。混淆電路是圖靈獎(jiǎng)得主姚期智教授在80年代提出的一個(gè)方法。其原理是，任意函數(shù)最后在計(jì)算機(jī)語言內(nèi)部都是由加法器、乘法器、移位器、選擇器等電路表示，而這些電路最后都可以僅由AND和XOR兩種邏輯門組成。一個(gè)門電路其實(shí)就是一個(gè)真值表，假設(shè)我們把門電路的輸入輸出都使用不同的密鑰加密，設(shè)計(jì)一個(gè)加密后的真值表，這個(gè)門從控制流的角度來看還是一樣的，但是輸入輸出信息都獲得了保護(hù)。秘密分享的基本原理是將每個(gè)數(shù)字隨機(jī)拆散成多個(gè)數(shù)并分發(fā)到多個(gè)參與方那里。然后每個(gè)參與方拿到的都是原始數(shù)據(jù)的一部分，一個(gè)或少數(shù)幾個(gè)參與方無法還原出原始數(shù)據(jù)，只有大家把各自的數(shù)據(jù)湊在一起時(shí)才能還原真實(shí)數(shù)據(jù)。同態(tài)加密是一種特殊的加密方法，允許對(duì)密文進(jìn)行處理得到仍然是加密的結(jié)果，即對(duì)密文直接進(jìn)行處理，跟對(duì)明文進(jìn)行處理后再對(duì)處理結(jié)果加密，得到的結(jié)果相同。同態(tài)性來自抽象代數(shù)領(lǐng)域的概念，同態(tài)加密則是它的一個(gè)應(yīng)用。當(dāng)前，業(yè)界針對(duì)數(shù)據(jù)共享場(chǎng)景，利用上面的技術(shù)路線推出了一些解決方案，包括隱私保護(hù)機(jī)器學(xué)習(xí)PPML、聯(lián)邦學(xué)習(xí)、競(jìng)合學(xué)習(xí)、可信機(jī)器學(xué)習(xí)等，但這些方案只利用了其中的一部分技術(shù)，從而只適合部分場(chǎng)景，同時(shí)基本處于學(xué)術(shù)研究階段，沒有在生產(chǎn)環(huán)境落地。共享機(jī)器學(xué)習(xí)：螞蟻金服數(shù)據(jù)孤島解決方案
為了更好的應(yīng)對(duì)形勢(shì)變化，解決數(shù)據(jù)共享需求與隱私泄露和數(shù)據(jù)濫用之間的矛盾，螞蟻金服提出了希望通過技術(shù)手段，確保多方在使用數(shù)據(jù)共享學(xué)習(xí)的同時(shí)，能做到：用戶隱私不會(huì)被泄露，數(shù)據(jù)使用行為可控，我們稱之為共享機(jī)器學(xué)習(xí)（Shared Machine Learning）。共享機(jī)器學(xué)習(xí)的定義：在多方參與且各數(shù)據(jù)提供方與平臺(tái)方互不信任的場(chǎng)景下，能夠聚合多方信息并保護(hù)參與方數(shù)據(jù)隱私的學(xué)習(xí)范式。從17年開始，螞蟻金服就一直在共享機(jī)器學(xué)習(xí)方向進(jìn)行探索和研究，在結(jié)合了TEE與MPC兩條路線的同時(shí)，結(jié)合螞蟻的自身業(yè)務(wù)場(chǎng)景特性，聚焦于在金融行業(yè)的應(yīng)用。螞蟻金服共享機(jī)器學(xué)習(xí)方案擁有如下特性：- 多種安全計(jì)算引擎整合，可基于不同業(yè)務(wù)場(chǎng)景來選擇合適的安全技術(shù)。既有基于TEE的集中式解決方案，也有基于MPC的分布式解決方案；既可滿足數(shù)據(jù)水平切分的場(chǎng)景，也能解決數(shù)據(jù)垂直切分的訴求；既可以做模型訓(xùn)練，也可以做模型預(yù)測(cè)。
- 支持多種機(jī)器學(xué)習(xí)算法以及各種數(shù)據(jù)預(yù)處理算子。支持的算法包括但不限于LR，GBDT，Xgboost，DNN，CNN，RNN，GNN等。
- 大規(guī)模集群化。支持大規(guī)模集群化，提供金融級(jí)的高效、穩(wěn)定、系統(tǒng)化的支撐。
基于數(shù)年沉淀與積累，目前共享機(jī)器學(xué)習(xí)技術(shù)已在銀行、保險(xiǎn)、商戶等行業(yè)成功落地諸多場(chǎng)景業(yè)務(wù)。通過在業(yè)務(wù)中打磨出的金融級(jí)共享機(jī)器學(xué)習(xí)能力，沉淀下來一套數(shù)據(jù)共享場(chǎng)景的通用解決方案，未來會(huì)逐步對(duì)外開放。
在幾年的艱苦研發(fā)中，共享學(xué)習(xí)累積專利50余項(xiàng)。在2019中國(guó)人工智能峰會(huì)上，共享機(jī)器學(xué)習(xí)獲得“紫金產(chǎn)品創(chuàng)新獎(jiǎng)”，在8月16日的全球人工智能創(chuàng)業(yè)者大會(huì)上，共享智能獲得“應(yīng)用案例示范獎(jiǎng)”。下面，我們將分享基于上面兩種路線的共享機(jī)器學(xué)習(xí)實(shí)踐細(xì)節(jié)。螞蟻共享學(xué)習(xí)底層使用Intel的SGX技術(shù)，并可兼容其它TEE實(shí)現(xiàn)。目前，基于SGX的共享學(xué)習(xí)已支持集群化的模型在線預(yù)測(cè)和離線訓(xùn)練。預(yù)測(cè)通常是在線服務(wù)。相對(duì)于離線訓(xùn)練，在線預(yù)測(cè)在算法復(fù)雜度上面會(huì)相對(duì)簡(jiǎn)單，但是對(duì)穩(wěn)定性的要求會(huì)更高。提升在線服務(wù)穩(wěn)定性的關(guān)健技術(shù)之一就是集群化的實(shí)現(xiàn)——通過集群化解決負(fù)載均衡，故障轉(zhuǎn)移，動(dòng)態(tài)擴(kuò)容等穩(wěn)定性問題。但由于SGX技術(shù)本身的特殊性，傳統(tǒng)的集群化方案在SGX上無法工作。為此，我們?cè)O(shè)計(jì)了如下分布式在線服務(wù)基本框架：該框架與傳統(tǒng)分布式框架不同的地方在于，每個(gè)服務(wù)啟動(dòng)時(shí)會(huì)到集群管理中心（ClusterManager，簡(jiǎn)稱CM）進(jìn)行注冊(cè)，并維持心跳，CM發(fā)現(xiàn)有多個(gè)代碼相同的Enclave進(jìn)行了注冊(cè)后，會(huì)通知這些Enclave進(jìn)行密鑰同步，Enclave收到通知后，會(huì)通過遠(yuǎn)程認(rèn)證相互確認(rèn)身份。當(dāng)確認(rèn)彼此的Enclave簽名完全相同時(shí)，會(huì)通過安全通道協(xié)商并同步密鑰。通過集群化方案解決了在線服務(wù)的負(fù)載均衡，故障轉(zhuǎn)移，動(dòng)態(tài)擴(kuò)縮容，機(jī)房災(zāi)備等問題；
通過多集群管理和SDK心跳機(jī)制，解決代碼升級(jí)，灰度發(fā)布，發(fā)布回滾等問題；
通過ServiceProvider內(nèi)置技術(shù)配合SDK，降低了用戶的接入成本；
通過提供易用性的開發(fā)框架，使得用戶在開發(fā)業(yè)務(wù)邏輯時(shí)，完全不需要關(guān)心分布式化的邏輯；
通過提供Provision代理機(jī)制，確保SGX機(jī)器不需要連接外網(wǎng)，提升了系統(tǒng)安全性。
目前在這套框架之上已經(jīng)支持包括LR、GBDT、Xgboost等多種常用的預(yù)測(cè)算法，支持單方或多方數(shù)據(jù)加密融合后的預(yù)測(cè)。基于已有框架，也可以很容易的擴(kuò)展到其它算法。模型訓(xùn)練階段，除了基于自研的訓(xùn)練框架支持了LR和GBDT的訓(xùn)練外，我們還借助于LibOs Occlum和自研的分布式組網(wǎng)系統(tǒng)，成功將原生Xgboost移植到SGX內(nèi)，并支持多方數(shù)據(jù)融合和分布式訓(xùn)練。通過上述方案，不僅可以減少大量的重復(fù)性開發(fā)工作，并且在Xgboost社區(qū)有了新的功能更新后，可以在SGX內(nèi)直接復(fù)用新功能，無需額外開發(fā)。目前我們正在利用這套方案進(jìn)行TensorFlow框架的遷移。
此外，針對(duì)SGX當(dāng)下詬病的128M內(nèi)存限制問題（超過128M會(huì)觸發(fā)換頁操作，導(dǎo)致性能大幅下降），我們通過算法優(yōu)化和分布式化等技術(shù)，大大降低內(nèi)存限制對(duì)性能的影響。基于TEE的多方數(shù)據(jù)共享學(xué)習(xí)訓(xùn)練流程如下：1. 機(jī)構(gòu)用戶從Data Lab下載加密工具2. 使用加密工具對(duì)數(shù)據(jù)進(jìn)行加密，加密工具內(nèi)嵌了RA流程，確保加密信息只會(huì)在指定的Enclave中被解密3. 用戶把加密數(shù)據(jù)上傳到云端存儲(chǔ)4. 用戶在Data Lab的訓(xùn)練平臺(tái)進(jìn)行訓(xùn)練任務(wù)的構(gòu)建5. 訓(xùn)練平臺(tái)將訓(xùn)練任務(wù)下發(fā)到訓(xùn)練引擎6. 訓(xùn)練引擎啟動(dòng)訓(xùn)練相關(guān)的Enclave，并從云端存儲(chǔ)讀取加密數(shù)據(jù)完成指定的訓(xùn)練任務(wù)。采用該方式進(jìn)行數(shù)據(jù)共享和機(jī)器學(xué)習(xí)，參與方可以保證上傳的數(shù)據(jù)都經(jīng)過加密，并通過形式化驗(yàn)證保證加密的安全性。螞蟻基于MPC的共享學(xué)習(xí)框架分為三層：- 安全技術(shù)層：安全技術(shù)層提供基礎(chǔ)的安全技術(shù)實(shí)現(xiàn)，比如在前面提到的秘密分享、同態(tài)加密、混淆電路，另外還有一些跟安全密切相關(guān)的，例如差分隱私技術(shù)、DH算法等等；
- 基礎(chǔ)算子層：在安全技術(shù)層基礎(chǔ)上，我們會(huì)做一些基礎(chǔ)算子的封裝，包括多方數(shù)據(jù)安全求交、矩陣加法、矩陣乘法，以及在多方場(chǎng)景下，計(jì)算sigmoid函數(shù)、ReLU函數(shù)等等；同一個(gè)算子可能會(huì)有多種實(shí)現(xiàn)方案，用以適應(yīng)不同的場(chǎng)景需求，同時(shí)保持接口一致；
- 安全機(jī)器學(xué)習(xí)算法：有了基礎(chǔ)算子，就可以很方便的進(jìn)行安全機(jī)器學(xué)習(xí)算法的開發(fā)，這里的技術(shù)難點(diǎn)在于，如何盡量復(fù)用已有算法和已有框架，我們?cè)谶@里做了一些有益的嘗試，但也遇到了很大的挑戰(zhàn)。
目前我們這套基于MPC的共享學(xué)習(xí)框架已支持了包括LR、GBDT、GNN等頭部算法，后續(xù)一方面會(huì)繼續(xù)根據(jù)業(yè)務(wù)需求補(bǔ)充更多的算法，同時(shí)也會(huì)為各種算子提供更多的技術(shù)實(shí)現(xiàn)方案，以應(yīng)對(duì)不同的業(yè)務(wù)場(chǎng)景。基于MPC的多方數(shù)據(jù)共享學(xué)習(xí)訓(xùn)練流程如下：1. 機(jī)構(gòu)用戶從Data Lab下載訓(xùn)練服務(wù)并本地部署2. 用戶在Data Lab的訓(xùn)練平臺(tái)上進(jìn)行訓(xùn)練任務(wù)的構(gòu)建3. 訓(xùn)練平臺(tái)將訓(xùn)練任務(wù)下發(fā)給訓(xùn)練引擎4. 訓(xùn)練引擎將任務(wù)下發(fā)給機(jī)構(gòu)端的訓(xùn)練服務(wù)器Worker5. Worker加載本地?cái)?shù)據(jù)6. Worker之間根據(jù)下發(fā)的訓(xùn)練任務(wù)，通過多方安全協(xié)議交互完成訓(xùn)練任務(wù)其中Coordinator部署于螞蟻平臺(tái)，用于任務(wù)的控制和協(xié)調(diào)，本身并不參與實(shí)際運(yùn)算。Worker部署在參與多方安全計(jì)算的機(jī)構(gòu)，基于安全多方協(xié)議進(jìn)行實(shí)際的交互計(jì)算。用戶在建模平臺(tái)構(gòu)建好的訓(xùn)練任務(wù)流會(huì)下發(fā)給Coordinator的Task Flow Manager，Task Flow Manager會(huì)把任務(wù)進(jìn)行拆解，通過Task Manager把具體算法下發(fā)給Worker端的Task Executor，Task Executor根據(jù)算法圖調(diào)用Worker上的安全算子完成實(shí)際的運(yùn)算。利用這套方法，可以做到數(shù)據(jù)不出域就可以完成數(shù)據(jù)共享，訓(xùn)練工具可以部署在本地的服務(wù)器。共享學(xué)習(xí) VS 聯(lián)邦學(xué)習(xí)
目前，國(guó)內(nèi)對(duì)于數(shù)據(jù)共享場(chǎng)景的機(jī)器學(xué)習(xí)解決方案，比較熟悉的可能是由谷歌提出，又由微眾傳播的聯(lián)邦學(xué)習(xí)概念。經(jīng)過我們的了解，其實(shí)聯(lián)邦學(xué)習(xí)目前涉及兩個(gè)不同的概念：- 第一種聯(lián)邦學(xué)習(xí)，旨在解決云 端的訓(xùn)練過程中，端上的隱私不要被暴露的問題，是一個(gè)To C 數(shù)據(jù)水平切分的場(chǎng)景。除了保護(hù)端上的數(shù)據(jù)隱私外，其重點(diǎn)還在于如何解決訓(xùn)練過程中，端自身可能掉線等問題。
- 第二種聯(lián)邦學(xué)習(xí)則主要用于解決To B場(chǎng)景中各方隱私不泄露的問題，即可以應(yīng)用于數(shù)據(jù)的水平切分場(chǎng)景，也可以應(yīng)用于數(shù)據(jù)垂直切分的場(chǎng)景。
它們側(cè)重于不同的數(shù)據(jù)共享場(chǎng)景，采用不同的技術(shù)，相比之下，螞蟻金服的共享學(xué)習(xí)兼容多種安全計(jì)算技術(shù)，并且支持多種機(jī)器學(xué)習(xí)算法和使用場(chǎng)景。
除此之外，共享學(xué)習(xí)和聯(lián)邦學(xué)習(xí)的差異在于：
1. 聯(lián)邦學(xué)習(xí)只解決數(shù)據(jù)不出域的情況，這就限制了其可以使用的技術(shù)（只有嚴(yán)格的MPC算法才符合這個(gè)要求），而共享學(xué)習(xí)目前基于TEE的集中式共享學(xué)習(xí)技術(shù)，是聯(lián)邦學(xué)習(xí)沒有涉及的；
2. 聯(lián)邦學(xué)習(xí)講究的是參與各方的“身份和地位”的相同，所以叫聯(lián)邦；而共享學(xué)習(xí)則不強(qiáng)調(diào)各共享方的地位對(duì)等，在很多場(chǎng)景下，不同的參與方是擁有不同的角色的。因此無論從技術(shù)范圍還是應(yīng)用場(chǎng)景上，聯(lián)邦學(xué)習(xí)都比共享學(xué)習(xí)的范圍要小。讓數(shù)據(jù)孤島在安全環(huán)境下進(jìn)行連接、合作、共創(chuàng)、賦能，是螞蟻金服共享機(jī)器學(xué)習(xí)的核心使命。
共享機(jī)器學(xué)習(xí)作為一個(gè)安全與AI的交叉學(xué)科，正在越來越受到關(guān)注，尤其是在金融行業(yè)，有著廣闊的應(yīng)用空間。但是，這個(gè)領(lǐng)域的各項(xiàng)技術(shù)，也遠(yuǎn)未到成熟的階段。我們團(tuán)隊(duì)經(jīng)過兩年的摸索，也只是取得了階段性的一些成果，在算法的計(jì)算性能以及支持算法的多樣性等各個(gè)方面，還有一段路要走。9月27日杭州云棲大會(huì)，螞蟻金服將向外界首次分享共享學(xué)習(xí)的理念和實(shí)踐，歡迎屆時(shí)關(guān)注。后續(xù)我們也會(huì)分享更多共享學(xué)習(xí)方面的研究進(jìn)展及實(shí)踐經(jīng)驗(yàn)， 歡迎業(yè)界同仁交流探討，共同探索更多更強(qiáng)的數(shù)據(jù)孤島解決方案，推進(jìn)數(shù)據(jù)共享下的機(jī)器學(xué)習(xí)在更多場(chǎng)景下落地。
本站僅提供存儲(chǔ)服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)
點(diǎn)擊舉報(bào)。
