智東西（公眾號：zhidxcom）
作者 | 心緣
編輯 | 漠影
“生姜怎么保存？”、“小孩能吃辣條嗎？”、“魚的感覺器官是什么？”……
知識問答是智能語音助手最常見的日常交互內(nèi)容之一。像上面這些難以回答的長尾問題，一個(gè)語音助手平均每天會遇到上百萬條，而當(dāng)前業(yè)界的方案，不是拒絕回答，就是跳轉(zhuǎn)到搜索引擎。
對于用戶來說，這也就節(jié)省了打開搜索頁面和輸入問題的步驟，要比直接給出答案費(fèi)事的多。
面對數(shù)量龐雜且發(fā)散的問題，業(yè)界一直沒有成熟的方案。但最近，在智源研究院1.75億參數(shù)超大AI模型“悟道2.0”的基礎(chǔ)上，OPPO小布助手建設(shè)了直接給出此類開放域長尾問題答案的能力。
過去三年來，隨著BERT、GPT-3、悟道2.0等國內(nèi)外超大規(guī)模預(yù)訓(xùn)練模型接連出場，“大模型”已成為眾多學(xué)術(shù)及行業(yè)大會熱議的方向，也是代表深度學(xué)習(xí)前沿水平的標(biāo)志性模型。
匯集國內(nèi)頂尖AI專家及后輩人才的北京智源人工智能研究院，自2020年10月啟動大模型研究起就一路快馬加鞭地推進(jìn)研發(fā)，今年3月發(fā)布大模型“悟道1.0”，6月推出參數(shù)規(guī)模高達(dá)1.75萬億的全球最大AI模型“悟道2.0”。
如今，智源“悟道”又邁向新的節(jié)點(diǎn)——讓大模型被廣泛地“用起來”，打破AI開發(fā)想象力的邊界！
智源研究院學(xué)術(shù)副院長、清華大學(xué)教授唐杰
在本周五2021中關(guān)村論壇上，智源研究院學(xué)術(shù)副院長、清華大學(xué)教授唐杰一連宣布主攻低門檻、高效率、高情商的3個(gè)悟道大模型技術(shù)創(chuàng)新成果，要真正解決AI企業(yè)及行業(yè)用戶研發(fā)的核心痛點(diǎn)。
助力OPPO小布助手升級，是“悟道”在智能終端落地應(yīng)用的重要一步，這一應(yīng)用案例不僅展現(xiàn)了大模型在攻破智能助手瓶頸的技術(shù)優(yōu)勢，亦蘊(yùn)藏著驅(qū)動智能終端體驗(yàn)大變革的潛能。
基于悟道大模型的冬奧手語播報(bào)數(shù)字人也首次亮相，它將在北京冬奧會期間正式投用，為聽障人士提供全流程智能化的數(shù)字人手語生成服務(wù)。該成果將在年底發(fā)布。
悟道2.0大模型有1.75萬億參數(shù)，這是什么概念?
如果用GPU加載到內(nèi)存中，需要512張英偉達(dá)A100的卡，成本大約6000多萬人民幣，還不包括電費(fèi)。這是個(gè)相當(dāng)高的門檻。
智源正在做的，即是將悟道的應(yīng)用門檻降下來，將AI的效率和情商提起來，給更多人帶來便利。
無論是降低AI大模型開發(fā)門檻的悟道開發(fā)平臺，還是“一卡頂四卡”的高效推理工具包、4倍提速4倍清晰的AI文圖繪畫、最大中文對話模型等技術(shù)創(chuàng)新，都讓悟道大模型變得更加好用、易用。
1、悟道開發(fā)平臺：幫企業(yè)輕松構(gòu)建自己的AI應(yīng)用
為了降低中小企業(yè)基于大模型開發(fā)的門檻，智源打造了悟道開發(fā)平臺，讓每個(gè)人點(diǎn)點(diǎn)鼠標(biāo)就能構(gòu)建AI，從數(shù)據(jù)處理、模型微調(diào)到API部署一應(yīng)俱全。
該平臺支撐著10億級別模型的在線訓(xùn)練與微調(diào)，企業(yè)可以通過“大模型+少量數(shù)據(jù)微調(diào)”的AI開發(fā)模式，解決AI應(yīng)用開發(fā)難以規(guī)模化、產(chǎn)業(yè)化的問題。
這樣一來，即便你是AI開發(fā)新手，也能很快開發(fā)出高質(zhì)量的AI應(yīng)用，還能將這一應(yīng)用開放給悟道所有生態(tài)伙伴及相關(guān)用戶。
智源實(shí)現(xiàn)了一站式研發(fā)和一站式應(yīng)用平臺，前者面向開發(fā)者提供數(shù)據(jù)模型、在線訓(xùn)練、模型調(diào)優(yōu)、模型評測、在線部署和應(yīng)用開發(fā)等功能，后者為普通用戶提供直接可用的AI應(yīng)用商城。
整個(gè)應(yīng)用平臺底層實(shí)現(xiàn)了悟道大數(shù)據(jù)的處理，有超過5T數(shù)據(jù)，還有悟道各種各樣的基礎(chǔ)模型，以及相關(guān)多達(dá)幾十種算法和相關(guān)的工具集。
用戶可以將數(shù)據(jù)提交到平臺上，在云端跑模型。當(dāng)數(shù)據(jù)特別大時(shí)，也可以將模型下載下來，在本地機(jī)器上做微調(diào)，這需要有一些GPU做支持。
目前悟道開發(fā)平臺已開放API免費(fèi)體驗(yàn)，預(yù)計(jì)10月開放在線訓(xùn)練等更多能力。
2、預(yù)訓(xùn)練推理工具包BMInf：低資源高效推理
高效率推理，是實(shí)現(xiàn)大模型應(yīng)用的關(guān)鍵。
以前萬億模型進(jìn)行一次推理，需要512張A100的卡把內(nèi)存裝進(jìn)去，而現(xiàn)在借助預(yù)訓(xùn)練推理工具包BMInf，一卡即可頂四卡，該工具包支持最低配置在英偉達(dá)GTX 1060單卡機(jī)上運(yùn)行百億大模型。
當(dāng)然，除了百億模型，你可以根據(jù)自己的實(shí)際應(yīng)用需求，在線調(diào)用從億級到萬億級規(guī)模的模型，其能力覆蓋文本補(bǔ)全、文本生成及對話場景。
BMInf及其支持的模型參數(shù)已經(jīng)開源共享，用戶無需訪問源代碼即可調(diào)用，也可以把它下載下來，進(jìn)行本地的部署。
AI文圖繪畫大師CogView2也再度進(jìn)階，速度和畫面分辨率均提升4倍。以前5分鐘畫16張圖，現(xiàn)在 40多秒就能畫出8張，效果比國際領(lǐng)先的DALL·E模型還要更勝一籌。
下圖是針對“海灘上的一群人”這一主題的AI模型繪畫作品。左邊是世界頂尖AI研究機(jī)構(gòu)OpenAI的DALL·E模型所生成繪畫中的優(yōu)選作品，右邊是CogView隨機(jī)生成的繪畫。
可以看到在畫面生成效果上，右側(cè)身體輪廓與邊緣清晰流暢，面部表情可見，既有群像又有個(gè)人特寫，主題呈現(xiàn)場景也更為豐富、有生活感。
3、最大中文對話模型EVA：讓機(jī)器聊出人情味兒
怎樣讓AI更聰明？舉一反三、學(xué)習(xí)能力是關(guān)鍵。
對此，智源研發(fā)了一個(gè)基于prompt生成方法以及分類器的數(shù)據(jù)選擇方法，能對非常少量的樣本進(jìn)行數(shù)據(jù)增強(qiáng)，并通過微調(diào)把原來大模型迅速適應(yīng)到小的一個(gè)領(lǐng)域或者特定的任務(wù)中。
例如這一次，智源就發(fā)布了一個(gè)雙商在線的機(jī)器人，它不僅能幫你答疑解惑，還能基于心理咨詢助人理論，對你關(guān)懷體貼，實(shí)現(xiàn)深度情緒安撫和支持。
智源最大中文對話模型EVA已經(jīng)開源上線，除了擁有善解人意的特點(diǎn)外，還能展示大型大模型群聊現(xiàn)場。如下圖所示，語音機(jī)器人們互相聊得熱火朝天，PK誰才是高情商聊天小能手。
“悟道模型中有文匯、文源等，不同的模型構(gòu)建不同的機(jī)器人，用不同方式聊天。”唐杰說，未來要實(shí)現(xiàn)讓整個(gè)模型、讓所有人參與到群聊中，所有人和機(jī)器可以自然聊天。
悟道大模型會聊天的能力，已經(jīng)輸入到OPPO小布助手中。
從2018年12月發(fā)布至今，OPPO小布助手已經(jīng)成長了近3年，截至當(dāng)前已覆蓋了2.5億臺智能手機(jī)和IoT設(shè)備。今年2月，小布成為國內(nèi)首個(gè)月活躍用戶數(shù)破億的手機(jī)語音助手。
現(xiàn)在，小布的月活躍用戶數(shù)已達(dá)1.3億，月交互次數(shù)超過20億次。
這么大的月活量，用戶主要都聊了什么？
小布助手技術(shù)總監(jiān)楊振宇分享說，知識問答在小布總交互量中的占比約為15%，其中許多問題涉及領(lǐng)域廣泛，大量問題每月僅出現(xiàn)1次，樣本很少，每月會累計(jì)千萬級無法回答的問題。
與龐雜低概率問題相對的，是低效的人工建設(shè)。通常建設(shè)高質(zhì)量的語料庫主要借助人工標(biāo)注的方式，標(biāo)注員每天最多能產(chǎn)出不超過千條，每月成本卻高達(dá)數(shù)百萬。
由于提問率超低、回答難度大的問題，這些長尾問題成為問答領(lǐng)域的無人區(qū)，需要企業(yè)耗費(fèi)高昂的成本建設(shè)。當(dāng)語音助手無法回答這些問題，通常要么拒絕回答，給用戶一個(gè)設(shè)定好的默認(rèn)回復(fù)，要么借助搜索引擎給出搜索列表。
融合了悟道大模型能力的生成式知識問答系統(tǒng)“小布問答”，做到了為大量長尾問題即時(shí)生成非常流暢、自然的高質(zhì)量答案，能顯著提升用戶對話交互體驗(yàn)。
相對于傳統(tǒng)人工標(biāo)注，基于悟道合作共建的生成式知識問答系統(tǒng)，平均單條長尾問題問答成本降低99%，抽驗(yàn)準(zhǔn)確率超65%并持續(xù)提升中，再加上上游增設(shè)的質(zhì)量控制及融合排序，用戶實(shí)際體驗(yàn)到的準(zhǔn)確率會更高。
截至當(dāng)前，該系統(tǒng)已累計(jì)已生成百萬級問答量。
在小布問答體驗(yàn)提升的背后，悟道生成式大模型功不可沒。
在用戶輸入問題后，生成式知識問答系統(tǒng)會先進(jìn)行意圖識別，將其分為問答意圖或非問答意圖，問答意圖中會存在大量無法回答的開放域問題。
對此，悟道大模型會生成一些高質(zhì)量的答案，這些答案形成知識語料庫，再通過語義檢索的方式，向用戶提供服務(wù)。
針對現(xiàn)有用戶已提出而市面主流問答接口均無法回答的問題，悟道通過其通用語言模型GLM生成問答。
對于當(dāng)前知識庫中不存在、用戶未來可能問到的問題，悟道則借助GLM模型的三大能力，結(jié)合知識圖譜，形成持續(xù)知識預(yù)訓(xùn)練模型，進(jìn)而大規(guī)模生成問答語料庫：
1）文本生成能力：小布提供的無法回答的問題，是已經(jīng)調(diào)用了多方資源仍然沒有得到答案的問題。而悟道大模型的文本生成能力能實(shí)現(xiàn)低成本快速構(gòu)建語料庫，每臺機(jī)器每天可生成10萬左右的待審核答案，并避免回答引用時(shí)的版權(quán)問題。
2）理解能力：利用大模型對于既有知識的理解、推理能力，配合智源“持續(xù)知識預(yù)訓(xùn)練”技術(shù)，可以讓模型能夠更加理解常識和百科知識，從而使生成的結(jié)果更加符合百科常識。
3）小樣本學(xué)習(xí)能力：通過少量樣本，對生成結(jié)果，進(jìn)行排序，提升文本表達(dá)的準(zhǔn)確度。
這種新的技術(shù)范式，能以低成本的方式回答現(xiàn)有問答系統(tǒng)無法回答的問題，目前在OPPO小布助手上得到成功驗(yàn)證，雙方正在持續(xù)迭代升級中。
楊振宇透露，未來小布希望能繼續(xù)與智源拓展數(shù)據(jù)開放、模型共建、應(yīng)用適配等更多合作方向。
逐漸打磨成熟的一系列平臺及工具，以及更多示范應(yīng)用案例的出現(xiàn)，正將大模型的應(yīng)用價(jià)值推到歷史前臺。
在商業(yè)落地方面成果豐碩的大模型GPT-3，已經(jīng)有300多個(gè)衍生應(yīng)用，其相關(guān)創(chuàng)業(yè)公司也有好幾十個(gè)，有些公司還拿到了融資。這些商業(yè)應(yīng)用的覆蓋范疇從日常辦公到補(bǔ)寫代碼、從寫詩作曲到設(shè)計(jì)游戲應(yīng)有盡有。
唐杰希望在未來，悟道用自己的特色，在落地應(yīng)用方面跟GPT-3對標(biāo)。
此次悟道與小布助手的合作成果，釋放出未來智能終端語音助手進(jìn)化的積極訊號。經(jīng)悟道大模型助力的小布，不再是只擅長回答標(biāo)準(zhǔn)固定答案的機(jī)械語音機(jī)器人，而像人類一樣更靈活地聊天。
在接受媒體采訪時(shí)，唐杰提到大模型在問答方面還有進(jìn)步空間。比如機(jī)器不能保證100%答案正確，也做不到引經(jīng)據(jù)典、內(nèi)涵豐富的復(fù)雜邏輯。“所以把大模型到你的應(yīng)用中，還要做一些工作，讓它變得生產(chǎn)可用。”O(jiān)PPO數(shù)智工程系統(tǒng)總裁劉海鋒補(bǔ)充說。
智源研究院學(xué)術(shù)副院長、清華大學(xué)教授唐杰與OPPO數(shù)智工程系統(tǒng)總裁劉海鋒接受媒體采訪
長遠(yuǎn)來看，大模型獨(dú)特的技術(shù)體系和產(chǎn)業(yè)模式，將提供一種更加高效率和低成本的AI開發(fā)基礎(chǔ)設(shè)施，或?yàn)橹悄芙K端體驗(yàn)的升級帶來新思路。
冬奧手語播報(bào)數(shù)字人也帶來了更大想象空間，比如未來大模型可以助力智能制造，每個(gè)人都能設(shè)計(jì)全新的服裝或其他商品，通過智能制造的車間3D打印出來，讓每個(gè)人的物品都變得個(gè)性化。
悟道大模型今天應(yīng)用在終端智能設(shè)備、新聞手語播報(bào)，已經(jīng)走進(jìn)人們的日常生活，隨著悟道生態(tài)的持續(xù)擴(kuò)張，未來還將在更多產(chǎn)業(yè)得到應(yīng)用。
如今30家企業(yè)已經(jīng)加入智源成立的悟道產(chǎn)業(yè)聯(lián)盟，更多從發(fā)展生態(tài)的角度來看待大模型的用途和趨勢，助力未來更大應(yīng)用場景的發(fā)展。悟道還積極推進(jìn)社區(qū)建設(shè)，包括大賽、科研基金等。
自悟道發(fā)布起，智源開始籌備悟道AI創(chuàng)新大賽，目前已有200個(gè)參賽隊(duì)伍參加，大賽將在11月14日進(jìn)行決賽的現(xiàn)場路演和頒獎(jiǎng)。
悟道也設(shè)有2500萬的科研基金池，擬支持50個(gè)科研基金，吸引全國各科研機(jī)構(gòu)相關(guān)博士、老師、學(xué)生加入這里進(jìn)行科研研究。
此外，智源成立了悟道科技運(yùn)營公司，希望在公司中實(shí)現(xiàn)開放API和實(shí)現(xiàn)端到端的解決方案，并且提供模型授權(quán)，以此將悟道大模型的能力對外開放，助力AI發(fā)展。
唐杰希望，未來悟道能變得更開放，落地到更大的應(yīng)用場景。
在許多人眼中，參數(shù)規(guī)模驚人的大模型，是AI界的“陽春白雪”。如今智源發(fā)布的多項(xiàng)技術(shù)創(chuàng)新及應(yīng)用成果，昭示著國內(nèi)圍繞AI大模型的產(chǎn)業(yè)模式已經(jīng)啟航，開始通過生態(tài)合作將智能像水電一樣輸送到人們的身邊。
大模型時(shí)代的落地浪潮正在加速涌來。當(dāng)大模型的技術(shù)成果逐漸滲入AI研發(fā)和產(chǎn)業(yè)應(yīng)用中，則有望帶來破壁效應(yīng)，催生新的應(yīng)用場景及產(chǎn)業(yè)模式，驅(qū)動AI技術(shù)與實(shí)體經(jīng)濟(jì)的深度融合。新一輪行業(yè)創(chuàng)新的機(jī)會，也許正孕育于這股浪潮之中。
