新智元報(bào)道
編輯：好困 yaxin
理科生文藝起來，可能真沒文科生什么事兒了。
不信？你看看這首七言詩：
雖非蟾宮謫降仙，何懼冰殿冷徹骨。
窺簾斜視金屋小，多少俊才在此關(guān)。
讀完之后，不得不說真牛啤！意境內(nèi)涵都很贊。
不僅能寫詩，還能做詞，比如下面這首：
疑是九天有淚，
為我偷灑。
滴進(jìn)西湖水里，
沾濕一千里外的月光，
化為我夢里的云彩。
你能想象，這是完全不懂寫詩的理工生的杰作嗎？
確實(shí)如此。簡直讓李白看了會(huì)沉默，讓杜甫看了會(huì)流淚。
這就是浪潮剛剛發(fā)布的全球最大規(guī)模人工智能巨量模型，名曰「源1.0」。
除了能夠作詩賦詞，它還能對話、寫對聯(lián)、生成新聞、故事續(xù)寫...
2457億參數(shù)，這個(gè)全球最大規(guī)模人工智能巨量模型可是讀了2000億詞。
要知道，一個(gè)人的一生也沒有辦法讀完這么多詞語。
既然稱為全球最大，有多大？
全球最大規(guī)模人工智能巨量模型！
全球最大這個(gè)稱號(hào)可不是鬧著玩的！
「源1.0」不管是在算法、數(shù)據(jù)還是算力上，都做到了超大規(guī)模和巨量化。
算法方面，相比于1750億參數(shù)的英文語言模型GTP-3，「源1.0」共包含了2457億個(gè)參數(shù)，是前者參數(shù)量的1.404倍。
而且，最重要的是，「源1.0」和GPT-3一樣都是單體模型，而不是由很多小模型堆砌起來的。就單單在這一個(gè)方面，「源1.0」就可以榮登全球最大的自然語言理解模型了。
圖源：writeup.ai
數(shù)據(jù)方面，「源1.0」幾乎是把近5年整個(gè)中文互聯(lián)網(wǎng)的浩瀚內(nèi)容全部「讀」完了。通過自研的文本分類模型，獲得了5TB高質(zhì)量中文數(shù)據(jù)集，在訓(xùn)練數(shù)據(jù)集規(guī)模上領(lǐng)先近10倍。
此外，「源1.0」還閱讀了大約2000個(gè)億詞。這是什么概念呢？
假如人一個(gè)月能讀十本書，一年讀一百本書，讀50年，一生也就讀5000本書，一本書假如20萬字，加起來也只有10億字，需要一萬年才能讀完2000億詞。在如此大規(guī)模的數(shù)據(jù)加持下，「源1.0」的數(shù)據(jù)集也自然成為了全球最大的高質(zhì)量中文數(shù)據(jù)集。
算力方面，「源1.0」共消耗約4095PD（PetaFlop/s-day）。相對于GPT-3消耗3640PD計(jì)算量得到1750億參數(shù)，計(jì)算效率大幅提升。如果說，讓「源1.0」一天24小時(shí)不間斷「閱讀」的話，只需要16天就可以看完近五年中文互聯(lián)網(wǎng)的幾乎全部內(nèi)容。
嗯？原來已經(jīng)把近5年的中文互聯(lián)網(wǎng)內(nèi)容全學(xué)完了？
u1s1，「源1.0」永遠(yuǎn)的神！
成果如何呢？
你猜，這些對話中，每個(gè)問題對應(yīng)的A和B中，哪個(gè)是「源1.0」生成的呢？（答案在文末）
對話 | A | B |
問題1 | 姐姐啥時(shí)候回來捏？ 過年前幾天吧。 | 姐姐啥時(shí)候回來捏？ 不知道，你要是想姐姐，就給姐姐寫信。 |
問題2 | 和喜歡的男生告白了他現(xiàn)在還沒回我 和喜歡的女生表白了她說我們只適合做朋友 | 和喜歡的男生告白了他現(xiàn)在還沒回我 我想知道結(jié)局 |
問題3 | 我買了那套章蜜糖的針織裙 哪套？有鏈接不？ | 我買了那套章蜜糖的針織裙 穿了嗎？好看不好看？ |
問題4 | 不吃東西真的好難啊 覺得今天如果真的吃的話，明天鐵定會(huì)變胖的 | 不吃東西真的好難啊 我也覺得！我一定要瘦 |
親自體驗(yàn)「圖靈測試」是不是很好玩？別急，后面還有很多題等著呢！
現(xiàn)在我們先來看看「源1.0」最厲害的模仿能力。也就是，對于一個(gè)完全不存在的「詞語」，只需要一個(gè)用例，「源1.0」就能學(xué)會(huì)這個(gè)「詞語」的用法。
新詞 | 輸入-語義 | 生成文本 |
懸命 | 「懸命」是拼命，接近全力，做出最大努力的意思。他凡事必懸命，絕不打馬虎眼。用「懸命」造句： | 他這個(gè)人做事太懸命了，為了取得第一手材料，連飯也顧不上吃 |
腕前 | 「腕前」與本領(lǐng)的意思相同。例：「他只使出了了一小部分腕前，就把事情完成得如此出色」。用「腕前」造句： | 這個(gè)人的腕前很大，他很能完成這項(xiàng)任務(wù) |
氣持 | 「氣持」是心情、精神狀態(tài)的意思。例：「那種消極的氣持又控制了他」。用「氣持」寫一句話： | 他的氣持，使我無法接近 |
看到這些熟悉的「詞」是不是感覺有那味了（doge）。突然有些期待，如果「源1.0」學(xué)會(huì)了「小丑竟是我自己」這個(gè)詞會(huì)怎么用，誒嘿嘿。
既然提到了圖靈測試，那我們就來看看測試的結(jié)果怎么說？
「源1.0」在測試中實(shí)現(xiàn)了高達(dá)50.84%的平均誤判率！
圖靈測試采用「問」與「答」模式，即觀察者通過控制打字機(jī)向兩個(gè)測試對象通話，其中一個(gè)是人，另一個(gè)是機(jī)器。觀察者不斷提出各種問題，從而辨別回答者是人還是機(jī)器。
通常認(rèn)為，進(jìn)行多次測試后，如果機(jī)器讓平均每個(gè)參與者做出超過30%的誤判，那么這臺(tái)機(jī)器就通過了測試，并被認(rèn)為具有人類智能。
在「源1.0」的測試結(jié)果中，受訪者的平均區(qū)分正確率是49.16%，這意味著平均誤判率為50.84%。在新聞生成這一領(lǐng)域，誤判率更是高達(dá)57.88%。
其中，正確率是指能正確將機(jī)器生成的文本識(shí)別出來的比例。正確率<70%，意味誤判率超過30%。
數(shù)據(jù)看著太單調(diào)？沒事！大家期待的「真題」環(huán)節(jié)來了！
對聯(lián) | 上聯(lián) | A | B |
問題1 | 五湖四海皆春色 | 三江八荒任我游 | 萬水千山盡得輝 |
問題2 | 春來人入畫 | 福至夢開花 | 夜半月當(dāng)燈 |
問題3 | 和風(fēng)吹綠柳 | 時(shí)雨潤春苗 | 細(xì)雨潤青禾 |
問題4 | 三江顧客盈門至 | 四季財(cái)源滾滾來 | 百貨稱心滿街春 |
詩歌 | A | B |
問題1 | 滿目青山夕照明，愿隨江舟泛輕風(fēng)。 今生常憶多情事，香閨如夢領(lǐng)神會(huì)。 | 塞上長城萬里長，漫天風(fēng)雪映重巒. 一邊江水人心去，滿目青山絕照還。 |
問題2 | 燕壘空梁畫壁寒，諸天花雨散幽關(guān)，篆香清梵有無間。 | 蝶夢似曾留錦袖，絳河如又濕團(tuán)扇，風(fēng)來香去苦欄干。 |
問題3 | 夜戰(zhàn)桑乾北，秦兵半不歸。 朝來有鄉(xiāng)信，猶自寄寒衣。 | 戰(zhàn)鼓催征千嶂寒，陰陽交會(huì)九皋盤。 飛軍萬里浮云外，鐵騎叢中明月邊。 |
世界第一是怎樣一種體驗(yàn)？
那么，這個(gè)拿下世界第一的最大AI模型，到底有多強(qiáng)？
不如拉出來跑個(gè)分、刷個(gè)榜看看！
英文語言模型評測有GLUE、SuperGLUE，例如GPT-3這類的各種預(yù)訓(xùn)練模型都會(huì)在上面進(jìn)行評估。和GLUE類似，CLUE是中文第一個(gè)大規(guī)模的語言評估基準(zhǔn)。其中包了括代表性的數(shù)據(jù)集、基準(zhǔn)（預(yù)訓(xùn)練）模型、語料庫和排行榜。而這些數(shù)據(jù)集也會(huì)覆蓋不同的任務(wù)、數(shù)據(jù)量、任務(wù)難度等。
順便安利一下最近新出的國內(nèi)首個(gè)以數(shù)據(jù)為中心的AI測評DataCLUE。
言歸正傳，「源1.0」占據(jù)了零樣本學(xué)習(xí)（zero-shot）和小樣本學(xué)習(xí)（few-shot）2項(xiàng)榜單的榜首。
在ZeroCLUE零樣本學(xué)習(xí)榜單中，「源1.0」以超越業(yè)界最佳成績18.3%的絕對優(yōu)勢遙遙領(lǐng)先。其中，在文獻(xiàn)分類、新聞分類，商品分類、原生中文推理、成語閱讀理解填空、名詞代詞關(guān)系6項(xiàng)任務(wù)中獲得冠軍。
https://www.cluebenchmarks.com/zeroclue.html
在FewCLUE小樣本學(xué)習(xí)榜單中，「源1.0」獲得了文獻(xiàn)分類、商品分類、文獻(xiàn)摘要識(shí)別、名詞代詞關(guān)系等4項(xiàng)任務(wù)的冠軍。
https://www.cluebenchmarks.com/fewclue.html
零樣本學(xué)習(xí)，就是訓(xùn)練的分類器不僅僅能夠識(shí)別出訓(xùn)練集中已有的數(shù)據(jù)類別，還可以對于來自未見過的類別的數(shù)據(jù)進(jìn)行區(qū)分。從原理上來說，是讓計(jì)算機(jī)具備人類的推理和知識(shí)遷移能力，無需任何訓(xùn)練數(shù)據(jù)就能夠識(shí)別出一個(gè)從未見過的新事物。
小樣本學(xué)習(xí)，就是使用遠(yuǎn)小于深度學(xué)習(xí)所需要的數(shù)據(jù)樣本量，達(dá)到接近甚至超越大數(shù)據(jù)深度學(xué)習(xí)的效果。而是否擁有從少量樣本中學(xué)習(xí)和概括的能力，是將人工智能和人類智能進(jìn)行區(qū)分的明顯分界點(diǎn)。因?yàn)?/span>人類可以僅通過一個(gè)或幾個(gè)示例就可以輕松地建立對新事物的認(rèn)知，而機(jī)器學(xué)習(xí)算法通常需要成千上萬個(gè)有監(jiān)督樣本來保證其泛化能力。
圖源：Akira AI
說了半天，「源1.0」的小樣本學(xué)習(xí)和零樣本學(xué)習(xí)這么厲害有啥用呢？
這就要提到巨量模型的一個(gè)非常重要的意義了：強(qiáng)大的統(tǒng)一泛化能力。
對于大部分規(guī)模比較小的模型來說，需要針對每一個(gè)新的任務(wù)重新做微調(diào)，給它喂相應(yīng)的數(shù)據(jù)集，在做了大量的工作之后才能在新場景下應(yīng)用。而對于巨量模型，在面臨不同應(yīng)用任務(wù)的時(shí)候，則不需要做大量的重新訓(xùn)練和重新調(diào)整。
浪潮人工智能研究院首席研究員吳韶華表示：「你不用喂巨量模型那么多數(shù)據(jù)去做訓(xùn)練，就可以在一個(gè)新的應(yīng)用場景里面得到非常好的結(jié)果?！?/span>
所以說巨量模型的適應(yīng)能力非常強(qiáng)，可以極大地減少產(chǎn)業(yè)界在應(yīng)用模型的時(shí)候，不管是在數(shù)據(jù)還是在微調(diào)方面的投入，從而加快產(chǎn)業(yè)的發(fā)展進(jìn)程。
如何評價(jià)？
大模型正在成為AI發(fā)展趨勢，是必爭的高地。
時(shí)間要倒回三年前... 當(dāng)時(shí)的預(yù)訓(xùn)練模型，讓深度神經(jīng)網(wǎng)絡(luò)，以及大規(guī)模無標(biāo)注數(shù)據(jù)的自監(jiān)督能力成功激活。
深度學(xué)習(xí)模型和性能這一開關(guān)同時(shí)被打開，尤其是NLP領(lǐng)域。
Big Tech 在嘗到與訓(xùn)練模型帶來甜頭之后，紛紛對模型規(guī)模和性能展開了激烈的競爭。
從驚艷四座的谷歌BERT，到OpenAI的GPT-3，參數(shù)量不斷刷新，1750億參數(shù)，其能力也是不言而喻。
當(dāng)前，語言模型的訓(xùn)練已經(jīng)從「大煉模型」走向「煉大模型」的階段，巨量模型也成為業(yè)界關(guān)注的焦點(diǎn)。
近日，李飛飛等斯坦福研究者在論文中闡述了類巨量模型的意義在于突現(xiàn)和均質(zhì)。在論文中，他們給這種大模型取了一個(gè)名字，叫基礎(chǔ)模型（foundation model），并系統(tǒng)探討了基礎(chǔ)模型的機(jī)遇與風(fēng)險(xiǎn)。
https://arxiv.org/pdf/2108.07258.pdf
簡單說，大模型就是我們理解生命的進(jìn)化，從簡單到復(fù)雜的這樣一個(gè)過程。
我們把模型比作是元宇宙里面的生命，它擁有多大模型的這種復(fù)雜綜合系統(tǒng)的能力，可能就決定了未來在數(shù)字世界和智能世界里，它的智能水平到一個(gè)什么樣的程度。
今天，「源1.0」有2457億參數(shù)還不夠多，人類的神經(jīng)元突觸超過100萬億，所以依然有很長的路要走。
而「源1.0」創(chuàng)新點(diǎn)在哪？通過協(xié)同優(yōu)化，「源1.0」攻克了在巨量數(shù)據(jù)和超大規(guī)模分布式訓(xùn)練的擴(kuò)展性、計(jì)算效率、巨量模型算法及精度提升等方面的業(yè)界難題。
算法上：
解決了巨量模型訓(xùn)練不穩(wěn)定的業(yè)界難題，提出了穩(wěn)定訓(xùn)練巨量模型的算法；
提出了巨量模型新的推理方法，提升模型的泛化能力，讓一個(gè)模型可以應(yīng)用于更多的場景。
數(shù)據(jù)上：
創(chuàng)新地提出了中文數(shù)據(jù)集的生成方法，通過全新的文本分類模型，可以有效過濾垃圾文本，并生成高質(zhì)量中文數(shù)據(jù)集。
算力上：
「源1.0」通過算法與算力協(xié)同優(yōu)化，使模型更利于GPU性能發(fā)揮，極大的提升了計(jì)算效率，并實(shí)現(xiàn)業(yè)界第一訓(xùn)練性能的同時(shí)實(shí)現(xiàn)業(yè)界領(lǐng)先的精度。
圖源：跨象乘云
那么，開發(fā)者們能從這塊「黑土地」上得到什么？
浪潮源1.0大模型只是一個(gè)開始，它只是提供一片廣闊的肥沃土壤。
浪潮未來將定向開放大模型API，服務(wù)于元腦生態(tài)社區(qū)內(nèi)所有開發(fā)者，供全球的開發(fā)人員在平臺(tái)上開發(fā)應(yīng)用于各行各業(yè)的應(yīng)用程序。
各種應(yīng)用程序可以通過浪潮提供的 API進(jìn)行基于大模型的搜索、對話、文本完成和其他高級(jí) AI 功能。
其實(shí)，不管是1750億參數(shù)，還是2457億巨量參數(shù)語言模型，最重要的是它能否真正為我們所用。要說上陣，真正的含義并不是在發(fā)布會(huì)上的首秀，而是下場去在實(shí)際場景中發(fā)揮它的作用和價(jià)值。
浪潮信息副總裁劉軍表示，「首先從大模型誕生本身來說，還有另外一個(gè)意義，那便是對于前沿技術(shù)的探索，需要有大模型這么一個(gè)平臺(tái)，在這個(gè)平臺(tái)上才能支撐更進(jìn)一步的創(chuàng)新?！?/span>
「其次，在產(chǎn)業(yè)界我們很多產(chǎn)業(yè)代表提出來的殺手級(jí)的應(yīng)用場景，比如說運(yùn)營商智能運(yùn)維，在智能辦公場景報(bào)告的自動(dòng)生成，自動(dòng)對話智能助手。」
「源1.0」大模型能夠從自然語言中「識(shí)別主題并生成摘要」的能力，讓各行各業(yè)公司的產(chǎn)品、客戶體驗(yàn)和營銷團(tuán)隊(duì)更好地了解客戶的需求。
例如，未來大模型從調(diào)查、服務(wù)臺(tái)票證、實(shí)時(shí)聊天日志、評論等中識(shí)別主題、情緒，然后從這個(gè)匯總的反饋中提取見解，并在幾秒鐘內(nèi)提供摘要。
如果被問到「什么讓我們的客戶對結(jié)賬體驗(yàn)感到沮喪？」
大模型可能會(huì)提供這樣的見解：「客戶對結(jié)賬流程感到沮喪，因?yàn)榧虞d時(shí)間太長。他們還想要一種在結(jié)賬時(shí)編輯地址并保存多種付款方式的方法?！?/span>
未來，浪潮源1.0大模型將推動(dòng)創(chuàng)新企業(yè)及個(gè)人開發(fā)者基于大模型構(gòu)建智能化水平更高的場景應(yīng)用，賦能實(shí)體經(jīng)濟(jì)智能化升級(jí)，促進(jìn)經(jīng)濟(jì)高質(zhì)量發(fā)展。
圖靈測試答案
對話
問題1 | B |
問題2 | A |
問題3 | B |
問題4 | A |
對聯(lián)
問題1 | A |
問題2 | B |
問題3 | B |
問題4 | A |
詩歌
問題1 | A |
問題2 | B |
問題3 | B |
聯(lián)系客服
