圖/即刻@雨醫生在AI領域,語言理解一直最為核心,也是難以攻克的問題之一,尤其是中文的語言理解。放眼目前全世界的所有語言,中文的難度系數是最高的。相比拉丁語系中的單詞,中文漢字的語義更加模糊,容易產生歧義、信息失真等問題,這些都給 AI 提出了更大的挑戰。也是在最近,阿里和騰訊的 AI 接連取得了突破性的進展,中文語言理解又往前再走了關鍵一步。
AI 中文成績超人類
上月底,在中文語言理解領域權威榜單 CLUE 中,阿里 AI 以 86.685 的總成績創造了一個新的紀錄——該榜單誕生以來AI第一次超過人類成績(86.678)。僅僅不到一周,騰訊 AI 也更新了自己成績,以 86.918 的得分超過了人類和阿里 AI 的成績。
CLUE 總榜,圖/CLUE中國兩大互聯網巨頭,在短短一周內相繼超越人類的 CLUE 成績。作為業界最權威的中文自然語言理解榜單,CLUE(中文語言理解測評基準)是一組評估AI機器人能夠像人類一樣理解和響應中文文本的任務,從長短文本分類、多選閱讀理解、自然語言推理等 17 項任務中全面考核 AI 模型的語言理解能力。上線 3 年,該榜單競爭激烈,幾乎是中國互聯網巨頭的兵家必爭之地,除了阿里達摩院 NLP 和騰訊混元 AI 大模型團隊,OPPO 研究院、快手搜索及美團 NLP 等研究機構也都參與了該榜單的競爭。盡管榜首有過多次易主,但在阿里和騰訊AI最近一次更新之前,從未有過 AI 超過人類成績。不過,此次超越實際是指總成績在總榜上超過人類,具體到子榜單如自然語言推理榜和分類任務排行榜,人類的成績依然位居第一。換言之,阿里和騰訊的AI模型目前與人類在 CLUE 的不同測評中互有勝負。而另一邊,百度也以中國學生更為切身的方式展示了中國AI的中文理解能力。9 月舉辦的 2022 百度萬象大會上,百度宣稱AI數字人度曉曉挑戰了高考作文,針對全國新高考Ⅰ卷題為《本手、妙手、俗手》作答,憑借 48 分的成績,度曉曉可以排在整體考生作文成績的前 25%。
圖/百度中國互聯網巨頭對中文的理解似乎迎來了一個奇點,阿里云計算部門就在阿里 AI CLUE 成績首度超越人類后發文稱,「這標志著中國對 AI 模型的理解,達到了一個新的水平?!?/span>
巨頭的AI軍備競賽
如果說最近數年 AI 的快速發展要從 2016 年的 AlphaGo 算起,2020 年夏天 OpenAI 發布 GPT-3 模型,可以視為又一個關鍵節點。GPT-3 從發布之初就展現了驚人的 AI 能力,寫文章、做翻譯、寫代碼,甚至可以學習一個人的語言模式并與之對話。事實上,不管是上半年大火的 DALL·E 2(AI 生成圖片),還是 ChatGPT(AI 生成文本)都衍生自 GPT-3 大模型。除此之外,GPT-3 還通過付費 API 的形式支持了 300 多個應用。GPT-3 的推出也引發了全球范圍 AI 大模型的爆發,全球各大科技巨頭和研究所開始了一場聲勢浩大的 AI 軍備競賽,谷歌就在去年推出了萬億級參數的 AI 大模型—— Switch Transformer,微軟和英偉達燒壞了 4480 塊 CPU 后,也完成了完成了 5300 億參數的自然語言生成模型 MT-NLG(威震天-圖靈)。國內的巨頭自然也不甘落后。百度也在去年發布了「鵬城-百度·文心」,并于今年升級為文心·行業大模型。阿里則在今年 9 月推出了「通義」大模型系列,第一個在 CLUE 測評中得分超越人類的 AI「通義- AliceMind」正是來自該模型系列。
圖/阿里科技巨頭角力 AI 大模型的背景,是AI在下游應用層面出現了碎片化、多樣化的產業趨勢。華為昇騰計算業務總裁張迪煊指出,過去在單一的AI應用場景,其實是通過多個AI支撐一個場景來完成多個任務。傳統AI模型只有較為單一的能力,如 AlphaGo 用于下圍棋,AlphaFold 專注蛋白質結構預測。而大模型如 GPT-3 已經可以實現多個任務,服務多個場景,「這是生產效率的提升。」百度移動生態負責人何俊杰就表示,AIGC 可以實現以十分之一的成本,以千倍百倍的生產速度,創造出有獨特價值和獨立視角的內容,讓內容生產和傳播進入 AI 發電的階段。事實上,百度已經推出了 AI 作畫平臺「文心一格」,騰訊也有寫稿機器人「夢幻寫手」,阿里巴巴則有旗下的 AI 在線設計平臺 Lubanner,字節跳動則推出剪映提供 AI 生成視頻功能。但未來的 AI 創作會是什么樣?
AI生成的視頻,圖/谷歌AI 生成文本和圖片今天已經比較成熟了,但距離 AI 生成視頻的實際應用還有明顯的差距。阿里資深技術專家、達摩院基礎視覺團隊負責人趙德麗判斷,大概兩年左右時間,AI 生成視頻也有望能達到文生圖級別的效果。她還指出目前的困難點在于,不論是質量還是數量都和文生圖的數據有較大差距。在 9 月的萬象大會上,百度發布了一個「創作者 AI 助理團」,其中包括了文案、插畫師、視頻制作等AI助理,實現一個人就是一個制作團隊。幾乎可以確信,未來 AI 將徹底改變現有的內容生產模式,但 AI 帶來的內容革命還很難說是好是壞。ChatGFT 的訓練方式主要通過語料庫進行自然語言處理的訓練。首先將大量的對話記錄和語料庫分詞并處理成可供模型識別的格式。接著通過使用自然語言處理技術,如深度學習等對模型進行訓練,讓模型能夠通過對語料庫的學習,模擬人類的聊天行為,并能夠回答用戶提問。本質上,AI 生成內容的基礎是互聯網上海量的語料庫,既不能憑空創造出新的內容,也無法實時收集最新產生的語料數據,只是在一定的參數范圍收集已經存在的信息,包括那些「有毒的」。OpenAI 去年就指出他們所做的改進并不能消除大型語言模型中固有的毒性問題,GPT-3 接受了超過 600GB 網絡文本的訓練,其中一部分來自具有性別、種族、身體和宗教偏見的社區。與其他大型語言模型一樣,它會放大訓練數據的偏差。
圖/OpenAI公允地說,這既是 AI 的問題,更是人類自身的問題。但 AI 生成內容的方便和快捷都讓內容生產成本極大下降,好比現在就用自動駕駛司機代替人類司機,這也意味著各種問題,比如更像真人的 AI 水軍將充斥社交媒體、AI 生成的虛假或偏見內容隨處可見。越來越多人已經開始懷疑,社交媒體上的內容到底是真人打出來的,還是由 ChatGPT 生成的文本。長期以往,社交媒體甚至整個互聯網上的內容徹底被AI占領并非杞人憂天。北京大學新聞與傳播學院教授胡泳發文還指出,「中文內容寫作中本來就充滿洗稿,使用機器學習工具來生成內容,將會使洗稿問題雪上加霜?!褂纱?,胡泳認為與其用 AI 直接取代人類生產內容,不如思考如何利用 AI 幫助人類的擴大內容生產能力。在 ChatGPT 的對話熱潮中,我們也發現真正具體到內容輸出,ChatGPT 盡管對自然語言的理解達到了足以稱道的程度,實際回答中仍然充斥著各種「廢話文學」和過時偏見信息,不過在協助內容創作、成為人類寫作的助手方面就要好得多。
寫在最后
「人工智能之父」阿蘭·圖靈提出圖靈測試時,就把語言理解能力作為判斷一個機器系統有無智能的關鍵標準,自然語言理解也因此被認為是人工智能皇冠上的明珠。對中文來說尤為如此。過去我們在 AI 語音助手上就看到,現有語音助手對中文的理解能力很大程度上影響了用戶的語音交互體驗,畢竟沒有人喜歡對牛彈琴。
圖/MSF Tech Day但僅僅在過去一個月,阿里和騰訊 AI 在 CLUE 中文理解上接連超越人類成績,ChatGPT 更是至少在中日英三語上彰顯了驚人的語音理解能力。今年以來,AI 繪圖、AI 做視頻已經接連挑戰了我們對 AI 的認知。AI 對內容產業的變革似乎近在咫尺了。不過就像科幻小說《沙丘》中所寫的,AI 深度學習的訓練模式決定了,「他們受到的訓練是去相信,而不是去知道。信仰可以被操縱。只有知識是危險的?!?/span>