機(jī)器之心報(bào)道
編輯：澤南
千元機(jī)也能本地運(yùn)行。
在大模型不斷向著大體量方向前進(jìn)的同時(shí)，最近一段時(shí)間，人們?cè)趦?yōu)化和部署方面也取得了成果。
2 月 1 日，面壁智能聯(lián)合清華 NLP 實(shí)驗(yàn)室在北京正式發(fā)布了旗艦端側(cè)大模型「面壁 MiniCPM」。新一代大模型被稱為「性能小鋼炮」，直接擁抱終端部署，同時(shí)也具有同量級(jí)最強(qiáng)的多模態(tài)能力。
面壁智能本次提出的 MiniCPM 2B 參數(shù)量?jī)H有 20 億，使用 1T token 的精選數(shù)據(jù)訓(xùn)練。這是一個(gè)參數(shù)量上與 2018 年 BERT 同級(jí)的模型，面壁智能在其之上實(shí)現(xiàn)了極致的性能優(yōu)化與成本控制，讓該模型可以「越級(jí)打怪」。
面壁智能聯(lián)合創(chuàng)始人、CEO 李大海將新模型與業(yè)內(nèi)知名開(kāi)源大模型 Mistral-7B 進(jìn)行了對(duì)比，在多項(xiàng)主流評(píng)測(cè)榜單上，MiniCPM 2B 的性能全面超越了后者。
與微軟近期提出的「小模型」Phi-2 相比，MiniCPM 也有很大優(yōu)勢(shì)。
李大海表示，面壁智能的新模型還能越級(jí)實(shí)現(xiàn) 13B、30B 甚至 40B 模型的能力。在最接近用戶體驗(yàn)的評(píng)測(cè)榜單 MT-Bench 上，MiniCPM 取得了 7 分的成績(jī)（GPT-4-Turbo 為 9 分）。
在現(xiàn)場(chǎng)，面壁智能也演示了 MiniCPM 的實(shí)際應(yīng)用效果。雖然參數(shù)量不大，但該模型可以實(shí)現(xiàn)文本翻譯、角色扮演等諸多大模型應(yīng)有的能力，并擁有豐富的知識(shí)，難度較高的代碼解釋任務(wù)也不在話下。
因?yàn)槟軌虿渴鹪诙藗?cè)，在面臨一些突發(fā)事件時(shí)，MiniCPM 也可以給人們提供及時(shí)幫助：
最近，各家手機(jī)廠商紛紛提出了端側(cè)大模型，在把大語(yǔ)言模型壓縮到較小體量之后，我們就能用它連接更多場(chǎng)景，在算力、內(nèi)存受限的情況下獲得更高程度的智能。相比之下，面壁智能提出的新技術(shù)更加輕便，可適用于更低配置，或較早期型號(hào)的手機(jī)。
據(jù)面壁智能介紹，MiniCPM 端側(cè)模型經(jīng)歷了 Int4 量化后壓縮了 75% 體量，只占用 2G 內(nèi)存，與此同時(shí)性能幾乎沒(méi)有損失，因此已在各類常見(jiàn)型號(hào)的手機(jī)上實(shí)現(xiàn)了跑通。
因?yàn)橹С忠苿?dòng)端 CPU 的推理，MiniCPM 可以很大程度上節(jié)約使用成本。面壁智能為我們算了一筆賬：一臺(tái)搭載驍龍 855 的手機(jī)使用 MiniCPM，一塊錢電費(fèi)可處理 170 萬(wàn) token，這個(gè)價(jià)格僅為云端運(yùn)行的 Mistral-Medium 的 1%。
除了端側(cè)模型，面壁智能還展示了其在多模態(tài)大模型方面的探索，并開(kāi)源了 12B 參數(shù)量的 OmniLMM。在發(fā)布會(huì)上，面壁智能演示了 Gemini 發(fā)布時(shí)同款的石頭剪刀布 demo。用英文向 AI 提問(wèn)：我正在玩什么游戲？大模型會(huì)回答：石頭剪子布。
與此同時(shí)，OmniLMM 也可以認(rèn)出人類的手勢(shì)，還能告訴你如果要贏應(yīng)該出什么。
OmniLMM 還可以理解很多圖片中的信息并進(jìn)行推理，如地標(biāo)建筑、電視臺(tái)的臺(tái)標(biāo)、人們組織的活動(dòng)等內(nèi)容。
看來(lái)，我們距離真正多模態(tài)的大模型，以及新形態(tài)的應(yīng)用已經(jīng)不遠(yuǎn)了。
面壁智能大模型極致性能的背后，源于該公司長(zhǎng)期以來(lái)的技術(shù)積累。自 2021 年，面壁智能就構(gòu)建了高效的技術(shù)棧，集中在 Infra、算法和數(shù)據(jù)方法論三個(gè)方向。其中，自研的 BMTrain 高效訓(xùn)練框架至關(guān)重要。
在算法層面上，面壁智能也積累了模型沙盒體系，把大模型從煉丹提升到了實(shí)驗(yàn)科學(xué)的程度，在理論上不斷尋找超參數(shù)和規(guī)模的最優(yōu)解，如最優(yōu)的 batch size、所有尺寸模型通用的超參數(shù)配置。
目前，面壁智能已積累了大量高質(zhì)量的數(shù)據(jù)。在昨天的發(fā)布后，面壁智能開(kāi)源了自身的新一代大模型系列（包含 MiniCPM-SFT / DPOMiniCPM-V & MiniCPM-SFT / DPO-int4），以及訓(xùn)練 MiniCPM 兩個(gè)階段的數(shù)據(jù)配方以供行業(yè)參考。
開(kāi)源地址（含技術(shù)報(bào)告）：
MiniCPM GitHub：https://github.com/OpenBMB/MiniCPM
OmniLMM GitHub：https://github.com/OpenBMB/OmniLMM
面壁智能源于清華 NLP 實(shí)驗(yàn)室，是在國(guó)內(nèi)較早開(kāi)展大模型研究的團(tuán)隊(duì)之一，其在 2018 年發(fā)布了全球首個(gè)基于知識(shí)指導(dǎo)的預(yù)訓(xùn)練模型 ERNIE。2022 年 8 月開(kāi)始公司化運(yùn)作的面壁智能，去年經(jīng)歷了兩輪融資，其推出的應(yīng)用「面壁露卡」也拿到了網(wǎng)信辦第二批大模型備案。
目前，面壁智能已經(jīng)組建起 100 余人的科研團(tuán)隊(duì)，其中 80% 人員來(lái)自清北，平均年齡 28 歲。
面壁智能正在構(gòu)建大模型 + Agent 的雙引擎戰(zhàn)略，希望能構(gòu)建出更小規(guī)模、更快速度、更低成本的解決方案。
今年，面壁智能還將加快速度迭代新技術(shù)。「我們會(huì)在春節(jié)之后不斷發(fā)布 MiniCPM 的新版本，性能還會(huì)進(jìn)一步提升。我們要給大家春節(jié)的休息時(shí)間，」劉知遠(yuǎn)表示。
聯(lián)系客服
