月之暗面北京辦公室 (圖片來源:鈦媒體App編輯拍攝)
繼25億美元估值炸場之后,楊植麟團隊再扔下“震撼彈”。
鈦媒體App獲悉,3月18日上午,國內 AI 創業公司月之暗面(Moonshot AI)宣布在大模型長上下文窗口技術上取得新的突破,Kimi智能助手已支持200萬字超長無損上下文,短短五個月內“長文本”輸入量提升10倍,并于即日起開啟產品“內測”。
18日上午,月之暗面工程副總裁許欣然對鈦媒體App等表示,大模型無損上下文長度的數量級提升,也會進一步幫助大家打開對 AI 應用場景的想象力,包括完整代碼庫的分析理解、自主完成多步驟復雜任務的智能體Agent、不會遺忘關鍵信息的終身助理、真正統一架構的多模態模型等。
許欣然強調,過去一段時間Kimi正不斷提升大模型技術能力,尤其是更復雜的模型需求越來越多。而在整個過程當中,Kimi模型本身跟用戶一直存在彼此相互促進增長的狀態。
月之暗面創始人楊植麟博士表示,通往通用人工智能(AGI)的話,無損的長上下文將會是一個很關鍵的基礎技術。歷史上所有的模型架構演進,本質上都是在提升有效的、無損的上下文長度。上下文長度可能存在摩爾定律,但需要同時優化長度和無損壓縮水平兩個指標,才是有意義的規模化。
月之暗面聯合創始人 周昕宇則向鈦媒體App透露,月之暗面即將在今年內推出自研的多模態大模型。同時,商業化也在快速推進。
當被問及之前為何不做多模態模型時,周昕宇回應稱,“如果拿出別人也有的東西,對于世界來說沒有什么新價值,大家就不要再陷入'百模大戰’怪圈,我們不做跟隨的東西。”
據悉,月之暗面成立于2023年3月,是國內大模型領域的關鍵玩家。其核心團隊曾參與到Google、華為盤古、智源悟道等多個大模型研發中。
月之暗面創始人、CEO楊植麟本科畢業于清華大學,博士畢業于卡內基梅隆大學計算機專業,曾就職于Google Brain(谷歌大腦)和美國初創公司FAIR,師從蘋果公司人工智能負責人Ruslan Salakhutdinov,有多年創業經驗,曾與多名圖靈獎得主合作發表論文,是盤古、悟道等國內最早大模型的技術貢獻者。
同時,楊植麟還是中國35歲以下NLP(自然語言處理)領域引用最高的研究者,也是Transformer-XL和XLNet兩篇重要論文的第一作者——兩篇文章均為大語言模型領域的核心技術。而另兩位聯合創始人周昕宇和吳育昕都有超10000次Google Scholar引用。
人員方面,目前,月之暗面團隊人數已超過80人。
融資方面,成立不到一年內,月之暗面就已完成兩筆融資,總額超過13億美元,投資方包括紅杉中國、真格基金、小紅書、美團、阿里等。今年2月的一筆融資成為國內AI大模型公司迄今獲得的單輪最大金額融資。
兩輪投資后,目前,月之暗面公司估值或達25億美元。
技術產品層面,成立至今,月之暗面已完成從通用大模型到上層應用的布局。
其中,大模型基礎層,月之暗面已訓練千億級別的自研通用大模型,并獲得了國內大模型備案審批;應用層,2023年10月,月之暗面推出全球首個支持輸入20萬漢字的智能助手產品Kimi,支持20萬漢字的長文本輸入,主打無損記憶以及“長文本(Long Context)”,被網友稱為ChatGPT中文平替,善于讀長文、搜網頁,可以用于會議紀要、輔助編程、文案寫作等場景。
根據SimilarWeb顯示,春節之后Kimi訪問量大增。另據公開數據顯示,2024年1月,Kimi智能助手的訪問量142萬,在大模型創業公司的“AI ChatBots”產品中排在第一;月環比增長率 94.1%,增長速度也在大模型創業公司排第一位。
許欣然表示,目前Kimi平均每個月可能都有100%以上的增速。
今天上午會議上,許欣然宣布,即日起,月之暗面旗下的Kimi Chat、Moonshot大模型將統一名稱,分別更名為Kimi智能助手、Kimi大模型。
“我們就簡化一下,以后統一讓大家記住Kimi。”許欣然對鈦媒體App等表示。
具體來說,相比此前20萬字長度,更長的文本輸入首先能帶來的變化就是解鎖更多超長任務、復雜任務。過去只能整理50份簡歷,現在可以線性增長至500份。
月之暗面團隊提出“10分鐘速成定律”,并指出Kimi快速學習一個新領域的能力,人類要10000小時才能成為專家的領域,AI只需要10分鐘,就能接近任何一個新領域的初級專家水平。
許欣然展示百萬字書籍的打印厚度
例如,上傳幾十萬字的德州撲克的教程文檔,再提出一個比賽開局,Kimi就可以分析比賽場上的局面,并提供出牌策略的指導;同時,kimi還能讀懂近百萬字中醫診療手冊、《甄嬛傳》小說等,它都能一一解答。
此外,除了中英文,Kimi還能直接閱讀代碼庫文件,然后用中文寫出詳細清晰的代碼庫設計文檔,即便是毫無注釋的陳年老代碼也能快速梳理出結構。
月之暗面方面表示,從很多 Kimi 智能助手用戶的反饋來看,20 萬字的無損長上下文幫助他們打開了新的AI應用世界,帶來了更大的價值,但隨著他們嘗試更復雜的任務、解讀更長的文檔,依然會遇到對話長度超出限制的情況。這也是大模型產品的無損上下文長度需要繼續提升的一個直接原因。此外,Kimi 智能助手的智能搜索,更是離不開大模型的無損長上下文能力。
月之暗面指出,正是因為用戶對Kimi發出的指令越來越復雜,因此團隊也一直致力于提升Kimi能遵循的指令的復雜度、信息檢索能力。同時由于用戶的使用場景從工作逐漸擴展到生活的方方面面,團隊在網頁端之外補齊了微信小程序、iOS端以及安卓端等。
許欣然透露,Kimi充分發揮其作為“硅基生命”的優勢,夜間也沒歇著,持續不斷地自我進化中。
周昕宇強調,出于用戶共創的考慮,Kimi的定位比起“聊天機器人”更像一個“智能助手”,因為普通對話對大模型自身迭代的幫助有限。
會后對話交流中,周昕宇表示,對于呼聲很高的提示詞教程,目前已經在準備當中,預計一個月左右發布;同時,多模態模型也在不斷研發,而音頻處理能力、海外版同樣在需求池內。
許欣然向鈦媒體App表示,月之暗面的 AI Infra(基礎設施)團隊也在持續提升能效比,均是采用自研技術。據稱比起剛發布時,Kimi在完全相同的硬件條件下響應速度提升了3倍。
目前,Kimi智能助手仍完全免費。但隨著用戶群體的擴大和使用量的增長,難免會出現算力不足的情況。許欣然透露,今年上半年預計開啟商業化模式。
“我覺得這個東西都是付費內容。我們思考點不是從性價比來進行(商業化)。而是我們應該要幫助用戶解決什么問題。在能解決問題的情況下,我們將商業化不斷開放和規劃,到時候你(客戶)就知道哪個更好了。”周昕宇表示。
(本文首發鈦媒體App,作者|林志佳)