3月18日，AI公司月之暗面（Moonshot AI）宣布，其旗下的自千億參數(shù)大模型AI助手Kimi已經(jīng)可以支持200萬字文件的輸入分析，即日開啟內(nèi)側通道。
要知道，根據(jù)機器之心數(shù)據(jù)顯示，尚未上線的GPT-4.5 Turbo上下文窗口指定為 256000 個 token，能同時能夠處理約 200000 個單詞，KIMI此次升級后長文本能力為其10倍。
隨著KIMI長文本能力的提升，也意味著其能夠完成更長和更復雜的任務。
/ 01 / AI大模型都在卷的上下文長度
AI助手Kimi200萬的上傳文本上限是個什么概念？作為對比，目前ChatGPT-4支持的token數(shù)量為32768，約為2.5萬個中國漢字。而升級版智能助手Kimi的文本閱讀量已經(jīng)是GPT-4的80倍，是Gemini1.5的20倍。
事實上，提升上下文長度的事情也不止月之暗面在做。去年下半年開始，OpenAI、Anthropic等模型公司紛紛發(fā)布上下文長度的最新進展。今年2月，谷歌發(fā)布的Gemini 1.5Pro，再次將上下文刷新為100萬 token，創(chuàng)下了最長上下文窗口的記錄，相當于1小時的視頻或者70萬個單詞。
上下文技術，是指模型在生成文本、回答問題或執(zhí)行其他任務時，能夠考慮并參照的前置文本的數(shù)量或范圍，是一種大模型對信息理解深度和廣度的評價維度。用通俗的話來說，如果參數(shù)規(guī)模大小比喻成模型的計算能力，那么上下文長度更像是模型的“內(nèi)存”，決定了模型每輪對話能處理多少上下文信息，直接影響著AI應用的體驗好壞。
比如，隨著上下文窗口長度的增加，可以提供更豐富的語義信息，有助于減少LLM的出錯率和「幻覺」發(fā)生的可能性，用戶使用時，體驗能提升不少。
在業(yè)內(nèi)人士看來，上下文長度增加對模型能力提升意義巨大。用OpenAI開發(fā)者關系主管Logan Kilpatrick話說，“上下文就是一切，是唯一重要的事”，提供足夠的上下文信息是獲得有意義回答的關鍵。
在楊植麟看來，通往 AGI 的話，上下文長度將會成為一個很重要的點。根據(jù)楊植麟判斷，AI-Native 產(chǎn)品的終極價值是提供個性化的交互，而無損長上下文是實現(xiàn)這一點的基礎——模型的微調(diào)長期不應該存在，用戶跟模型的交互歷史就是最好的個性化過程，歷史上每一代技術都是在提升上下文長度。
/ 02 / 90后創(chuàng)始人，一年融資10億美元
作為一款專注于文檔總結、會議紀要的辦公類AI助手，Kimi能夠幫助用戶進行新聞分析、法律研讀、中醫(yī)藥記錄檢索、財務報告審閱，例如，用戶將一份26頁的英文論文提交給Kimi，Kimi便可以生成文章大意。
超長文本分析能力、自動化內(nèi)容生成能力和多類文件的支持檢索能力讓Kimi在中國大模型市場占領了領先地位，成為世界長文本LLM之最，被網(wǎng)友們親切地稱為“國產(chǎn)大模型之光”。
憑借出色的產(chǎn)品能力，月之暗面也受到了很多投資人的青睞。截至目前，月之暗面總共完成過兩輪融資。第一輪融資發(fā)生在公司成立初，融資規(guī)模高達2億美金，由紅杉、真格等一線VC領頭，市場估值約在3億美元。
2月中旬，據(jù)此前晚點的報道，月之暗面完成了一輪8億美元的B輪融資，此輪投資方為阿里巴巴和礪思資本。本輪結束后，月之暗面估值超過 23 億美元。
從團隊構成看，月之暗面擁有一支智力超群的學術團隊，團隊人均90后，且核心成員多出身于清華系。其中，公司創(chuàng)始人楊植麟是清華大學交叉信息研究院助理教授，年僅28歲。作為Transformer-XL和XLNet兩篇論文的第一作者，他是中國35歲以下NLP自然語言處理領域引用量最高的人工智能學者。
對于最新的研發(fā)進展，月之暗面負責人表示公司將會跟進最新的多模態(tài)AI研發(fā)。或許在不久的將來，支持圖文、視頻、語音等多模態(tài)數(shù)據(jù)輸入輸出的AI助手Kimi就會出現(xiàn)在大家面前，我們拭目以待。
