精品伊人久久大香线蕉,开心久久婷婷综合中文字幕,杏田冲梨,人妻无码aⅴ不卡中文字幕

去年的這個(gè)時(shí)候，筆者特別喜歡鉆研OpenAI開發(fā)者平臺(tái)的模型列表，為了做出好用&好玩的東西，可以說是把OpenAI的模型能力邊界摸得透透的。

但今天智譜AI低調(diào)放了個(gè)大招后，我突然間發(fā)現(xiàn)OpenAI已經(jīng)不香了。

事情是這樣的。

筆者今天來到了智譜AI Open Day大會(huì)現(xiàn)場(chǎng)吃瓜（social），發(fā)現(xiàn)智譜AI開放平臺(tái) bigmodel.cn的最新更新，以及最新開源模型GLM-4-9B的炸裂程度均超出了我的預(yù)期。

先貼一組智譜AI開放平臺(tái)的最新數(shù)據(jù)：

“30萬+企業(yè)用戶，過去4個(gè)月，90倍的增長。”

這是智譜AI開放平臺(tái)的全模型矩陣，仔細(xì)看，最新發(fā)布的GLM-4級(jí)別的模型GLM-4-Flash在企業(yè)端的價(jià)格可以卷到100萬tokens 6分錢！

這是什么概念？

去年的這個(gè)時(shí)候，GLM-4模型是1k tokens 5毛錢，僅一年時(shí)間，降價(jià)了10000倍！

不僅價(jià)格卷到離譜，企業(yè)端的大模型落地邊際成本卷到無限低。而且大模型類型太豐富了，從文本、視覺理解、檢索embedding到文生圖等，幾乎全方位的覆蓋到了B端大模型落地的各類場(chǎng)景。

不僅是API，智譜AI開放平臺(tái)今天迎來的重大升級(jí)還囊括了垂直場(chǎng)景落地必備的——模型微調(diào)。

首先，在智譜AI開放平臺(tái)上做模型微調(diào)同樣跟不要錢一樣：

一年前完全不敢想象，如今500元就能全參數(shù)微調(diào)1000萬tokens的GPT-4級(jí)別的模型了！這價(jià)格完全卷爆了自己去租服務(wù)器。

這還沒完，我們知道，如果你自己搭建環(huán)境去微調(diào)模型，流程非常繁瑣：

準(zhǔn)備數(shù)據(jù)集、數(shù)據(jù)格式適配、準(zhǔn)備GPU機(jī)器、搭建訓(xùn)練環(huán)境、安裝微調(diào)加速依賴、執(zhí)行微調(diào)、調(diào)參、訓(xùn)練出模型、推理權(quán)重轉(zhuǎn)換、推理環(huán)境準(zhǔn)備、部署并使用微調(diào)模型…

一整套下來，經(jīng)驗(yàn)豐富的算法工程師在準(zhǔn)備充分的情況下也得折騰上個(gè)把月。

但在最新升級(jí)的智譜AI開放平臺(tái)上完全不需要了，直接零代碼三步操作就能完成上述過程了：

給你們放個(gè)演示視頻：

感慨一下，調(diào)參俠不存在了。

GLM-4-9B開源發(fā)布：1000k上下文

這還沒完，今天智譜AI OpenDay上還發(fā)布了一個(gè)重磅開源模型：GLM-4-9B。

話不多說，先上鏈接！

Github鏈接：
https://github.com/THUDM/GLM-4

模型鏈接：
https://huggingface.co/collections/THUDM/glm-4-665fcf188c414b03c2f7e3b7

魔搭社區(qū)：
https://modelscope.cn/organization/ZhipuAI

我拍了一張圖來總結(jié)這個(gè)模型能力有多么逆天：

在這個(gè)矩陣圖中 GLM-4-9B 各種讓人眼花繚亂的能力中，讓我們來勾畫幾個(gè)重點(diǎn)：

從評(píng)測(cè)數(shù)據(jù)來看，這應(yīng)該是離GPT-4o和GPT-4v最接近的開源模型了，重點(diǎn)是，中文友好：

而且模型大小僅僅9B，本地化部署也毫無壓力，如果對(duì)性能覺得不滿意，甚至可以直接微調(diào)一把來解決問題，這是開源模型相比商業(yè)閉源模型而言無法比擬的優(yōu)勢(shì)。

當(dāng)然，效果好不好，不能只看刷榜結(jié)果，來，上demo！

不少多模態(tài)模型為了提升視覺能力，犧牲了語言能力和推理能力。從這個(gè)case可以看出，GLM-4V-9B不僅精準(zhǔn)地理解了圖片中的物體、含義，而且還常識(shí)推理出了“牛馬”代指“辛勤工作的員工”，不僅非常有意思，而且這個(gè)case難度確實(shí)不低。

這個(gè)case能被一個(gè)僅僅只有9B的開源模型解掉，只能讓筆者感慨——AI發(fā)展太快了！

再來看這個(gè)case，T恤上的麥克斯韋方程組都被GLM-4V-9B準(zhǔn)確地解析了…筆者一時(shí)不知道該夸它數(shù)學(xué)好還是眼睛好。

在如此參數(shù)量下這么極限性能表現(xiàn)，不禁讓筆者開始關(guān)注這個(gè) 9B 小家伙到底是怎么做到這一切的。從模型訓(xùn)練的角度，提升模型性能無非也就從「訓(xùn)練數(shù)據(jù)」與「訓(xùn)練效率」兩個(gè)角度入手。從去年開始，大模型社區(qū)已經(jīng)開始逐漸建立數(shù)據(jù) Quality > Quantity（數(shù)據(jù)質(zhì)量 > 數(shù)據(jù)數(shù)量）共識(shí)，在模型訓(xùn)練階段，數(shù)據(jù)的質(zhì)量與多樣性對(duì)大模型的性能影響非常之大，而從這個(gè)角度出發(fā)，GLM-4-9B 通過引入大模型進(jìn)入數(shù)據(jù)篩選流程，最終獲得了 10T 高質(zhì)量多語言數(shù)據(jù)，這個(gè)數(shù)據(jù)量是它的前一代模型 ChatGLM3-6B 的 3 倍！

而從另一邊，GLM-4-9B 在模型訓(xùn)練過程中也引入了低精度訓(xùn)練技術(shù)，在當(dāng)下模型訓(xùn)練的主流方案仍然集中于 16 位和 32 位 浮點(diǎn)的混合精度訓(xùn)練，而這次的 GLM-4V-9B 應(yīng)用于了更加先進(jìn)的 FP8 8 位浮點(diǎn)混合精度訓(xùn)練，低精度訓(xùn)練的直接好處就是大幅提升訓(xùn)練速度與極大降低訓(xùn)練的內(nèi)存與通信成本，而這次 GLM-4-9B 的成功也直接印證了 FP8 訓(xùn)練技術(shù)的強(qiáng)大，相較于其第三代模型，GLM-4V-9B 的訓(xùn)練效率提高了 3.5 倍。

此外，在 GLM-4-9B 訓(xùn)練過程之中，智譜AI在有限顯存的情況下，還探索了 6B 模型性能的極限，在考慮用戶顯存大小的情況下，通過將模型規(guī)模提升至 9B，將預(yù)訓(xùn)練計(jì)算量增加了 5 倍，成功打造了 GLM-4V-9B 這樣一個(gè) 10B 以下模型的大殺器。

如果說回 GLM-4V-9B，這個(gè)多模態(tài)模型架構(gòu)采用了經(jīng)典處理方式——在GLM-4-9B這個(gè)語言模型的基礎(chǔ)上，引入視覺encoder，并在視覺encoder的基礎(chǔ)上引入下采樣和MLP Adapter，實(shí)現(xiàn)計(jì)算開銷大幅降低；之后與文本模態(tài)的輸入embedding進(jìn)行concat后丟給了Transformer。而為了避免多模態(tài)訓(xùn)練時(shí)的語言能力遺忘，智譜AI則采用了語言+圖像數(shù)據(jù)混合預(yù)訓(xùn)練的經(jīng)典解法：

而GLM-4-9B系列開源模型的亮點(diǎn)可不止多模態(tài)能力，其更是擁有匹配GLM-4-0116的完整All Tools能力：

這意味著你可以用GLM-4-9B系列模型輕松構(gòu)建出具備復(fù)雜處理能力的智能體應(yīng)用了！

而且這個(gè)工具調(diào)用的能力也不應(yīng)付，經(jīng)評(píng)測(cè)，其能力相比上一代ChatGLM3-6B提升40%，媲美最新版的GPT-4-Turbo-2024-04-09：

想象一下把強(qiáng)如GPT-4的模型本地化部署到你電腦/服務(wù)器中的感覺。

但它跟GPT-4還不太一樣，因?yàn)椋纳舷挛臎]有128K這么短，而是——

達(dá)到了驚人的1000k，等于200萬個(gè)中文漢字！

從中文漢字來看，容量幾乎是GPT-4的30倍…

關(guān)鍵是，這不是虛標(biāo)的1000K，大海撈針任務(wù)完全一片綠：

而在經(jīng)典的語言類評(píng)測(cè)任務(wù)和多語言任務(wù)上，也是毫無壓力的碾壓了同體量的 Llama-3-8B-instruct：

同樣的，效果好不好，一起來跟筆者上case測(cè)試一把！

筆者第一時(shí)間要到了GLM-4-9B的內(nèi)測(cè)名額：

先來看你們最關(guān)心的代碼能力：

不僅找到了正確的python庫，而且代碼實(shí)現(xiàn)也非常優(yōu)雅。

然后來個(gè)法律問題+多輪對(duì)話：

內(nèi)容比較長，做了部分截取，可以看到GLM-4-9B給到的信息真實(shí)有用，回答堪比GPT-4級(jí)的昂貴商業(yè)模型。

再來測(cè)個(gè)非常實(shí)用的視頻口播稿生成case：

我們來對(duì)比下GPT-4o的回答：

對(duì)比之下，能明顯的感知到GPT-4o的口播稿著實(shí)有點(diǎn)尬，果然還是智譜更懂中文；這還是在拿一個(gè)智譜開源的小模型去跟GPT-4o這個(gè)OpenAI旗艦?zāi)Ｐ蛯?duì)比。

最后讓你們感受下GLM-4-9B的逆天生成速度：

簡(jiǎn)直就是把一個(gè)2024應(yīng)用落地的理想型大模型搞到手的感覺，360度無死角。

大模型落地得奇點(diǎn)可能真的來了

而在這場(chǎng)發(fā)布會(huì)上，還有GLM-4旗艦?zāi)Ｐ偷母隆?duì)標(biāo)GPT-4-Turbo的輕量級(jí)模型API發(fā)布等，重磅炸彈筆者已經(jīng)記不過來了。

大家可以在智譜AI開放平臺(tái)上蹲更新：

https://bigmodel.cn/

我覺得OpenDay上有一張圖非常適合拿來作為總結(jié)：

對(duì)于大模型在企業(yè)端的落地來說，大家普遍關(guān)注的無外乎模型能力、成本、私有化難度和業(yè)務(wù)場(chǎng)景的可用性，而這次發(fā)布會(huì)讓筆者深感，站在如今的智譜AI開放平臺(tái)上來看，這些問題已經(jīng)不再是大山了，而是切實(shí)感受到了這些痛點(diǎn)已被逐個(gè)擊破。

如果說2023年是大模型基座元年，那么今年，伴隨著GPT-4級(jí)別模型的萬倍降價(jià)甚至全面開源，大模型必將在優(yōu)秀的企業(yè)中遍地開花，成為普惠的生產(chǎn)力神器。

智譜AI，正在把MaaS商業(yè)模式推向新的高度。