突發(fā)！谷歌開源Gemini兄弟版，全面狙擊Llama 2。就在剛剛，谷歌向最強開源大模型的寶座發(fā)起進攻！智東西2月22日凌晨報道，昨日晚間，谷歌毫無預兆地發(fā)布了開源模型Gemma，直接狙擊Llama 2，繼通過Gemini拳打OpenAI后，試圖用Gemma腳踢Meta。▲谷歌發(fā)布Gemma（圖源：谷歌）
不同于Gemini的“全家桶”路線，Gemma主打輕量級、高性能，有20億、70億兩種參數(shù)規(guī)模，能在筆記本電腦、臺式機、物聯(lián)網設備、移動設備和云端等不同平臺運行。性能方面，Gemma在18個基準測評中平均成績擊敗目前的主流開源模型Llama 2和Mistral，特別是在數(shù)學、代碼能力上表現(xiàn)突出，還直接登頂Hugging Face開源大模型排行榜。▲Gemma登頂Hugging Face開源大模型排行榜（圖源：X）
谷歌同步放出了技術報告，通過深度解讀，智東西注意到除了模型性能優(yōu)異外，Gemma的分詞器詞表大小達到256k，這意味著它更容易擴展至其他語言。谷歌還強調Gemma基于自家TPUv5e芯片訓練，Gemma 7B使用了4096個TPUv5e，Gemma 2B使用了512個TPUv5e，秀出挑戰(zhàn)英偉達GPU統(tǒng)治地位的“肌肉”。短短12天，谷歌連續(xù)放出三個大招，先是9日宣布其最強大模型Gemini Ultra免費用，又在16日放出大模型“核彈”Gemini 1.5，再是21日突然放出開源模型Gemma，動作之密集、行動之迅速，似乎在向搶了自己風頭的OpenAI宣戰(zhàn)。Gemma具體強在哪兒？它在哪些方面打贏了Llama 2？其技術原理和訓練過程有哪些亮點？讓我們從技術報告中尋找答案。https://ai.google.dev/gemmahttps://www.kaggle.com/models/google/gemma/code/據介紹，Gemma模型的研發(fā)是受到Gemini的啟發(fā)，它的名字來源于意大利語“寶石”，是由谷歌DeepMind和其他團隊共同合作開發(fā)。Gemma采用了與Gemini相同的技術和基礎架構，基于英偉達GPU和谷歌云TPU等硬件平臺進行優(yōu)化，有20億、70億兩種參數(shù)規(guī)模，每個規(guī)模又分預訓練和指令微調兩個版本。性能方面，谷歌稱Gemma在MMLU、BBH、HumanEval等八項基準測試集上大幅超過Llama 2。▲Gemma在基準測試上與Llama 2的跑分對比（圖源：谷歌）
在發(fā)布權重的同時，谷歌還推出Responsible Generative AI Toolkit等一系列工具，為使用Gemma創(chuàng)建更安全的AI應用程序提供指導。此外，谷歌通過原生Keras 3.0為JAX、PyTorch和TensorFlow等主要框架提供推理和監(jiān)督微調（SFT）的工具鏈。谷歌強調Gemma在設計時將其AI原則放在首位，通過大量微調和人類反饋強化學習（RLHF）使指令微調模型與負責任的行為對齊，還通過手工紅隊測試、自動對抗性測試等對模型進行評估。此外，谷歌與英偉達宣布合作，利用英偉達TensorRT-LLM對Gemma進行優(yōu)化。英偉達上周剛發(fā)布的聊天機器人Chat with RTX也將很快增加對Gemma的支持。即日起，Gemma在全球范圍內開放使用，用戶可以在Kaggle、Hugging Face等平臺上進行下載和試用，它可以直接在筆記本電腦或臺式機上運行。發(fā)布才幾個小時，已有不少用戶分享了試用體驗。社交平臺X用戶@indigo11稱其“速度飛快”，“輸出很穩(wěn)定”。▲X用戶@indigo11分享Gemma試用體驗（圖源：X）
還有用戶嘗試了其他語種，稱Gemma對日語的支持很流暢。▲X用戶@AiXsatoshi分享Gemma在日語上的試用體驗（圖源：X）
與Gemini發(fā)布時一樣，谷歌此次也同步公開了Gemma的技術報告。▲Gemma技術報告（圖源：谷歌）
報告稱，Gemma 2B和7B模型分別在2T和6T的tokens上進行訓練，數(shù)據主要來自網絡文檔、數(shù)學和代碼的英語數(shù)據。不同于Gemini，這些模型不是多模態(tài)的，也沒有針對多語言任務進行訓練。谷歌使用Gemini的SentencePiece分詞器的一個子集以保證兼容性。它分割數(shù)字但不去除額外的空格，并且對未知標記依賴于字節(jié)級編碼，詞表大小為256k個tokens，這可能意味著它更容易擴展到其他語言。▲開發(fā)者稱256k分詞器值得注意（圖源：X）
兩個規(guī)模中，70億參數(shù)的Gemma 7B適用于GPU、TPU上的高效部署和開發(fā)，20億參數(shù)的Gemma 2B則適用于CPU。Gemma基于谷歌的開源模型和生態(tài)構建，包括Word2Vec、BERT、T5、T5X等，其模型架構基于Transformer，主要核心參數(shù)如下表。▲Gemma模型主要參數(shù)（圖源：谷歌）
在基準測評中，Gemma直接對標目前先進的開源模型Llama 2和Mistral，其中Gemma 7B在18個基準上取得11個優(yōu)勝，并以平均分56.4高于同級別模型。▲Gemma與Llama 2、Mistral基準測評分數(shù)對比（圖源：谷歌）
從具體能力上看，Gemma 7B在問答、推理、數(shù)學/科學、代碼等方面的標準學術基準測試平均分數(shù)都高于同規(guī)模的Llama 2和Mistral模型。此外，其推理、數(shù)學/科學、代碼能力還高于規(guī)模更大的Llama 2 13B。▲Gemma與Llama 2、Mistral各能力對比（圖源：谷歌）
報告還詳細介紹了Gemma訓練采用的硬件：使用部署在256個芯片組成的Pod中的TPUv5e訓練，這些Pod配置成一個16*16芯片的2D環(huán)形網絡。其中，Gemma 7B模型跨16個Pod進行訓練，共使用了4096個TPUv5e；Gemma 2B模型跨越2個Pod進行訓練，共使用了512個TPUv5e。在一個Pod內部，谷歌為Gemma 7B使用了16路模型分片和16路數(shù)據復制，Gemma 2B則使用256路數(shù)據復制。優(yōu)化器狀態(tài)進一步通過類似于ZeRO-3的技術進行分片。https://goo.gle/GemmaReport2024開年，OpenAI發(fā)布的Sora文生視頻模型爆火，一舉搶走了谷歌最新力作Gemini 1.5 Pro大模型的風頭。
但谷歌并沒有就此打住，而是乘勝追擊放出一個月里的第三個大招，這三個大招分別是：
2月9日大年三十，谷歌宣布其最強大模型Gemini Ultra免費用，Gemini Ultra于2023年12月發(fā)布時在MMLU（大規(guī)模多任務語言理解）測評上超過人類專家，在32個多模態(tài)基準中取得30個SOTA（當前最優(yōu)效果），幾乎全方位超越GPT-4，向OpenAI發(fā)起強勢一擊。（《谷歌大年三十整大活！最強大模型Gemini Ultra免費用，狙擊GPT-4》）
2月21日正月十二，谷歌在被“搶頭條”后，一舉將采用創(chuàng)建Gemini相同研究和技術的Gemma開源，一方面狙擊Llama 2等開源模型，登上開源大模型鐵王座，同時為嗷嗷待哺的生成式AI的應用開發(fā)者帶來福音，更是為閉源的代表OpenAI狠狠地上了一課。
自2022年12月ChatGPT發(fā)布以來，AI領域扛把子谷歌就陷入被OpenAI壓著打的境地，“復仇”心切。
在GPT-3大模型問世前，DeepMind的風頭更勝一籌，坐擁AlphaGo、AlphaGo Zero、MuZero、AlphaFold等一系列打敗人類的明星AI模型。隨著生成式AI風口漸盛，谷歌DeepMind卻開始顯得力不從心，ChatGPT引發(fā)谷歌AI人才大軍流向OpenAI，OpenAI卻由此扶搖直上。
2023年3月，谷歌促成谷歌大腦和DeepMind冰釋前嫌，合并對抗OpenAI，被業(yè)內稱為“谷歌復仇聯(lián)盟”。然而，直到年底的12月7日，谷歌最強大模型Gemini才姍姍來遲，盡管效果驚艷卻令市場有些意興闌珊。2024年1月31日，谷歌最新財報顯示其收入亮眼，卻因AI方面進展不及預期市值一夜蒸發(fā)超1000億美元。
然而，2024年2月一來到，谷歌的狀態(tài)來了個180度大轉彎，攢了一年的大招接二連三地釋放，試圖用強大的Gemini大模型矩陣證明，其是被嚴重低估的。
值得一提的是，谷歌還有另一張王牌是自研芯片，有望成為其與OpenAI抗衡的有力底牌。2023年8月，谷歌云發(fā)布最新云端AI芯片TPU v5e，TPU被視作全球AI芯片霸主英偉達GPU的勁敵。
據半導體研究和咨詢公司SemiAnalysis的分析師曝料，谷歌擁有的算力資源比OpenAI、Meta、亞馬遜、甲骨文和CoreWeave加起來還要多，其下一代大模型Gemini已經開始在新的TPUv5 Pod上進行訓練，算力達到GPT-4的5倍，基于其目前的基礎設施建設情況，到明年年底可能達到20倍。
從2023年12月發(fā)布Gemini多模態(tài)大模型，到2024年2月連放Gemini Ultra免費版、Gimini 1.5、Gemini技術開源三個大招，谷歌的大模型矩陣逐漸清晰，從閉源和開源兩大路線對OpenAI打響復仇戰(zhàn)，也向推出開源模型Llama 2的Meta宣戰(zhàn)。
當下，OpenAI的文生視頻大模型Sora風頭正盛。實際上，谷歌已于2023年12月推出了用于零樣本視頻生成的大型語言模型VideoPoet，可在單個大模型中無縫集成了多種視頻生成功能。谷歌在文生視頻領域的儲備想必也深，可以預測后續(xù)和OpenAI有得一打，而壓力也就此給到了國內的AI企業(yè)。
（本文系網易新聞·網易號特色內容激勵計劃簽約賬號【智東西】原創(chuàng)內容，未經賬號授權，禁止隨意轉載。）
本站僅提供存儲服務，所有內容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權內容，請
點擊舉報。
