近日，SambaNova與Together聯(lián)合推出了類ChatGPT開源模型——BLOOMChat。（開源地址：https://huggingface.co/sambanovasystems/BLOOMChat-176B-v1）
據(jù)悉，BLOOMChat有1760億參數(shù)，支持中文、英文、日文、法文、等46種語言；支持代碼生成，包括Python、java、php、cpp、Ruby、C++等13種編程語言；可用于 Apache 2.0 修改版本下的研究和商業(yè)用例；知名開源平臺(tái)持續(xù)提供技術(shù)迭代等。
總之，BLOOMChat與目前市面上大多數(shù)類ChatGPT開源模型相比，在預(yù)訓(xùn)練數(shù)據(jù)、指令調(diào)優(yōu)、功能擴(kuò)展、AI對齊等方面擁有巨大優(yōu)勢。對于企業(yè)和個(gè)人開發(fā)者來說，無論用于商業(yè)化項(xiàng)目還是技術(shù)研究都是一個(gè)不錯(cuò)的選擇。
在線體驗(yàn)地址：https://huggingface.co/spaces/sambanovasystems/BLOOMChat
強(qiáng)強(qiáng)聯(lián)手推出BLOOMChat
Together是一家「AIGC開放社區(qū)」多次介紹的開源廠商，前不久，Together憑借出色的技術(shù)獲得了2000萬美元（約1.4億元）種子輪融資。其開源產(chǎn)品RedPajama-INCITE具備性能強(qiáng)、資源消耗低的特點(diǎn)，普通筆記本就能跑。
此外，Together曾完美復(fù)制了LLaMA模型上的訓(xùn)練數(shù)據(jù)集，按照其論文的數(shù)據(jù)模式從維基百科、GitHub、普通抓取、C4、圖書、ArXiv、Stack Exchange抓取了1.2萬億訓(xùn)練數(shù)據(jù)，并將其進(jìn)行開源。
SambaNova則是一家企業(yè)級生成式AI平臺(tái)，可為金融、銷售、政務(wù)、醫(yī)療保健、制造、汽車等行業(yè)，提供從模型數(shù)據(jù)預(yù)訓(xùn)練、指令調(diào)優(yōu)、本地部署、特殊場景化部署、運(yùn)維等一站式解決方案。其產(chǎn)品已在金融、醫(yī)療、制造等領(lǐng)域?qū)崿F(xiàn)場景化落地。
所以，SambaNova與Together聯(lián)合推出的BLOOMChat與學(xué)術(shù)機(jī)構(gòu)推出的開源模型相比，技術(shù)層面有很大優(yōu)勢。因?yàn)椋麄冇袑?shí)際項(xiàng)目落地經(jīng)驗(yàn)?zāi)艿玫娇蛻舻膶?shí)時(shí)反饋，這對于BLOOMChat的功能迭代、安全防護(hù)等有著巨大幫助。
SambaNova與Together也希望蹭上ChatGPT的風(fēng)口，憑借推出少有的支持多語言開源項(xiàng)目拉動(dòng)業(yè)務(wù)增長，持續(xù)對產(chǎn)品進(jìn)行技術(shù)創(chuàng)新在開源界俘獲更多的企業(yè)用戶。
BLOOMChat介紹
BLOOMChat是基于BigScience在2022年7月開源的大語言模型BLOOM開發(fā)而成，并在OpenChatKit、Dolly 2.0和OASST1的數(shù)據(jù)訓(xùn)練集上進(jìn)行微調(diào)。 所以，BLOOMChat也算是一個(gè)組合模型，通過將市面上最強(qiáng)大的開源模型與海量數(shù)據(jù)訓(xùn)練集相融合，屬于開源界的“變形金剛”。
從BLOOMChat發(fā)布的測試數(shù)據(jù)來看，與GPT-4相比，在英文、中文、法語等6 種語言的人工評估中，BLOOMChat的響應(yīng)首選次數(shù)為 45.25%。
在同是6種語言的環(huán)境下，BLOOMChat與OpenAssistant、LLaMA-Adapter、BLOOMZ開源模型相比，BLOOMChat的響應(yīng)在65.92%，成為最佳開源產(chǎn)品，有效填補(bǔ)了開源領(lǐng)域多語言聊天能力的空白。
尤其是在中文領(lǐng)域，國外多數(shù)開源類ChatGPT幾乎都不支持中文，即便是支持中文其訓(xùn)練數(shù)據(jù)也非常少，在回答問題方面生硬、老套極易出錯(cuò)。根據(jù)BLOOMChat的展示的中文示例來看，其文本回答的邏輯、詞語搭配、絲滑程度幾乎可以與ChatGPT相媲美。
不過「AIGC開放社區(qū)」在測試時(shí)，BLOOMChat會(huì)出現(xiàn)延遲的情況，并且特定的問題可能會(huì)拒絕回答。
BLOOMChat的翻譯能力也非常出色。根據(jù)其在 WMT14-fr-en、WMT14-hi-en的翻譯任務(wù)上的表現(xiàn)來看，BLOOMChat僅比GPT-4略差，比OpenAssistant、LLaMA-Adapter、BLOOMZ等開源模型的性能高出一大截。
BLOOMChat表示，其性能與所有大語言模型一樣會(huì)出現(xiàn)“胡說八道”、重復(fù)語句、非法內(nèi)容輸出、代碼生成可能會(huì)出現(xiàn)BUG等問題。但BLOOMChat會(huì)持續(xù)優(yōu)化這些問題，為用戶提供最先進(jìn)、高性能的開源模型。
本文素材來源BLOOMChat，如有侵權(quán)請聯(lián)系刪除
END
