11月3日，2022云棲大會(huì)杭州現(xiàn)場(chǎng)，阿里達(dá)摩院聯(lián)手CCF開(kāi)源發(fā)展委員會(huì)共同推出AI模型社區(qū)“魔搭”ModelScope，旨在降低AI的應(yīng)用門(mén)檻。首批合作方還包括瀾舟科技、智譜AI、深勢(shì)科技、哈工大訊飛聯(lián)合實(shí)驗(yàn)室、中國(guó)科學(xué)技術(shù)大學(xué)等多家科研機(jī)構(gòu)。達(dá)摩院等率先向社區(qū)貢獻(xiàn)300多個(gè)經(jīng)過(guò)驗(yàn)證的優(yōu)質(zhì)AI模型，超過(guò)三分之一為中文模型，全面開(kāi)源開(kāi)放。
魔搭社區(qū)重點(diǎn)關(guān)注AI的應(yīng)用難題。為什么AI應(yīng)用難？
首先是開(kāi)發(fā)門(mén)檻高，模型開(kāi)發(fā)往往需要大量數(shù)據(jù)的準(zhǔn)備，以及匹配的海量GPU算力。通常只有大公司才有這方面的投入，對(duì)于中小企業(yè)則存在一定的難度。
其二是模型的定制化需求高，在具體的問(wèn)題上面，通用的模型效果不是特別好，還得做相應(yīng)的定制化微調(diào)，這對(duì)開(kāi)發(fā)人員提出了很高的要求。
第三是今天模型眾多，調(diào)用方式不同，AI開(kāi)發(fā)者需要查看很多的資料，來(lái)修改這個(gè)那個(gè)參數(shù)，使用不同模型的難度比較大。
最后，目前在國(guó)內(nèi)沒(méi)有通用的模型交流平臺(tái)，缺乏系統(tǒng)化的模型分享渠道。這也導(dǎo)致了查找模型、比較不同模型效果的門(mén)檻較高，最終導(dǎo)致模型交流分享的困難。
什么是模型即服務(wù)？
為了解決這些實(shí)際的AI應(yīng)用困難，達(dá)摩院提出了模型即服務(wù)Model as a Service的理念，魔搭社區(qū)就是踐行這種理念的產(chǎn)品。過(guò)去，我們通常會(huì)把硬件資源、通用的軟件能力、底層框架等來(lái)提供服務(wù)，現(xiàn)在，模型也上升到底層框架服務(wù)的維度，開(kāi)始成為第一生產(chǎn)力。
與此同時(shí)，魔搭社區(qū)將模型、數(shù)據(jù)和算法有機(jī)結(jié)合起來(lái)，來(lái)降低模型體驗(yàn)的門(mén)檻，讓模型能夠被快速的被使用，并且能快速的被微調(diào)，最終讓適合具體業(yè)務(wù)場(chǎng)景的微調(diào)后的模型，能快速云端部署。
達(dá)摩院希望通過(guò)模型即服務(wù)的理念，實(shí)現(xiàn) AI for Everyone。無(wú)論是AI興趣者，使用者，開(kāi)發(fā)者還是研究人員，都能夠在魔搭社區(qū)，很好的使用模型解決實(shí)際的問(wèn)題。
模型豐富 中文特色
魔搭社區(qū)首批上架模型超過(guò)300個(gè)，覆蓋了視覺(jué)、語(yǔ)音、自然語(yǔ)言處理、多模態(tài)等AI主要領(lǐng)域，覆蓋任務(wù)超過(guò)60個(gè)。上架模型均經(jīng)過(guò)專(zhuān)家篩選和效果驗(yàn)證，包括150+SOTA（業(yè)界領(lǐng)先）模型和十多個(gè)大模型，均已開(kāi)源代碼或開(kāi)放使用。
社區(qū)鼓勵(lì)中文模型的開(kāi)發(fā)和使用，希望實(shí)現(xiàn)中文模型的豐富供給，并更好滿足本土需求。目前已上架的中文模型超過(guò)100個(gè)，總量占比超過(guò)三分之一，其中包括一批探索人工智能前沿的中文大模型，如阿里通義大模型系列、瀾舟科技的孟子系列模型、智譜AI的多語(yǔ)言預(yù)訓(xùn)練大模型。
展開(kāi)來(lái)說(shuō)：
在計(jì)算機(jī)視覺(jué)領(lǐng)域，社區(qū)開(kāi)源了多種視覺(jué)任務(wù)近百個(gè)模型，覆蓋多模態(tài)圖文表征大模型、圖像/視頻生成大模型，以及各類(lèi)下游遷移應(yīng)用模型，既有SOTA的技術(shù)熱門(mén)模型，也有久經(jīng)考驗(yàn)的應(yīng)用模型，包括最基本的視覺(jué)理解，如識(shí)別分類(lèi)、目標(biāo)檢測(cè)、分割摳圖等，也包括視覺(jué)生產(chǎn)中的畫(huà)質(zhì)增強(qiáng)、圖像編輯、內(nèi)容生成等大類(lèi)，初步構(gòu)建了以多模態(tài)生成和表征大模型為基礎(chǔ)的開(kāi)源模型體系。為AI開(kāi)發(fā)者提供豐富的、一站式的視覺(jué)AI模型選擇。
在自然語(yǔ)言處理領(lǐng)域，社區(qū)提供了包括 structBert, PALM, mPLUG, 中文GPT3等預(yù)訓(xùn)練模型為底座，共計(jì)100+ NLP 應(yīng)用模型，涵蓋了分詞，詞性， 命名實(shí)體識(shí)別等基礎(chǔ)技術(shù)，文本分類(lèi)，情感分類(lèi)，對(duì)話問(wèn)答，OCR, 機(jī)器翻譯等應(yīng)用技術(shù)。既有基于預(yù)訓(xùn)練模型finetune的多種任務(wù)模型（作詩(shī)，小說(shuō)續(xù)寫(xiě)），又有取得了VQA首次超人類(lèi)，機(jī)器翻譯最佳論文等的業(yè)界領(lǐng)先技術(shù)，還涵蓋了包括通用，新聞，電商，醫(yī)療等多領(lǐng)域，中，英，法，西等10+語(yǔ)言的多語(yǔ)言模型。從模型深度，廣度，學(xué)術(shù)界數(shù)據(jù)集到應(yīng)用場(chǎng)景，都提供了豐富易用，性能領(lǐng)先的模型庫(kù)。
在智能語(yǔ)音領(lǐng)域，社區(qū)覆蓋語(yǔ)音識(shí)別、語(yǔ)音合成、語(yǔ)音信號(hào)處理、語(yǔ)音喚醒等語(yǔ)音領(lǐng)域最主流的能力，首批上線逾40個(gè)模型。其中，“UniASR語(yǔ)音識(shí)別通用領(lǐng)域模型”阿里云語(yǔ)音識(shí)別API背后的模型，這次通過(guò)魔搭社區(qū)免費(fèi)開(kāi)放，這種開(kāi)放公共云背后的算法模型的做法在業(yè)界尚屬首例。開(kāi)發(fā)者可基于該模型，通過(guò)領(lǐng)域數(shù)據(jù)finetune進(jìn)一步增強(qiáng)垂直領(lǐng)域語(yǔ)音識(shí)別準(zhǔn)確率。“SAMBERT高表現(xiàn)力多情感語(yǔ)音合成模型”同樣是阿里云語(yǔ)音合成API背后的算法模型。達(dá)摩院還同步開(kāi)源了SAMBERT模型訓(xùn)練代碼和流程。通過(guò)魔搭社區(qū)開(kāi)放，任何有高品質(zhì)錄音數(shù)據(jù)的模型開(kāi)發(fā)者均可制作出與達(dá)摩院同樣品質(zhì)的語(yǔ)音合成音色。“Paraformer語(yǔ)音識(shí)別模型”是達(dá)摩院下一代非自回歸端到端語(yǔ)音識(shí)別模型，剛剛于InterSpeech-2022發(fā)表，即已通過(guò)魔搭分享給業(yè)界。Paraformer是當(dāng)前學(xué)術(shù)界在非自回歸技術(shù)路線上研究探索的SOTA模型之一。模型結(jié)構(gòu)先進(jìn)，相比自回歸模型在保持精度的同時(shí)，在推理效率上最高能達(dá)到10倍提升，將有效降低語(yǔ)音識(shí)別線上服務(wù)的成本。
在多模態(tài)領(lǐng)域（所謂多模態(tài)模型，就是跨越文本、圖像、聲音等多種數(shù)據(jù)類(lèi)型之間的理解和生成問(wèn)題，人處理任務(wù)通常也是以多模態(tài)的方式進(jìn)行。），魔搭社區(qū)這次也提供了豐富的多模態(tài)模型矩陣。它不僅包含了不同類(lèi)型的圖文多模態(tài)預(yù)訓(xùn)練模型，比如我們提供了一個(gè)原生CLIP模型的中文版，以及像OFA/Team/mPLUG這樣自研的多模態(tài)預(yù)訓(xùn)練模型；同時(shí)魔搭也包含了使用這類(lèi)模型創(chuàng)建的包括圖像描述、視覺(jué)定位、視覺(jué)問(wèn)答、圖文檢索等各類(lèi)多模態(tài)典型任務(wù)。（另外，為了滿足不同部署條件的開(kāi)發(fā)者，我們很多模型都有不同規(guī)模的版本可供選擇。社區(qū)同樣也可以很方便的在這些預(yù)訓(xùn)練模型，或者他們的下游模型上進(jìn)行二次開(kāi)發(fā)。）
此外，社區(qū)還在AI for Science等新領(lǐng)域積極拓展，深勢(shì)科技在社區(qū)開(kāi)源了蛋白質(zhì)折疊預(yù)測(cè)模型和3D分子模型。
魔搭社區(qū)的使用優(yōu)勢(shì)
魔搭社區(qū)也提供在線體驗(yàn)的能力，能夠讓眾多使用者能夠快速的在不開(kāi)發(fā)代碼的情況下，去體驗(yàn)各種模型的效果。社區(qū)還提供相關(guān)的模型開(kāi)發(fā)的代碼，引導(dǎo)社區(qū)的開(kāi)發(fā)者以編程的方式，結(jié)合社區(qū)的python library，快速使用模型。除了模型以外，社區(qū)同時(shí)還提供了豐富的數(shù)據(jù)集。幫助模型進(jìn)行訓(xùn)練和調(diào)優(yōu)。而社區(qū)分享頻道，方便模型的使用者和開(kāi)發(fā)者能夠方便的交流心得和體會(huì)，推動(dòng)模型的應(yīng)用。
為了構(gòu)建這些完整的平臺(tái)體驗(yàn)，魔搭提供了一個(gè)功能強(qiáng)大的開(kāi)源Python package，package提供了不同模型接入魔搭生態(tài)的接口和實(shí)現(xiàn)，底層能夠兼容各種機(jī)器學(xué)習(xí)框架，無(wú)縫銜接模型應(yīng)用與開(kāi)發(fā)。只需要import對(duì)應(yīng)的python package，通過(guò)簡(jiǎn)單的一行代碼，就可以完成模型的發(fā)現(xiàn)，模型的自動(dòng)下載，以及模型的加載和使用。在體驗(yàn)過(guò)模型后，還可以方便的一站式的部署到云端，供APP使用。
技術(shù)架構(gòu)圖
模型的開(kāi)發(fā)離不開(kāi)算力，魔搭社區(qū)的生態(tài)和云的生態(tài)實(shí)現(xiàn)了無(wú)縫的集成。阿里云為魔搭社區(qū)提供了一定的免費(fèi)的算力，來(lái)促進(jìn)社區(qū)的快速發(fā)展。同時(shí)魔搭社區(qū)和多種云產(chǎn)品結(jié)合，如阿里云彈性加速計(jì)算EAIS和機(jī)器學(xué)習(xí)平臺(tái)PAI，覆蓋了模型的開(kāi)發(fā)的方方面面。從魔搭社區(qū)，用戶們可以進(jìn)行開(kāi)發(fā)，并能夠快速的連接到云生態(tài)。能夠完善今天整個(gè)模型的開(kāi)發(fā)的鏈路。
值得注意的是，魔搭社區(qū)堅(jiān)持開(kāi)源開(kāi)放，框架兼容各種機(jī)器學(xué)習(xí)的框架，通過(guò)這樣的方式，不僅阿里巴巴各個(gè)團(tuán)隊(duì)的模型都可以輕松的接入社區(qū)，同時(shí)外部的科技公司和高校也可以通過(guò)這樣的方式，快速接入各種模型。
聯(lián)系客服
