大模型時代一來,AI框架扮演的角色愈加重要。
行業深諳此理,于是人工智能框架生態峰會2023為此召開。
參會的成員都是產學研界耳熟能詳的名字:上海人工智能研究院、中國科學院自動化研究所、上海白玉蘭開源開放研究院、OpenI啟智社區、華為、昇思MindSpore……
他們齊聚上海的目的只有一個,共建人工智能框架生態,將中國人工智能產業推向一個新階段。
具體的動作有:
聯合啟動上海昇思AI框架&大模型創新中心,已入駐20 單位
發布“共建人工智能框架生態,繁榮中國人工智能產業”聯合倡議
成立昇思MindSpore開源社區理事會
總之,是要以AI框架生態為中心,讓產業“朋友圈”更牢固。
想要回答這一問題,要從AI框架的定位和重要性說起。
一直以來,AI框架被視為AI發展中基建一般的存在。
縱向角度,AI框架在AI全棧體系中處于承上啟下的位置,承擔著AI技術生態中操作系統的角色,對于AI軟件生態構建非常關鍵。
橫向角度,AI框架是AI學術創新與產業商業化的重要基礎軟件,對人工智能從理論走向實踐、快速進入場景化應用時代,有著非常重要的意義。
對于開發者而言,它能提升開發能效、簡化開發流程,同時還提供豐富的功能和工具,加速AI應用創新和推廣。
隨著大模型趨勢席卷而來,AI領域內的開發創新工作更加如火如荼,那么AI框架作為核心開發工具,就顯得尤為重要。
它的底層能力、功能豐富度、生態完善度,都會影響開發效率,進而影響新技術和應用創新的速度。
在這幾方面中,生態構建又顯得格外重要。因為它將直接影響框架的能力、功能、以及產業化應用等。
而AI框架生態的發展,離不開政產學研用各界伙伴的大力支持。
一方面需要高校、科研機構合作,探索人工智能行業前沿方向,豐富算子和模型,培養AI人才的同時持續豐富技術生態。
另一方面也需要與商業伙伴合作,將人工智能技術廣泛應用到千行百業,推進全球智能化的發展。
由此也就不難理解,為什么要召開人工智能框架生態峰會,并且圍繞中國AI框架領軍代表昇思MindSpore,開展一系列生態共建。
如成立昇思MindSpore開源社區理事會(下文簡稱昇思社區理事會),目標就是面向產業、商業、生態等各方向吸納對社區有貢獻、有潛力的企業,通過理事會加強核心伙伴粘性,助力伙伴商業生態成功。
啟動上海昇思AI框架&大模型創新中心,則是抓住大模型趨勢,快速拉起一個產業“朋友圈”,共同推動國內大模型趨勢創新不斷涌現。
當然,行業內會如此重視AI框架生態,除了其身位特殊之外,更直接的原因或許還是因為,多年來AI框架生態的建設已經為產業發展帶來了切實好處。
昇思MindSpore正是代表之一。
昇思MindSpore是華為在2020年開源的全場景AI框架。
昇思MindSpore在技術層面,基于當下產業的需求和挑戰,提出了自動并行、動靜態圖結合、二階優化、全場景部署、全棧協同加速幾大關鍵特性。
比如自動并行可以降低切分數據、切分模型等技術問題門檻,提升開發能力和效率;全場景協同支持智能匹配端邊云多樣設備;面向系統軟硬件co-design能讓昇思MindSpore做到整圖完整卸載,達到與通用GPU硬件對比的程度……
由此,昇思MindSpore即便沒有老牌AI框架的先發優勢,但在解決超大規模模型訓練、AI for Science等產業實際問題上,已經占據領先身位。
具體技術架構上,昇思MindSpore共分為四層,分別是:
模型層:提供開箱即用的功能,主要包含預置的模型和開發套件,以及圖神經網絡、深度概率編程、科學計算庫等拓展庫;
表達層(MindExpression):提供模型開發、訓練、推理的API接口,支持用原生Python語法開發和調試神經網絡,特有的動靜態圖統一能力可以兼顧開發效率和執行性能兩方面需求,同時在生產和部署階段提供全場景統一的C /Python接口;
編譯優化(MindCompiler):這部分是AI框架的核心,以全場景統一中間表達(MindIR)為媒介,將前端表達編譯成執行效率更高的底層語言,同時進行全局性能優化,包括自動微分、代數化簡等硬件無關優化,以及圖算融合、算子生成等硬件相關優化;
運行時,按照上層編譯優化的結果對接并調用底層硬件算子,同時通過“端-邊-云”統一的運行時架構,支持包括聯邦學習在內的“端-邊-云”AI協同。
如今,基于昇思MindSpore的技術成果也相繼涌現。
比如今天剛剛正式對外發布的紫東.太初2.0。
它由中科院自動化所牽頭,基于AI框架昇思MindSpore打造。
作為業界領先的全模態大模型,紫東.太初2.0可實現文本、圖片、語音、視頻、3D點云、傳感信號等不同模態的統一表征和學習。其3.8B模型已經在昇思MindSpore社區開源。
此外還有武漢.LuoJia、鵬程.神農等產學研界成果,都是以昇思MindSpore為底座。據悉,共有400 模型、900 頂會論文基于昇思MindSpore技術生態實現。
由此可以看到,昇思MindSpore作為AI框架,不僅鏈接南北向生態,同時也已構建出一個貫穿產學研的生態圈。
通過不斷完善、繁榮自身生態圈,昇思MindSpore不僅成長為國內最活躍的開源社區之一,還更進一步助推產業技術創新、人才培養、應用落地。
具體可以從技術生態、開源生態和行業生態幾個方面看起。
技術生態方面,除了如上提到的算法模型方面的成績,昇思打造了大模型開源生態。
昇思大模型平臺,向全球百萬開發者提供了包括紫東.太初、鵬程.神農、武漢.LuoJia等大模型能力。
該平臺集大模型在線推理、算法選型、創意分享、產學研專區為一體,提供免費課程資源、經典樣例代碼、企業落地案例、垂直行業專區和多層級挑戰賽。
開源生態方面,2022年,中國信息通信研究院發布《AI框架發展白皮書》,指出昇思MindSpore作為國內優質AI框架代表,在Gitee千萬個開源項目中綜合排名第一,已是國內開源社區最活躍的AI框架。
目前共計有13000 名核心開發者在昇思MindSpore社區做出貢獻。
昇思在海內外30個地區成立本地研究小組MindSpore Study Group(簡稱MSG),開展MSG企業行、MSG高校行、MSG行研會等線上線下活動。
同時,昇思還加入Hugging Face社區,賦能全球開發者;每半年舉辦一次MindCon極客周,目前已引導3萬 開發者參與社區貢獻;開展從入門到精通的全場景AI實戰線上課程,與290 所高校展開昇思MindSpore教學合作,設置初、中、高級別課程,轉型全新開源創新實踐課程。
并且已經形成清晰明確的高效開發者成長路徑圖,轉化核心技術貢獻者?,F已走進290 所高校。
最后在行業生態建設上,昇思MindSpore目前已服務5500家企業,涵蓋數字政府、金融、制造、交通、能源、終端等端邊云全場景行業。
總之,參考昇思MindSpore三年以來的發展可以感受到,在當下發展階段內,一個AI框架能帶來的影響早已不局限于提升開發者的效率和能力,通過構建完善的生態圈,AI框架可以作為中心樞紐將人才、技術、資源、應用場景等緊密聯結,加速行業內整體的開發效率和能力,以此推動產業向前發展。
那么,昇思MindSpore的發展,同樣也為AI開源框架生態構建提供一定思考。
簡單總結有這樣2點:
產業導向
開源開放
首先是AI框架的自身定位上,昇思遵循了產業導向原則。
在TensorFlow、PyTorch憑借先發優勢占據市場主導位置的情況下,新興的AI框架想要在全球市場中占據一席之地,差異化競爭是關鍵。
脫胎于產業界的昇思,自然從產業界入手,在工業化能力上形成差異化,盡可能滿足產業內對開發門檻、運行效率、部署靈活的要求。
同時深入行業洞察趨勢,在一些熱門領域內形成競爭優勢。比如在大模型訓練上,昇思已經支持了業界最多的并行模式。
第二,開源開放。
昇思MindSpore開源后,提出“立足中國、放眼世界”的目標,基于開放、融合、共享的理念,持續推動構建“南向多芯和北向應用生態”。
“南向”為AI芯片算力提供標準化技術生態接口和開發工具,構建自主開源AI框架生態和人工智能算力多芯生態;
“北向”為開發者和算法廠商開展技術聯創,圍繞場景創新重大需求開展聯合攻關。
以昇思社區理事會為抓手,在大模型、科學智能等前沿技術領域持續推動創新,構筑面向未來的核心競爭力,提取共性能力,沉淀框架和數據資產。昇思積極支持與南向芯片廠商的適配,目前已經與20 芯片廠商開展適配工作。
此外,他們也是國內第一個采用開放治理架構的AI框架開源社區。
在昇思MindSpore社區,有來自全球18名技術專家組成的技術委員會,他們通過公開的討論,公開的會議,把控整個社區的技術發展方向。
在技術委員會的指導之下,設立了特殊興趣小組(Special Interest Group),來負責各個模塊的開發;如果需要跨模塊協作,則成立對應的工作組。
昇思還基于自身生態內的力量,盡可能協同上下游、聯動產學研力量,快速推動社區規模發展。
據公開數據,昇思MindSpore首年下載量就突破了10萬,第二年時這一數字已經提升到了102萬,現在總下載量已經超過474萬。
結合當下趨勢來看,ChatGPT引爆大模型趨勢后,未來一段時間內行業內將保持高速發展,誰跑得更快、誰就更有優勢。
而這種競速并不只是單純地拼人才、拼資源,更大程度上還是拼基礎設施和生態。
AI框架始終被視為AI領域的根技術,是模型的“土壤”。
如何讓這個“土壤”更加肥沃?開源、開放、共建。
《經濟日報》發文中也強調了算法開源生態的重要性:要搶占人工智能大模型產業發展制高點,必須加強戰略規劃和深度治理,推進新型算力生態基礎設施建設,打造穩定可靠的算法開源生態。
這也是為什么人工智能框架生態峰會2023要在此時此刻召開,核心目的就是為了吸引、呼吁更多人,一同共建中國AI框架生態。
而在新一輪技術周期的影響和帶動下,中國AI框架生態會怎樣發展,也值得我們期待。
— 完 —