快科技1月17日消息，在AI領(lǐng)域，DeepSeek帶來的影響力，一點(diǎn)也不亞于“六代機(jī)”。那么，DeepSeek究竟厲害在哪里？
據(jù)新浪科技報(bào)道，今日，中國(guó)工程院院士、清華大學(xué)計(jì)算機(jī)系教授鄭緯民指出了DeepSeek其成功出圈的關(guān)鍵所在。
目前，業(yè)界對(duì)于DeepSeek的喜愛與贊美，主要集中在三個(gè)方面。
第一，在技術(shù)層面，DeepSeek背后的DeepSeek-V3及公司新近推出的DeepSeek-R1兩款模型，分別實(shí)現(xiàn)了比肩OpenAI 4o和o1模型的能力。
第二，DeepSeek研發(fā)的這兩款模型成本更低，僅為OpenAI 4o和o1模型的十分之一左右。
第三，DeepSeek把這一兩大模型的技術(shù)都開源了，這讓更多的AI團(tuán)隊(duì)，能夠基于最先進(jìn)同時(shí)成本最低的模型，開發(fā)更多的AI原生應(yīng)用。
DeepSeek是如何實(shí)現(xiàn)模型成本的降低的呢？鄭緯民指出，“DeepSeek自研的MLA架構(gòu)和DeepSeek MOE架構(gòu)，為其自身的模型訓(xùn)練成本下降，起到了關(guān)鍵作用。”
他指出，“MLA主要通過改造注意力算子壓縮了KV Cache大小，實(shí)現(xiàn)了在同樣容量下可以存儲(chǔ)更多的KV Cache，該架構(gòu)和DeepSeek-V3模型中FFN 層的改造相配合，實(shí)現(xiàn)了一個(gè)非常大的稀疏MoE 層，這成為DeepSeek訓(xùn)練成本低最關(guān)鍵的原因。”
據(jù)了解，KV Cache是一種優(yōu)化技術(shù)，常被用于存儲(chǔ)人工智能模型運(yùn)行時(shí)產(chǎn)生的token的鍵值對(duì)（即key- value數(shù)值），以提高計(jì)算效率。
具體而言，在模型運(yùn)算過程中，KV cache會(huì)在模型運(yùn)算過程中充當(dāng)一個(gè)內(nèi)存庫的角色，以存儲(chǔ)模型之前處理過的token鍵值，通過模型運(yùn)算計(jì)算出注意力分?jǐn)?shù)，有效控制被存儲(chǔ)token的輸入輸出，通過“以存換算”避免了多數(shù)大模型運(yùn)算每次都是從第一個(gè)token開始運(yùn)算的重復(fù)計(jì)算，提升了算力使用效率。
此外，據(jù)鄭緯民透露，DeepSeek還解決了“非常大同時(shí)非常稀疏的MoE模型”使用的性能難題，而這也成了“DeepSeek訓(xùn)練成本低最關(guān)鍵的原因”。
“DeepSeek比較厲害的是訓(xùn)練MoE的能力，成為公開MoE模型訓(xùn)練中第一個(gè)能訓(xùn)練成功這么大MoE的企業(yè)。”鄭緯民說
此外，DeepSeek還充分利用專家網(wǎng)絡(luò)被稀疏激活的設(shè)計(jì)，限制了每個(gè)token被發(fā)送往GPU集群節(jié)點(diǎn)（node）的數(shù)量，這使得GPU之間通信開銷穩(wěn)定在較低的水位。
早先，圖靈獎(jiǎng)得主、主導(dǎo)Meta AI研究的首席科學(xué)家楊立昆（Yann LeCun）認(rèn)為，DeepSeek成功的最大收獲并非中國(guó)競(jìng)爭(zhēng)對(duì)其他國(guó)家?guī)砀笸{，而是AI開源的價(jià)值使任何人都能受益。
“對(duì)那些看到DeepSeek表現(xiàn)并認(rèn)為'中國(guó)在AI領(lǐng)域正超越美國(guó)’的人而言，你的解讀錯(cuò)了”，楊立昆在Threads寫道，“正確解讀應(yīng)是'開源模型正超越專有模型’”。
聯(lián)系客服
