AI 當(dāng)前有多火爆不用介紹了，隨著各個(gè)廠商的努力，也慢慢浮現(xiàn)了有價(jià)值的應(yīng)用，以及為更好的服務(wù) AI 原始應(yīng)用準(zhǔn)備的各種平臺(tái)產(chǎn)品。今天這篇簡(jiǎn)單介紹下當(dāng)前業(yè)界最新的 AI 原生應(yīng)用技術(shù)棧。
特別聲明：AI 技術(shù)還在快速發(fā)展過(guò)程中，本文內(nèi)容隨時(shí)會(huì)過(guò)時(shí)。
整體架構(gòu)
簡(jiǎn)單畫(huà)了一下目前 AI 原始應(yīng)用技術(shù)棧的邏輯圖，分好幾層，接下來(lái)展開(kāi)講一下圖中標(biāo)識(shí)的①～⑤。
① 大模型
AI 這次火爆，應(yīng)該感謝OpenAI，ChatGPT 讓大家看到 AGI 的希望。大模型技術(shù)還是 OpenAI 的 GPT 4.0 最領(lǐng)先。提供模型的有云廠商和創(chuàng)業(yè)公司。
國(guó)內(nèi)大模型主要有：
RNIE 4.0（文心一言），百度出品
通義千問(wèn)，阿里出品
盤(pán)古大模型，華為出品
星火大模型，科大訊飛出品
Baichuan 3，王小川創(chuàng)業(yè)公司百川智能
abab 6.5，MiniMax出品
GLM-130B，智譜 AI
Kimi， 月之暗面（Moonshot AI）出品，主推 2C 應(yīng)用 Kimi，長(zhǎng)文本有特色
Yi-34B，零一萬(wàn)物，李開(kāi)復(fù)老師創(chuàng)業(yè)公司
海外大模型主要有
GPT 4.0，OpenAI 出品，背后金主爸爸是微軟
Google Gemini 1.5，剛剛Google next 2024大會(huì)發(fā)布
Claude 3，背后金主爸爸是 AWS
Llama-3，meta 開(kāi)源，開(kāi)源最強(qiáng)模型
阿里巴巴董事長(zhǎng)蔡崇信在一個(gè)公開(kāi)訪談中提到，國(guó)內(nèi)整體實(shí)力比海外差，至少1～2 年以上，國(guó)內(nèi)大公司創(chuàng)業(yè)公司卷模型的多，卷應(yīng)用的少，相反海外創(chuàng)業(yè)公司卷應(yīng)用更多。從而看出兩邊商業(yè)環(huán)境，思路差距還是比較大。
② Model Builder
model builder 主要是大模型部署，精調(diào)，推理服務(wù)部署等一系列工具鏈，讓用戶很容易把大模型用起來(lái)。
主要還是云廠商提供這塊的服務(wù)，關(guān)于這部分的功能劃分不完全一樣。
百度智能云 Model builder，復(fù)制模型管理，評(píng)估優(yōu)化，提供模型調(diào)用，包括推理服務(wù)部署等。
AWS Bedrock 負(fù)責(zé)基礎(chǔ)大模型提供服務(wù)
Google Vertex AI ，包含了三部分功能，Model Garden，Model Builder，Agent Builder等等，是一個(gè)大的品牌。
Azure 主要有兩塊服務(wù)：
OpenAI Service，提供 GPT4，GPT3.5，embedding 等模型服務(wù)
Azure AI Studio 第三方模型服務(wù)，如Llama
③向量數(shù)據(jù)庫(kù)
生成式人工智能技術(shù)發(fā)展帶動(dòng)了大規(guī)模預(yù)訓(xùn)練模型的廣泛應(yīng)用，向量數(shù)據(jù)庫(kù)成為了整個(gè)發(fā)展鏈條中的重要一環(huán)。人工智能和機(jī)器學(xué)習(xí)可以將非結(jié)構(gòu)化數(shù)據(jù)（文本，圖像，視頻等）轉(zhuǎn)換成數(shù)學(xué)上的向量表示。向量數(shù)據(jù)庫(kù)正是一種專門(mén)用于存儲(chǔ)和檢索向量數(shù)據(jù)的數(shù)據(jù)庫(kù)，向量數(shù)據(jù)庫(kù)實(shí)現(xiàn)對(duì)向量的處理從而實(shí)現(xiàn)了非結(jié)構(gòu)化數(shù)據(jù)的檢索和相似性計(jì)算。對(duì)于大模型來(lái)說(shuō)，向量數(shù)據(jù)庫(kù)意味著更高效、更精準(zhǔn)的模型應(yīng)用。
借著大模型崛起這股東風(fēng)，眾多向量數(shù)據(jù)庫(kù)廠商也獲得了資本的青睞。去年上半年，荷蘭 AI 原生向量數(shù)據(jù)庫(kù)廠商 Weaviate 獲得 5000 萬(wàn)美元 B 輪融資；美國(guó)明星向量數(shù)據(jù)庫(kù)廠商 Pinecone 宣布籌集了 1 億美元的 B 輪融資。這些資本駐足的背后，是向量數(shù)據(jù)庫(kù)的關(guān)注度已經(jīng)達(dá)到了前所未有的高度。
那么，向量數(shù)據(jù)庫(kù)為何會(huì)受到如此高的關(guān)注？那就要從向量數(shù)據(jù)庫(kù)對(duì)于大模型的助益來(lái)說(shuō)起。
大語(yǔ)言模型存在知識(shí)更新不及時(shí)、會(huì)產(chǎn)生幻覺(jué)、無(wú)法具備特定行業(yè)或私有知識(shí)，以及難以實(shí)現(xiàn)安全回答等問(wèn)題。通過(guò)引入向量存儲(chǔ)模塊作為大語(yǔ)言模型的長(zhǎng)期記憶體，通過(guò)向量存儲(chǔ)模塊中數(shù)據(jù)的反饋和干預(yù)，能夠以較低的成本解決上述問(wèn)題。
正是由于向量數(shù)據(jù)庫(kù)在大模型應(yīng)用中的顯著優(yōu)勢(shì)，越來(lái)越多的廠商開(kāi)始推出自家的向量數(shù)據(jù)庫(kù)產(chǎn)品。
國(guó)內(nèi)
百度向量數(shù)據(jù)庫(kù)
騰訊向量數(shù)據(jù)庫(kù)
開(kāi)源的 milvus（商業(yè)產(chǎn)品 zilliz）
海外
pinecone
④Agent builder & ⑤App builder
Agent 智能體是個(gè)時(shí)髦概念，吳恩達(dá)最近的預(yù)測(cè)通過(guò)智能設(shè)計(jì)，用 GPT 3.5 就能達(dá)到 4.0 的效果。AI Agent 和大模型的區(qū)別在于，大模型與人類之間的交互是基于prompt 實(shí)現(xiàn)的，用戶prompt 是否清晰明確會(huì)影響大模型回答的效果。而AI Agent的工作僅需給定一個(gè)目標(biāo)，它就能夠針對(duì)目標(biāo)獨(dú)立思考并做出行動(dòng)。從原理上說(shuō)，AI Agent的核心驅(qū)動(dòng)力是大模型，在此基礎(chǔ)上增加規(guī)劃（Planning）、記憶（Memory）和工具使用（Tool Use）三個(gè)關(guān)鍵組件。 App builder 的范圍要更大一些，幫助開(kāi)發(fā)者和應(yīng)用構(gòu)建 App，Agent 理論上是一種App。不過(guò)現(xiàn)在能直接通過(guò)工具就能構(gòu)建的 App 類型還比較少，前面比較流行的低代碼平臺(tái)，本質(zhì)也是幫助用戶構(gòu)建企業(yè)里面流程管理 App，也是其中一種。
國(guó)內(nèi)典型的有
百度有 Agent builder，主要是 2C 的 Agent 多一些，還有 App builder 做 2B 的方向。
字節(jié) coze
google 在Vertex AI也包含了 Agent builder
這類的builder 核心提供三個(gè)能力
工作流編排：方便用戶比較快的把業(yè)務(wù)邏輯進(jìn)行編排，基本不用開(kāi)發(fā)或者很少的開(kāi)發(fā)就可以完成一個(gè) App 的業(yè)務(wù)。
各類的插件：比如各種embedding 模型，向量插件，搜索插件等等，用于工作流編排
一鍵發(fā)布的到分發(fā)渠道的能力：構(gòu)建了 App要發(fā)布到各類平臺(tái)，市場(chǎng)讓用戶可以下載使用，builder 一般也提供這個(gè)打通的能力。
上層的應(yīng)用現(xiàn)在有各類的助手如文心一言，字節(jié)豆包，kimi 等等，就不展開(kāi)講了，后面單獨(dú)來(lái)開(kāi)一篇介紹。
好了，今天對(duì) AI 原始技術(shù)棧就簡(jiǎn)單介紹這些。大模型如火如荼，相關(guān)技術(shù)日新月異，有興趣的同學(xué)還可以看我前面的一些文章。
-----------------
典型向量數(shù)據(jù)庫(kù) RAG E2E 能力
百度向量數(shù)據(jù)庫(kù) VectorDB 性能報(bào)告
聯(lián)系客服
