大家好，我是老章
Meta 發(fā)布 Llama 3，大模型開(kāi)源世界這幾天又熱鬧起來(lái)了。
Llama 3 提供兩個(gè)版本（8B 和 70B）：
**8B 版本適合在消費(fèi)級(jí) GPU 上高效部署和開(kāi)發(fā)；
70B 版本則專(zhuān)為大規(guī)模 AI 應(yīng)用設(shè)計(jì)。
每個(gè)版本都包括基礎(chǔ)和指令調(diào)優(yōu)兩種形式。
Meta 官方數(shù)據(jù)顯示，Llama 3 8B 和 70B 版本在語(yǔ)言（MMLU）、知識(shí)（GPQA）、編程（HumanEval）、數(shù)學(xué)（GSM-8K、MATH）等能力上，Llama 3 幾乎全面領(lǐng)先于同等規(guī)模的其他模型。
8B 模型在 MMLU、GPQA、HumanEval 等多項(xiàng)基準(zhǔn)上均勝過(guò) Gemma 7B 和 Mistral 7B Instruct。
而 70B 模型則超越了閉源的當(dāng)紅炸子雞 Claude 3 Sonnet，和谷歌的 Gemini Pro 1.5 打得有來(lái)有回。
我看了一些文章介紹本地運(yùn)行Llama方式很奇怪也很麻煩，難道最極簡(jiǎn)、省事兒的方式不是Ollama嗎？
本公眾號(hào)讀者應(yīng)該對(duì) Ollama 非常熟悉了，因?yàn)榻榻B過(guò)多次。
Ollama 為那些在 macOS、Linux、Windows 上使用 LLM 的開(kāi)發(fā)者提供了一種簡(jiǎn)便的解決方案，可以更輕松地將這些模型集成到自己的應(yīng)用程序中。
Ollama 目前支持了市面上幾乎所有的開(kāi)源大模型，安裝后均可一個(gè)命令本地啟動(dòng)并運(yùn)行
下載地址：https://ollama.ai/download
下載后安裝即可，一路下一步，無(wú)須多言。
Ollama 支持 Llama 3 的所有模型。
指令調(diào)整模型針對(duì)對(duì)話(huà)/聊天用例進(jìn)行了微調(diào)和優(yōu)化，并且在常見(jiàn)基準(zhǔn)測(cè)試中優(yōu)于許多可用的開(kāi)源聊天模型。
其中：
Instruct針對(duì)聊天/對(duì)話(huà)用例進(jìn)行了微調(diào)。
例子： ollama run llama3 or ollama run llama3:70b
text 預(yù)訓(xùn)練是基礎(chǔ)模型。
例子： ollama run llama3:text or ollama run llama3:70b-text
如果個(gè)人電腦，顯卡一般就老老實(shí)實(shí)運(yùn)行8b版吧
安裝Ollama后在Terminal中執(zhí)行ollama run llama3:8b
模型下載完成后就可以直接在 Terminal 中聊天了，我的電腦是丐版 MacBook Air M1，推理時(shí)相當(dāng)卡。
Llama 3 支持中文，但是對(duì)中文世界還是不太擅長(zhǎng)。
我測(cè)了一下，感覺(jué)7b的能力還不如 Mistral，同樣問(wèn)題，結(jié)果分別如下：
對(duì)了 Ollama 還提供 API 接口，開(kāi)發(fā)測(cè)試可以使用：
curl -X POST http://localhost:11434/api/generate -d '{ "model": "llama3:8b", "prompt":"Why is the sky blue?" }'
聯(lián)系客服
