2024 年學(xué)習(xí) AI 路線圖

最近AI大熱，相關(guān)的研究層出不窮。

你想學(xué)習(xí)AI嗎？但您不知道如何或從哪里開始？

人工智能和深度學(xué)習(xí)是發(fā)展的趨勢：

Science 2023封面論文：ChatGPT縮小了人們在寫作能力上的差距
Nature子刊Nature Machine Intelligence也已經(jīng)上線近三年了，每年接收文章不到100篇，影響因子達(dá)到16.65，表示著Nature對人工智能方法的認(rèn)可。
2023年下半年，華為、英偉達(dá)、谷歌的天氣系統(tǒng)預(yù)報大模型展現(xiàn)了強大的實力和統(tǒng)治力...

然而對于普遍的非計算機專業(yè)的朋友來說，這些技術(shù)變得越來越難，越來越不好掌握了！以前我們還能說“站在巨人的肩膀上”，現(xiàn)在回過頭來看，人工智能發(fā)展得太快，巨人的肩膀也站不住了！

為了逃離鋪天蓋地的代碼copy，你必須親自動手，從頭開始編寫算法，實現(xiàn)論文，并使用人工智能解決問題來完成有趣的項目。

寫在前面

首先是代碼，然后是理論。建議讀者先看代碼，后學(xué)理論~

我出于需要還是喜歡學(xué)習(xí)？

如果我要解決某件問題，我會廣泛獲取所需的信息、研究、理解它，然后采取行動。

例如，我的目標(biāo)是復(fù)現(xiàn)最新的模型（如盤古模型），這涉及到從頭開始編寫 Transformer 代碼以及在 GPU 上微調(diào)的技能。我現(xiàn)在做不到這一點，因為在我的知識，我的目標(biāo)是填補這些空白。

或者你以 NLP 為重點；如果您正在尋找其他人工智能應(yīng)用，例如計算機視覺或強化學(xué)習(xí)，可以在公眾號下面發(fā)表評論或私信我，我會給你一些建議。

另外建議讀者定期查看一些相關(guān)Kaggle競賽，這里有下游任務(wù)的最新模型與得分；也建議讀者注冊X賬號（Twitter），上面一些深度學(xué)習(xí)大牛會發(fā)布最新資訊；或者關(guān)注一些優(yōu)質(zhì)公眾號。

數(shù)學(xué)基礎(chǔ)

機器學(xué)習(xí)在很大程度上依賴于數(shù)學(xué)的三大支柱：線性代數(shù)、微積分、概率和統(tǒng)計學(xué)。每個都在使算法有效運行方面發(fā)揮著獨特的作用。

線性代數(shù)：用于數(shù)據(jù)表示和操作的數(shù)學(xué)工具包，其中矩陣和向量構(gòu)成算法解釋和處理信息的語言
微積分：機器學(xué)習(xí)優(yōu)化的引擎，使算法能夠通過理解梯度和變化率來學(xué)習(xí)和改進(jìn)。
概率與統(tǒng)計：不確定性下決策的基礎(chǔ)，允許算法預(yù)測結(jié)果并通過隨機性和可變性模型從數(shù)據(jù)中學(xué)習(xí)。

一般而言，大學(xué)學(xué)到的高數(shù)足夠應(yīng)對了，尤其是考研生。

額外推薦一本線性代數(shù)書：Introduction to Linear algebra [Introduction to Linear Algebra by Gilbert Strang.pdf](books/Introduction to Linear Algebra by Gilbert Strang.pdf)

麻省理工學(xué)院英文原版教材《線性代數(shù)導(dǎo)論》

工具

主要是Python和Pytorch

Python

初學(xué)者從這里開始：實用 Python 編程。（https://dabeaz-course.github.io/practical-python/Notes/Contents.html）

書籍的話看這兩本：

igure	Name	Web/Book	Description
	蟒蛇書	Python編程：從入門到實踐.pdf	Python編程入門必備
	Python Data Science Handbook	Python數(shù)據(jù)科學(xué)手冊.pdf	Python數(shù)據(jù)科學(xué)手冊（從Numpy到Sklearn）

如果您已經(jīng)熟悉 Python，可以學(xué)習(xí)Python高級編程https://github.com/dabeaz-course/python-mastery?tab=readme-ov-file

Pytorch

建議學(xué)習(xí)Youtube的Aladdin Persson教程，非常系統(tǒng)，適合初學(xué)者，打開字幕幾乎無門檻：

https://www.youtube.com/playlist?list=PLhhyoLH6IjfxeoooqP9rhU3HJIAVAJ3Vz

也可以學(xué)習(xí)官方的Pytorch示例：https://pytorch.org/examples/

書籍學(xué)習(xí)這一本：

https://www.oreilly.com/library/view/programming-pytorch-for/9781492045342/

機器學(xué)習(xí)

一個100 頁的機器學(xué)習(xí)書籍，入門讀著玩，順便學(xué)英語。https://themlbook.com/

再學(xué)習(xí)這個存儲庫，圖文并茂，代碼豐富，初學(xué)者友好~https://github.com/eriklindernoren/ML-From-Scratch

這個存儲庫也很棒！https://github.com/trekhleb/homemade-machine-learning

親身體驗數(shù)據(jù)和模型，這里有一些優(yōu)秀的資源：

使用 PyTorch 和 Scikit-Learn 進(jìn)行機器學(xué)習(xí)（代碼）https://github.com/rasbt/machine-learning-book
[1811.12808]機器學(xué)習(xí)中的模型評估、模型選擇和算法選擇 https://arxiv.org/abs/1811.12808
機器學(xué)習(xí)入門面試書·MLIB https://huyenchip.com/ml-interviews-book/

深度學(xué)習(xí)

用一本“魚書”快速入門，可以看著玩~

Figure	Name	Web/Book	Description
	Deep Learning From Scratch	《深度學(xué)習(xí)入門：基于Python的理論與實現(xiàn)》高清中文版.pdf	魚書，深度學(xué)習(xí)入門必備

全面的課程：

Fran?ois Fleuret的UNIGE 14x050 — 深度學(xué)習(xí)。（每一章都有ppt和免費視頻）https://fleuret.org/dlc/

深入研究深度學(xué)習(xí)（包含 PyTorch、NumPy/MXNet、JAX 和 TensorFlow 中的代碼示例）https://d2l.ai/index.html

在手機上閱讀《深度學(xué)習(xí)小冊子》https://fleuret.org/francois/lbdl.html

可以打印出來隨身看

深度學(xué)習(xí)小冊子

自然語言處理

斯坦福大學(xué)的另一門精彩課程，CS 224N |深度學(xué)習(xí)自然語言處理 https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1234/

youtube的優(yōu)質(zhì)免費NLP教程：NLP課程 https://huggingface.co/learn/nlp-course/chapter1/1

使用 Transformers 進(jìn)行自然語言處理圖書：使用 Transformers 進(jìn)行自然語言處理圖書 https://transformersbook.com/

大模型

大語言模型

首先，觀看 Andrej 的 [ 1 小時演講] 大型語言模型簡介。https://www.youtube.com/watch?v=zjkBMFhNj_g

然后觀看“神經(jīng)網(wǎng)絡(luò)：從入門到精通它從從頭開始解釋和編碼反向傳播開始，到從頭開始編寫 GPT 結(jié)束。

神經(jīng)網(wǎng)絡(luò)：從零到精通作者：Andrej Karpathy https://karpathy.ai/zero-to-hero.html

從頭開始編寫Transformer。

閱讀Transformer 系列 2.0 版 | Lil'Log 的概述。https://lilianweng.github.io/posts/2023-01-27-the-transformer-family-v2/

從頭開始學(xué)習(xí)。

論文

Attention is all you need https://arxiv.org/abs/1706.03762
圖解Transformer http://jalammar.github.io/illustrated-transformer/
哈佛大學(xué)的帶注釋的Transformer http://nlp.seas.harvard.edu/annotated-transformer/
像Transformer一樣思考 https://srush.github.io/raspy/

博客

從頭開始創(chuàng)建 Transformer — 第一部分：注意力機制（第 2 部分）（代碼）https://benjaminwarner.dev/2023/07/01/attention-mechanism
從頭開始理解和編碼大型語言模型的自注意力機制作者：Sebastian Raschka 博士 https://sebastianraschka.com/blog/2023/self-attention-from-scratch.html
從零開始的Transformer https://peterbloem.nl/blog/transformers

視頻

在 PyTorch 上從頭開始編寫 Transformer 代碼，并提供完整的解釋、訓(xùn)練和推理 https://www.youtube.com/watch?v=ISNdQcPhsts&t=7449s
NLP：從頭開始實施 BERT 和 Transformers https://www.youtube.com/watch?v=EPa98fyxZ-s&list=PLdM8d_MWyPjV2vKl7Y2jnIIBRu522tiZc&index=9

您現(xiàn)在可以從頭開始編寫Transformer代碼。但還有更多。

一些不錯的博客

梯度下降到瘋狂——從頭開始建立神經(jīng)網(wǎng)絡(luò) https://bclarkson-code.github.io/posts/llm-from-scratch-scalar-autograd/post.html
Transformer插圖 — Jay Alammar https://jalammar.github.io/illustrated-transformer/
關(guān)于注意力和Transformer的一些直覺作者：Eugene Yan https://eugeneyan.com/writing/attention/?curius=1935
Llama 從頭開始（或者如何不哭地實現(xiàn)一篇論文）|布萊恩·北野 https://blog.briankitano.com/llama-from-scratch/
改進(jìn) LoRA：從頭開始實現(xiàn)權(quán)重分解低秩適應(yīng) (DoRA) https://magazine.sebastianraschka.com/p/lora-and-dora-from-scratch

觀看精彩視頻

深入視頻解釋論文，展示了代碼。

LoRA：大型語言模型的低階適應(yīng) - 直觀解釋從頭開始的 PyTorch 代碼 https://www.youtube.com/watch?v=PXWYUTMt-AU
Mistral / Mixtral 解釋：滑動窗口注意力、專家稀疏混合、滾動緩沖區(qū) https://www.youtube.com/watch?v=UiX8K-xBUpE
Attention is all you need (Transformer) — 模型解釋（包括數(shù)學(xué)）、推理和訓(xùn)練 https://www.youtube.com/watch?v=bCz4OMemCcA
LLaMA 解釋：KV-Cache、旋轉(zhuǎn)位置嵌入、RMS Norm、分組查詢注意力、SwiGLU https://www.youtube.com/watch?v=Mn_9W1nCFLo
檢索增強生成 (RAG) 解釋：嵌入、句子 BERT、向量數(shù)據(jù)庫 (HNSW) https://www.youtube.com/watch?v=rhZgXNdhWDY

本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點擊舉報。

精品伊人久久大香线蕉,开心久久婷婷综合中文字幕,杏田冲梨,人妻无码aⅴ不卡中文字幕