第四章、從Transformer到ChatGPT 3.5：通用智能的「寒武紀大爆發」

一、GPT系列進化簡史：從「嬰兒學語」到「通才學者」

1. GPT-1（2018）：無監督預訓練的「語言嬰兒」

誕生背景：
2017年Transformer論文發表后，OpenAI的伊利亞·蘇茨克沃（Ilya Sutskever）意識到：“如果讓模型'吃掉’整個互聯網，它會自己學會語法。”

原理突破：

• 無監督預訓練：讓模型像嬰兒聽大人說話一樣，通過海量文本自學（無需人工標注）
• 任務微調：用少量標注數據教模型特定技能（如問答、翻譯）

成就與局限：

• 能續寫《哈利波特》風格的段落，但常出現“赫敏用激光劍砍伏地魔”的荒謬情節
• 參數量僅1.17億，相當于今日智能手表的運算水平

冷知識：GPT-1訓練時“閱讀”了7000本小說，但始終分不清《傲慢與偏見》中的達西和《星球大戰》中的達斯·維達。

伊利亞·蘇茨克沃（Ilya Sutskever），OpenAI的聯合創始人

2. GPT-2（2019）：零樣本學習的「叛逆少年」

技術躍遷：

• 15億參數：模型規模擴大10倍，涌現出“零樣本學習”能力
• 上下文學習：只需給出任務描述（如“將英文翻譯成中文：”），無需額外訓練

轟動事件：
OpenAI因擔心濫用，最初拒絕公開完整模型。《紐約客》測試GPT-2生成的假新聞《特朗普宣布在火星建立高爾夫球場》時，甚至騙過了專業編輯。

經典案例：
輸入“狗對主人說：”，GPT-2輸出“今天能不能不去寵物醫院？我保證沒偷吃沙發！”——首次展現出擬人化創作能力。

3. GPT-3（2020）：千億參數的「通才覺醒」

參數爆炸：

• 1750億參數：相當于人類大腦皮層突觸數量的1/10
• 涌現能力：突然掌握寫代碼、解方程、編食譜等跨領域技能

顛覆性表現：

• 代碼生成：輸入“用Python畫一朵會下雨的云”，5秒輸出可運行代碼
• 哲學對話：被問“生命的意義是什么？”時，回答“就像量子疊加態——觀察者決定答案。”
• 商業沖擊：初創公司Jasper用GPT-3生成廣告文案，估值飆升至15億美元

代價：訓練耗電相當于3000個美國家庭年用電量，碳排放等同駕駛汽車往返地球與月球5次。

4. ChatGPT 3.5（2022）：人類反饋強化學習的「心智馴化」

關鍵技術：

• RLHF（人類反饋強化學習）：讓AI從“野蠻生長”變為“文明公民”
• 監督微調：人類標注員教它禮貌拒絕敏感問題
• 獎勵模型：用數萬條反饋訓練“道德評分器”
• 強化學習：讓模型像學生反復修改作文般優化回答

交互革命：

• 當用戶說“我想自殺”，ChatGPT 3.5不再機械列舉心理熱線，而是生成“聽起來你正承受著難以想象的壓力，能多和我聊聊嗎？”
• 面對“如何造核彈”，它會回答“這涉及危險信息，建議探索更安全的科學實驗。”

冷知識：RLHF訓練中，標注員們曾為“AI是否該對冷笑話捧場”爭論不休，最終決定讓它在收到“為什么企鵝不害怕冷？因為它們有冰（衣）箱！”時回答“這個笑話值得一個北極熊的掌聲！”

山姆·奧特曼（Sam Altman）

二、Transformer的衍生應用：改寫現實的「萬能模具」

1. 文本生成：從莎士比亞到黑客

• 小說創作：AI寫手Sudowrite用Transformer生成《蒸汽朋克版羅密歐與朱麗葉》，主角用齒輪懷表傳遞情書
• 代碼補全：GitHub Copilot在程序員輸入“//快速排序”時，自動生成50行Python代碼
• 法律文書：初創公司DoNotPay用Transformer生成交通罰單申訴信，成功率比人類律師高30%

2. 圖像生成：像素煉金術

• DALL·E 2：輸入“梵高風格的太空鯨魚在星云中游弋”，輸出震撼畫作
• 醫學成像：Transformer生成假腫瘤CT影像，幫助醫生識別罕見病例
• 時尚革命：ZARA用AI設計“賽博朋克連衣裙”，一周內售罄

3. 生命科學：解碼生命之書

• AlphaFold 2：用Transformer預測3.5億種蛋白質結構，將艾滋病疫苗研發提速10年
• 基因編輯：DeepMind用Transformer設計CRISPR向導RNA，精準度超人類專家
• 藥物發現：英國初創公司用AI生成抗癌分子，其中一款已進入二期臨床試驗

冷知識

• DALL·E 2曾因用戶輸入“教皇穿巴黎世家”生成潮流教宗圖，引發神學界抗議。
• AlphaFold 2破解的蛋白質結構數據總量，超過人類過去50年成果之和。
• 有人用Transformer生成《紅樓夢》后40回續寫，情節包含“賈寶玉開飛船逃離大觀園”——文學教授評價：“比高鶚版更有想象力。”

結語：當「注意力」成為新石油

從Transformer到ChatGPT 3.5，這場技術革命本質是「注意力機制」的無限延伸——它讓機器學會像人類一樣，在海量信息中捕捉關聯、推理因果、創造新知。而當AI開始用我們的語言思考時，一個更根本的問題正在浮現：如果機器能理解一切，人類該如何定義自己的不可替代性？

終章預告：從 GPT 3.5 邁向 DeepSeek，開源生態的崛起之路……