最近看到 AI EDU 上體驗的用戶越來越多，我們也在加速開發新功能了??
當然，埋頭搞開發之余我們也關注到大家使用過程中產生的疑問
舉些例子吧，比如說??
回答不切合實際，它真的是人工智能嗎？
我讓他寫一篇3000字的論文，怎么500字就把我打發了？
大家急切想要把 ChatGPT 用起來的心情我特別理解，但是在使用之前需要補充一些知識盲區。
Chat GPT 是回應性的，并不會進行計劃或者推理（They are “reactive” and don't plan nor reason）；所以它們其實會去編造一些東西。
我們不能貿然把 ChatGPT 當作有智慧的機器人，它的本質其實是語言模型，而不是邏輯或者計算模型。
它的最強項還是語言的理解、組織和輸出，可以理解成是翻譯官（它是個“文科生or文字工作者”）。
當然，語言也包括 編程語言，這時候，它還是個 杰出 的工程師??
為什么呢？這與它的功能定位有著很深的聯系。
Chat GPT (Chat Generative Pre-trained Transformer) 翻譯成中文是 【會聊天的生成式預訓練轉化器】
它所依賴的，是一種基于互聯網可用數據訓練的文本生成深度學習模型，在技術上，很多人將這種 AI 訓練的底層邏輯比喻為“大力出奇跡”。
而從數據量來看更是驚人，2019年，OpenAI 推出參數為 15億 的 GPT-2，2020年推出 GPT-3，將參數提升到了 1750億，成為當時全球最大的預訓練模型，引發業內轟動。
在2021年，GPT-3 做了兩個關鍵變型，分為了 WebGPT 和 InstructGPT
WebGPT
用于搭建基于文字的頁面瀏覽環境，教 GPT-3 上網查詢，在生成結果的同時生成引用來源，相對 GPT-3 大幅提升生成內容信息量和事實性。
InstructGPT
基于用戶反饋的強化學習 RLHF，將語言模型的輸出與用戶的意圖非常好地 align（對齊/相關）起來，擁有了“智能”的表象。
大家都知道，ChatGPT 沒有釋出任何論文，只有官方文檔放出了一張【訓練步驟】的圖片。
ChatGPT 訓練步驟
圖片來源: OpenAI blog
但是我們可以看到，InstructGPT 的訓練流程圖 與 ChatGPT 幾乎一模一樣
InstructGPT 訓練步驟
圖片來源: OpenAI blog
唯一不同之處在于，ChatGPT 是基于 GPT3.5 的模型訓練的。
而 InstructGPT 還是有很多論文可以查閱的，由此我們可以搞清楚它的訓練過程。
臺大電機工程學系李宏毅副教授分享 4 個 ChatGPT 可能的訓練階段。
01
文字接龍
在最初的訓練過程中，它會像嬰兒一樣，通過捕捉人類的語言來學習說話。
你給它一個不完整的句子，比如“你好”。GPT 會想辦法猜出，接下來應該接哪一個字才是正確的。
例如，應該接“美”，組成“你好美”；還是接“啊”，組成“你好啊”……
當它學習時，會在網絡上收集大量的文字，它將隨便讀到的某一段文字拿下來，都足夠讓它學習說話。
但語言是復雜而多樣的，不完整的句子、詞匯后可以接的內容有很多種可能性，那么它是如何抽取詞匯來給你答案的呢？
實際上在對話時，它真正輸出的是一個幾率分布。
即，它在網絡上獲取到的頻率比較高的詞匯更有可能被抽取出來。
就這樣，GTP 擁有了跟人類對話的能力。
02
提供范例
它像新生的孩子剛剛學會說話，能夠自由地表達，沒有拘束。
也就是說，ChatGPT 給出的答案都是從網上讀到的，那么只要跟問題相關的句子，它都會作為答案給出來。
例如你問他“疫情是否會反復？”，他可能會說“誰來告訴我呀？”
顯然這并不是一個答案，而是在問題的基礎上衍生出的新問句。
這時，它就需要人類來提供標準的“答案”，作為范例給他學習正確的回答方式。
但其實 ChatGPT 根本不需要使用到大量人工標注的問題跟答案，目前用到的也只有幾萬則而已。
因為這些答案其實是 GPT 本來就有能力產生的，他只是無法辨別哪些答案是人類希望它產生的。
今天人類要做的事情，只是教會他，人類希望他給出什么答案。
03
人類把關
目前 Open AI 在開放 API 給大眾使用，這會讓非常多的人去問問題。
對于一個問題，GPT 會隨機生成好幾個答案，最終由人類來標注哪些是好的答案，哪些是差的答案。
04
老師模型
有了這些數據，就能訓練出一個“老師模型”來模仿人類的評分標準來給 GPT 提供的答案打分 (reward)。
最后，就可以通過增強式學習 (reinforcement learning) 來調整 GPT 的參數，最終目標是在老師模型這邊得到最高的 reward 。
相較于其他 AI 產品，OpenAI 花了很大力氣去人為調整它。
如調整其回答的“溫度”，不讓答案看起來過于像一個機器人，也不過分怪誕和天馬行空，使得ChatGPT回答問題的效果比之前市面上見到的聊天機器人都要好。
通過這種比較先進的算法架構，會整合盡可能多的的數據，匯集大量算力，使用集約化的訓練模式，從而供大量用戶使用。
如果今天我們要高程度地使用AI，就無需再做模型了，而是用已有的大模型，以一種服務方式提供給用戶。
這很可能會改變信息產業的格局，把AI應用帶入基于互聯網、云計算的大規模智能云階段。
ChatGPT 讓普通人第一次可以使用自然語言，通過這種跨越所有交互與數據操作之上的通用界面，對信息世界進行“編程”，并且獲得自己所需要的能力。
或許你認為它不過是使用了大規模語言模型，是“彎道超車”或者“也不過如此”，但是它仍舊非常難以超越。
簡單來說，即使其他團隊的算法、數據、算力都準備的與 OpenAI 相差無幾，但就是沒想到以一種精巧的方式把這些元素組裝起來。
沒有 OpenAI，全行業不知道還需要去趟多少坑。
而至于“大規模語言模型是AGI的必經之路嗎？” 我覺得即使是以此為目標的 OpenAI 也不敢打包票。
只能說，我們通過生成式 AI 認識到了一些新的東西，提高了對“智能”的理解。
今天我們站在了人工智能的入口，如霍金所說的，這是美麗新世界的入口。
人工智能的大門，已經打開。大門里面，是無數的機會。
你打算如何行動？繼續觀望 還是 參與其中？
希望每一個人都可以，擁抱變化，成為這場變化中，那個掌握命運的人。
哦對啦，想要跟我深入學習了解人工智能 AI 的，可以加小南??
并且，她還準備了 200個獨立賬號作為福利，送給想要學習的朋友，手慢無
