你好，我是王煜全，這里是王煜全要聞評論。
3月23日凌晨，就在英偉達GTC發布會后，老黃與OpenAI聯合創始人、首席科學家伊爾亞·蘇茨克維（Ilya Sutskeve）的訪談視頻也發布了出來。
伊爾亞可能很多人都不太了解，他的老師正是掀起了上一輪AI變革的Geoffrey Hinton，伊爾亞自己也是一路引領AI變革的研究者之一。
他是第一代卷積神經網絡AlexNet的發明人之一；2013年12月，隨著Hinton的研究公司DNNResearch被谷歌收購，伊爾亞也成為了谷歌的人工智能研究員，參與了Alpha Go的研發，見證了AI的第一輪爆發。
2015年，他離開谷歌參與創辦了OpenAI，并將他對AI大模型和語義理解上的洞見付諸實踐，最終成就了今天的GPT系列人工智能。
作為今天AI技術領域的領軍人物，老黃與伊爾亞的訪談，不但讓我們能以親歷者的視角，描繪出這輪變革的一個側面，也能讓我們看到一些AI技術前沿的新趨勢。
今天我就和大家分享從這段訪談中看到的三個關鍵點，一起看看AI變革都經歷了什么，未來有啥值得我們關注的。
第一點，科學范式與原理的變革充滿了靈光一閃和不確定，很難預測，只有站在技術前沿才能把握未來趨勢。
這段訪談總共55分鐘，我注意到伊爾亞經常提到「直覺」兩個字，從投身神經網絡研發，把卷積神經網絡用到圖像識別領域，以及GPT系列把參數規模作為突破口，他在AI技術每個關鍵節點的選擇，依賴的都是個人直覺。
這種直覺背后肯定有他常年研究積累下的「隱性知識」，比如談及為什么相信「AI模型大就是好」，他提到自己早年在圖像神經網絡上就觀察到，「更深更大」的神經網絡表現就是會好一些，他當時并不明白原因是什么，但事實讓他逐漸形成了這個信念。
這就是科技特訓營常說科學原理和范式突破總是階梯式發展的原因，每次大的突破背后總有某個研究者、科學家的靈光一閃，突破何時發生很難事前預料。
好在推動社會的核心力量是能讓科學成果普及化的技術，上游科學的突破很難被提前掌握，下游技術應用的趨勢卻是我們能夠看到的，無論是最早AlexNet在圖像識別上的成就，還是AlphaGo在圍棋上戰勝人類，抑或是ChatGPT上一代GPT-3的更優表現，這些都是能被觀察到的，它們背后的技術組合也是能被看到的，由此我們也就可以提前掌握技術發展的脈絡。
第二點，AI大模型這一輪變革，表面看起來是參數、規模涌現的結果，其實根源上還是「數據工程」。
聊起這輪AI大模型為什么會有如此好的表現，不懂行的人會告訴你這是AGI，通用人工智能出現了，了解一些的人會說這是模型參數規模增加后「涌現」的結果。
伊爾亞和老黃的對談中，簡單解釋了卷積神經網絡、GPU并行計算、小型循環神經網、情感神經元以及無監督學習等技術組合在一起的作用。
他在訪談中還提到一個很關鍵的地方，所有的方法最后都是為了讓AI找到數據中隱藏的關聯，以上所有的技術組合到一起，為的正是讓AI能在看到「你吃飯了沒？」這段話時，一個字接一個字的預測出接下來正確的回答是「吃了」或者「沒吃」。
伊爾亞在接受麻省理工學院計算機科學家lex fridman采訪時更詳細的解釋了這部分內容，當時他們聊到AI能從人類數據中，找到很多我們自己都沒有意識到的規律存在，但是如果數據不夠多，AI很容易就會出現過擬合，把一些不是規律的關聯當作線索，所以當時出現了很多為解決這個問題的工程優化方法。
直到Transformer模型出現，他們看到了讓AI穩定預測下一個字的技術，也借此開啟了超大數據集與超大模型匹配的訓練之路，而隨著GPT-4的預測精度更高，它不但交流水平有提升，在數學這個極度需要邏輯推理的領域，也有明顯進步。
了解完這段開發過程還是不禁讓我感慨，一方面是AI大模型的開發，看起來像科研，其實更像是一個「數據工程」，本質上是使用非常多的算法組合到一起，結合上正確的「訓練」方法，讓AI找到人類數據中一直未被大家找到的經驗邏輯。就是我們一直強調的，科研成果出現后要經歷漫長的性能調優過程。
另一方面，或許人類的智能并沒有想象中的復雜，認知科學領域一直有人腦是不是臺「預測機器」的爭論，今天人工智能領域的進展讓我們看到，至少在語義方面，預測下一個字更精確，就能得到更接近人類的語言能力，甚至是邏輯推理能力，隨著理解圖片的多模態能力集成上來，未來的表現更加難以預料了。
最后一點，下一輪AI的大變革，將如何發生？
訪談最后老黃提出了一個關于未來的問題，今天OpenAI在訓練大模型時雖然主要還是依賴人類數據，但已經開始用大模型來相互訓練，未來會不會像Alpha Zero一樣，只靠AI自己相互訓練就能得出一個更強的超級人工智能呢？
伊爾亞的回答比較謹慎，他認為AI自我訓練的可能性還有待觀察，但他認為AI未來必然會表現更好，影響更大。
一個很重要的原因是：在他看來雖然今天有不少技術上的進步，但20多年來人工神經網絡的架構并沒有太大的變化，訓練的基礎算法還是一樣的，只是今天變得更大、數據更多。
這些細微的調整就能取得這樣驚人的效果，未來也許只需要一些學習算法上的改進，訓練方法的優化，就能見到更大的突破出現。
你看了老黃和伊爾亞的對談嗎？你從中有哪些收獲呢？也歡迎你留言分享，我們一起看看AI還有哪些趨勢正在形成中。
