隨著時間的推移,AI聊天機器人越來越不好用這件事,似乎已經成為了全球用戶的共同體驗。其中例如微軟的Bing Chat,即使有著GPT-4的支持、并打開了創造力模式,也經常會出現經常回避問題或是無法給出回復的情況。在海外社交媒體Reddit上,就有諸多網友吐槽Bing Chat已經變得沒有樂趣可言,回答的內容不再風趣、不再快樂,讓人感覺是冷冰冰、沒有人性的機器。
更有甚者,在有用戶試圖要求Bing Chat圍繞某個虛構人物進行演繹時,在明知相關討論是無害的情況下,Bing Chat居然認為這一行為存在風險。事實上,微軟方面也承認了Bing Chat性能下降的事實,并在給出的相關回復中表示,正在積極監測用戶的反饋,并計劃在不久的將來做出改變、以解決相關問題。
其實自今年2月初內測以來,New Bing已經經過了大大小小的幾次更新,從一開始的“牛Bing”、到后來被“賽博閹割”成“New病”,再到現在提供精準、平衡、創造力三種模式,微軟方面一直在試圖做一款讓所有人滿意的AI大模型。但現在看來,似乎有點適得其反了,而ChatGPT這類大語言模型(下文簡稱為LLM)之所以能夠在2022年秋季開始走紅,在AI熱退燒之后重新點燃外界對于其未來的熱情,靠的就是ChatGPT比以往任何同類產品都更智能,或者說更像人。
無獨有偶,ChatGPT如今也開始被用戶吐槽逐漸出現了速度變慢、回復冗長重復、聊天主題單一無趣等問題。其實這類聊天機器人產品性能下降并非孤立事件,在不同廠商的LLM中都有發生。
事實上,業界也早已關注到這一現象。例如為了驗證ChatGPT的行為如何隨時間變化,斯坦福大學和加州大學伯克利分校的研究人員就測試了GPT-4在今年3月和6月的兩個版本,測試內容橫跨數學問題、回答敏感問題、代碼生成和視覺推理四個部分。
最終的測試結果也確實證明了ChatGPT能力的衰減,例如在數學和視覺推理部分,研究人員使用了思維鏈(chain-of-thought,CoT)技術,讓LLM來模擬人類思考的過程,并幫助其生成一個推理路徑,將復雜的推理問題分解為多個簡單的步驟,而不僅僅只是從語料庫中直接擬合出最終答案。
然而結果顯示,GPT-4的性能發生了顯著的漂移,從3月到6月,GPT-4關于數學問題的準確率一路從97.6%降至2.4%,同時回答長度也減少了超過90%。
而在視覺推理方面,6月的GPT-4在部分此前在3月曾正確回答的查詢上,反而又出現了錯誤。即對于3月能給出正確結果的問題,6月反而就做不到了。
如今相當多程序員每天都在使用的AI編寫代碼,但研究人員發現,在3月時GPT-4輸出的代碼中有超過50%是可直接執行的,可這一數字到了6月就僅有10%。而且這還不是最夸張的,在回答敏感問題方面,GPT-4的直接回答率已經從21%降至5%,甚至在拒絕回答不當問題時,6月版本的GPT-4也傾向于不向用戶提供解釋。
通常來說,事物的發展往往是呈螺旋形上升,具體到信息技術領域更呈現出了跨越式前進的狀態,“今不如古”的情況可以說是絕無僅有。那么問題就來了,出現“科研靠考古”這種情況只有一種可能,那就是行業整體曾崩潰過、如今又在重建。但AI大模型可是純粹的前沿科技,并不存在類似的問題,所以這其中肯定是有蹊蹺的。
目前在網絡上最主流的聲音,是ChatGPT、Bing Chat能力下降是為了平衡用戶體驗的結果。畢竟ChatGPT生成的內容是需要消耗算力的,用戶越多需要的算力就會隨之增加,但OpenAI、微軟購買算力資源的速度在這半年以來,卻無法與用戶增長相匹配,所以就導致了響應速度的下降,用戶得排隊向這類產品提問,而且提問數量被限制的情況也早已發生。所以在這種情況下,降低性能來平衡響應速度就是不難想到的一種解決方案。
當然,更深層次的核心矛盾是AI倫理問題,也就是數月前曾引起諸多討論的“AI可能給人類帶來滅絕風險”,對于AI的擔憂甚至讓OpenAI創始人奧特曼走上了美國參議院的聽證會,更讓他這幾個月來一直在全球各地“布道”。不受控制的AI會成為毀滅人類文明的罪魁禍首,這無疑是科幻小說的一個重要題材,因此對于AI失控的擔憂也是這一技術自誕生以來就存在的。
由此也衍生出了一個控制AI的概念“AI對齊”,即要求AI系統的目標要與人類的價值觀和利益對齊,使其符合設計者的利益預期,不會產生意外的有害后果,比如生成各種不當言論等內容。事實上,微軟、OpenAI這列企業搞AI對齊是必然,例如微軟在2016年發布的聊天機器人Tay就曾出現過發表種族歧視內容的情況,也直接導致它出師未捷身先死。
但強行讓AI遵守人類的價值觀本身就是反直覺的事情,想要讓AI與人類對齊,開發者就需要指定正確的目標函數,需要證實應當提供什么樣的反饋才能正確引導AI。此外甚至還需要證明提供這些反饋是合理的,而這無疑堪稱是當下難以解決的技術難題。那么問題也就來了,如果想要讓一個人不胡思亂想,并矯正其思維模式,最直接的方式是什么?當然是諾貝爾獎中的黑歷史前腦葉白質切除術了,直接就把人類的思維能力從物理層面消滅。
回到AI領域也是一樣,由微軟研究院發布的一篇論文證實對AI大模型所進行的任何AI對齊行為,都會損失其準確性和性能,因為ChatGPT這類產品是基于人類反饋的強化學習來構建智能,人工強行干預的AI對齊會阻礙大模型對任務理解的真實程度。所以自然而然的,AI大模型的性能就出現了開局即巔峰的情況。
但無論是算力緊張、還是AI倫理限制,短時間來看幾乎都是無解的,因此用戶體驗高開低走也是必然,相關企業也不太可能解決得了這一問題。
Redmi K60 至尊版再次詮釋“極致性價比”。