When you purchase through links on our site, we may earn an affiliate commission, Here's how itworks.
Rumors are circulating that OpenAl is about to drop a new model this week andit could be our first sighting of the highly anticipated 'Project Strawberry' - areasoning-focused Al.
Trying, to follow artificial intelligence topics on social media over the past fewdays brought back memories of strawberry picking with my parents as a child.Every account has been dropping pictures ofthe fruit - including OpenAl CEOSam Altman.
OpenAl將于在本周推出一款新模型，這是Open AI首次讓大家看到備受期待的“草莓計劃”-一這個草莓計劃款是專注于推理的人工智能。
01/
Open AI-草莓計劃
“草莓項目是'Q大模型的前生”
1、草莓計劃
“草莓計劃”項目是OpenAI為了提升GPT大模型的的推理能力，在復雜科學和數學問題的能力得到了充分提升。主要是通過專門的“后訓練”方法與借鑒類似STaR的技術，OpenAI希望在模型推理能力上的大幅度提升，然后推動大模型加上迭代。這個項目的核心在于讓大模型不僅能夠生成查詢答案，還能進行提前規劃，實現自主、可靠地瀏覽互聯網進行“深度研究”的能力。
2、Open AI-“Q計劃”是什么？
但是我看了國外很多媒體報道，說這次的“草莓”可能是一個代號，因為“草莓的”的前身是基于Q*算法模型，更準確地說是Q star項目，是OpenAI在大模型的突破性進展，我記得我之前有寫過專欄解釋Q計劃的文章。它是基于Q學習算法打造的新模型，是通向AGI超級智能的重大突破。
它是采用了一種叫做“過程監督”的技術，將解決問題的過程分解成若干個步驟，從而提高算法的準確性和可靠性。它在解決復雜科學和數學問題的能力是非常強大的。大家都知道數學作為生成式AI發展的基礎，掌握數學能力對于AI模型來說意味著更強的推理能力，這是目前大語言模型普遍缺乏的，也是OpenAI希望通過“草莓”項目來實現的突破。而且Q大模型能夠理解和生成自然語言或代碼的多模態語言模型，這對于GPT迭代更新確實是一個重大利好。
02/
Open AI-草莓計劃關鍵部分
“后訓練”
草莓”項目的一個關鍵組成部分是專門的“后訓練”方法。這種方法在生成式AI模型已經通過大量數據集進行預訓練的基礎上，進一步調整模型以提高其在特定任務上的表現。幾個關鍵步驟：微調、人類反饋強化學習、推理步驟的生成與篩選（類似于斯坦福大學開發的STaR）、反向推理機制、性能“磨煉”。例如STaR是允許AI模型通過反復創建自己的訓練數據來“引導”自己進入更高的智能水平，理論上可以實現超越人類的智能。
OpenAI目前還公布了未來AI發展的五級路線圖。大家可以看下圖。這五級路線圖包括從基礎的語言理解和生成，到復雜的邏輯推理、自主決策和創造性工作等多個方面的進展。
03/
Open AI-草莓計劃推理能力有多強？
“接近人類”
大廠都普遍質疑LLM的推理能力。
現在谷歌與微軟都在嘗試不同方法想提高LLM語言大模型的推理能力。就連大佬圖靈LeCun都堅決認為，LLM是不沒有像人類一樣的的推理能力，但是這項技術真的讓Open AI做成了。你們說是不是不可思議。
推理能力超越人類
據多個消息源透露，“草莓”項目的推理能力已經超越人類水平，現在很多市場的聲音，經常對大語言模型能否實現類人推理的能力表示懷疑。項目的前身Q*曾展示過解決前所未見數學問題的強大能力，這次又用“后訓練的方法”在需要時主動獲取和整合信息，從而更全面地理解和解決問題。
“草莓”模型不僅能夠生成用戶查詢的答案，還能夠提前規劃并自主可靠地在互聯網上導航，以執行“深度研究”。這種能力使得模型能夠像人類一樣，更全面地理解和解決問題。這種自主性和規劃能力對于AI在復雜任務中的應用具有重要意義。
技術方法的創新
后訓練方法：“草莓”項目采用了專門的“后訓練”方法，包括對基礎模型的微調和人類反饋強化學習（RLHF）。這種方法上面已經解釋過了。
自學推理方法：“草莓”項目可能與斯坦福大學提出的“自學推理者”（STaR）方法相似。STaR方法通過讓模型自己生成推理步驟和答案，并篩選出正確的樣本作為新的訓練數據，從而不斷提升模型的推理能力。這種方法是不依賴于大規模人工標注的數據集，而是通過自舉的方式讓模型自己學會推理。
這次Open AI“草莓”項目對于推理需求提升無疑是一個指數級增長的指引。未來大客戶微軟的用戶一定會大幅度上升，Open AI現在的推理算力無疑是不夠用的。
今天傳出NV-I-D-IA的Bl-a-c-k-w-e-ll芯片問題已經徹底解決好，良率據說60%，但事實上這種大卡的良率普遍在30到40%，希望大家有自己的判斷。10月左右就可以量產了，Q4月產量15萬片。KY-EC已被要求按時擴大測試設備容量，所以整體來說是可以供應全球的算力需求，當然未來國產的“草莓”大模型也會橫空出世。
