來源：Coggle數據科學
大模型現存的問題和挑戰
1. 減少和度量幻覺：幻覺指的是AI模型虛構信息的情況，可能是創意應用的一個特點，但在其他應用中可能是一個問題。這個方向涉及減少幻覺和開發衡量幻覺的度量標準。
2. 優化上下文長度和構造：針對大多數問題，上下文信息是必需的，文章介紹了在RAG（Retrieval Augmented Generation）架構中優化上下文長度和構造的重要性。
3. 整合其他數據形式：多模態是強大且被低估的領域，文章探討了多模態數據的重要性和潛在應用，如醫療預測、產品元數據分析等。
4. 使LLMs更快、更便宜：討論了如何使LLMs更高效、更節約資源，例如通過模型量化、模型壓縮等方法。
5. 設計新的模型架構：介紹了開發新的模型架構以取代Transformer的嘗試，以及挑戰和優勢。
6. 開發GPU替代方案：討論了針對深度學習的新硬件技術，如TPUs、IPUs、量子計算、光子芯片等。
7. 使代理人更易用：探討了訓練能夠執行動作的LLMs，即代理人，以及其在社會研究和其他領域的應用。
8. 提高從人類偏好中學習的效率：討論了從人類偏好中訓練LLMs的方法和挑戰。
9. 改進聊天界面的效率：討論了聊天界面在任務處理中的適用性和改進方法，包括多消息、多模態輸入、引入生成AI等。
幻覺是一個廣受關注的話題，指的是當AI模型編造信息時發生的情況。在許多創造性的應用場景中，幻覺是一種特性。然而，在大多數其他用例中，幻覺是一個缺陷。一些大型企業近期在關于大型語言模型的面板上表示，影響企業采用LLMs的主要障礙是幻覺問題。
要了解更多關于幻覺的信息，可以參考以下文獻：
大部分問題需要上下文信息。例如，如果我們詢問ChatGPT：“哪家越南餐廳最好？”，所需的上下文將是“在哪里”，因為越南在越南和美國的最佳越南餐廳不同。
多模態是非常強大但常常被低估的概念。它具有許多優點：
其中一個特別令人興奮的用例是，多模態可以幫助視障人士瀏覽互聯網和導航現實世界。
當GPT-3.5于2022年底首次發布時，很多人對在生產中使用它的延遲和成本表示擔憂。這是一個復雜的問題，牽涉到多個層面，例如：
訓練成本：訓練LLMs的成本隨著模型規模的增大而增加。目前，訓練一個大型的LLM可能需要數百萬美元。
推理成本：在生產中使用LLMs的推理（生成）可能會帶來相當高的成本，這主要是因為這些模型的巨大規模。
解決這個問題的一種方法是研究如何減少LLMs的大小，而不會明顯降低性能。這是一個雙重的優勢：首先，更小的模型需要更少的成本來進行推理；其次，更小的模型也需要更少的計算資源來進行訓練。這可以通過模型壓縮（例如蒸餾）或者采用更輕量級的架構來實現。
盡管Transformer架構在自然語言處理領域取得了巨大成功，但它并不是唯一的選擇。近年來，研究人員一直在探索新的模型架構，試圖超越Transformer的限制。
新的架構可能會在性能、訓練效率、推理速度等方面帶來改進，但也需要更多的研究和實驗來驗證其實際效果。
當前，大多數深度學習任務使用GPU來進行訓練和推理。然而，隨著模型規模的不斷增大，GPU可能會遇到性能瓶頸，也可能無法滿足能效方面的要求。
TPUs（張量處理器）：由Google開發的專用深度學習硬件，專為加速TensorFlow等深度學習框架而設計。
IPUs（智能處理器）：由Graphcore開發的硬件，旨在提供高度并行的計算能力以加速深度學習模型。
量子計算：盡管仍處于實驗階段，但量子計算可能在未來成為處理復雜計算任務的一種有效方法。
光子芯片：使用光學技術進行計算，可能在某些情況下提供更高的計算速度。
這些替代方案都有其獨特的優勢和挑戰，需要進一步的研究和發展才能實現廣泛應用。
研究人員正在努力開發能夠執行動作的LLMs，也被稱為代理人。代理人可以通過自然語言指令進行操作，這在社會研究、可交互應用等領域具有巨大潛力。
指令理解和執行：確保代理人能夠準確理解和執行用戶的指令，避免誤解和錯誤。
多模態交互：使代理人能夠在不同的輸入模態（文本、語音、圖像等）下進行交互。
個性化和用戶適應：使代理人能夠根據用戶的個性、偏好和歷史進行適應和個性化的交互。
這個方向的研究不僅涉及到自然語言處理，還涉及到機器人學、人機交互等多個領域。
從人類偏好中學習是一種訓練LLMs的方法，其中模型會根據人類專家或用戶提供的偏好進行學習。然而，這個過程可能會面臨一些挑戰，例如：
數據采集成本：從人類偏好中學習需要大量的人類專家或用戶提供的標注數據，這可能會非常昂貴和耗時。
標注噪聲：由于人類標注的主觀性和誤差，數據中可能存在噪聲，這可能會影響模型的性能。
領域特異性：從人類偏好中學習的模型可能會在不同領域之間表現不佳，因為偏好可能因領域而異。
研究人員正在探索如何在從人類偏好中學習時提高效率和性能，例如使用主動學習、遷移學習、半監督學習等方法。
