新聞報導：大型語言模型面臨的問題與尋求解決方案
挑戰：大型語言模型的不確保性和缺乏推理能力
近日認知科學家 Gary Marcus 和 AI 先驅 Douglas Lenat 發表了一篇論文，探討將大型語言模型（LLMs）應用於實際應用中所面臨的挑戰。他們認為，要使 LLMs 成為可信賴的工具，需要解決其不可預測性、缺乏推理能力和難以解釋性等問題。他們提出了 16 個對於可信賴的通用 AI 的要求，其中大部分要求與「知識、推理和世界模型」有關，而這些方面在 LLMs 中並沒有得到很好的處理。缺乏人類的思考能力
Marcus 和 Lenat 指出，LLMs 缺乏人類擁有的緩慢而深思熟慮的推理能力，而更多地操作於我們快速且無意識的思考方式，這可能導致不可預測的結果。他們提出了一種理論上可以解決這些約束的替代 AI 方法，即「以精心挑選的具體知識和經驗法則進行教育的 AI，使推理引擎能夠自動推匯出所有這些知識的邏輯必然性。」LLMs 的缺陷
Lenat 和 Marcus 在論文中指出，雖然 AI 不需要像人類一樣思考，但要在「錯誤成本較高」的情況下獲得信任，它必須具備 16 種能力。LLMs 在這些領域中存在困難。例如，AI 應該能夠「解釋每個回答的推理過程」，並追蹤其在推理過程中引入的每個知識和證據的來源。雖然一些提示技術可以從 LLMs 中引出推理的外觀，但這些能力在最好的情況下也不太可靠，稍微深入挖掘一下就可能出現矛盾。 Lenat 和 Marcus 還討論了演繹、歸納和類比推理作為能夠使 LLMs 能夠調查其自身決策的能力，發現其陳述中的矛盾之處，並在無法從邏輯上得出結論時做出最佳決策。作者們還提到類比作為當前 LLMs 中重要的缺失元素。人們在交談中經常使用類比來傳達訊息或使複雜的主題易於理解。智慧推斷的理論和心理理解
另一個重要的能力是「心智理論」，即 AI 應該擁有對對話者的知識和意圖的模型，以引導其互動行為，並能夠在不斷學習使用者行為的過程中更新自己的行為。Marcus 和 Lenat 還強調 AI 需要對自身擁有一個模型。它必須理解「它自己是什麼，它當前在做什麼以及為什麼這樣做」，並且必須對「自己所知道和不知道的事物、自己能夠和不能夠做的事情以及與使用者的『契約』當前是什麼」等有一個良好的模型。值得信賴的 AI 系統必須能夠在決策過程中考慮上下文，並能夠區分在當前情境下可接受或不可接受的行為或回應。上下文可以包括環境、任務和文化等因素。Cyc 的經驗教訓和與 LLMs 的結合
Lenat 於 1984 年創立了 Cyc，這是一個基於知識的系統，提供了一個全面的本體論和知識庫，供 AI 用於推理。與當前的 AI 模型不同，Cyc 建立在人類所錄入的現實世界知識，包括常識、事實和經驗法則的明確表示上。它包含了數千萬條由人類輸入的訊息，以便軟體能夠進行快速推理。一些科學家將 Cyc 描述為一個失敗和死胡同。也許它最重要的約束是它依賴人工勞動來擴充套件其知識庫。相比之下，LLMs 能夠隨著資料和計算資源的可用性而擴充套件。但到當前為止，Cyc 已經實現了一些成功的應用，並為 AI 社區帶來了重要的教訓。 在最初的幾年裡，Cyc 的建立者們意識到擁有一種表達性強的表示語言的重要性。「即，一個值得信賴的通用 AI 需要能夠表示人們相互之間說的或寫的幾乎任何東西。」Lenat 和 Marcus 寫道。描述陳述和規則的建立
到 20 世紀 80 年代末，Cyc 的建立者們開發出了 CycL，一種用於表示 AI 系統陳述和規則的語言。CycL 已經發展成為用於為推理系統提供輸入的語言。儘管 Cyc 具有數千萬條手寫規則，但它可以「由於其已知的一些訊息，僅透過一步推理生成數十億個新的推論結論」，作者寫道。「只需再進行幾步推理，Cyc 就可以推匯出數萬億個預設真實的語句。」建立一種運算式語言以便能夠推斷事實上是不可能找到一個捷徑的，這就是作者們的觀點。 作者們批評了在龐大的原始文字資料上訓練 LLMs 的當前方法，希望它們可以逐步發展出自己的推理能力。人們在日常交流中經常遺漏的大部分隱含訊息在這些文字語料庫中是缺失的。因此 LLMs 將學會模仿人類語言，而無法對其所說的內容進行強有力的常識推理。將 Cyc 和 LLMs 結合起來
Lenat 和 Marcus 承認 Cyc 和 LLMs 都有其局限性。一方面，Cyc 的知識庫不夠深入和廣泛。它的自然語言理解和生成能力不如 Bard 和 ChatGPT，也不能像最先進的 LLMs 那樣快速推理。另一方面，科學家們寫道：「當前基於 LLMs 的聊天機器人更多地是記憶和口述，而不是理解和推斷。它們在某些方面表現出色，但大部分 16 種能力仍有改進的空間。」作者們提出了一種 Cyc 的知識豐富、推理豐富的符號系統與 LLMs 相結合的方案。他們建議兩個系統可以共同解決「幻覺」問題，即 LLMs 發出的看似合理但事實上是錯誤的陳述。例如，Cyc 和 LLMs 可以相互檢查並質疑對方的輸出，從而減少幻覺的可能性。這一點尤為重要，因為大部分常識知識沒有明確地在文字中記錄，因為它是被普遍理解的。Cyc 可以利用其知識庫生成此類未在 LLMs 的訓練資料中註冊的隱含知識。知識和推理來解釋輸出
作者們建議使用 Cyc 的推斷能力，基於其知識庫中的明確訊息生成數十億個「預設真實的語句」，作為訓練未來 LLMs 更加偏向常識和正確性的基礎。此外 Cyc 可以用來核對輸入到 LLMs 進行訓練的資料，並過濾出任何虛假訊息。作者還建議「Cyc 可以利用對輸入文字的理解來新增一個語義前饋層，從而擴充套件 LLMs 的訓練範圍，進一步使 LLMs 更加偏向真實和邏輯必然。」這樣，Cyc 可以向 LLMs 提供知識和推理工具，逐步解釋其輸出，提高其透明度和可靠性。另一方面，LLMs 可以被訓練將自然語言句子翻譯成 CycL，這是 Cyc 所理解的語言。這可以實現兩個系統之間的交流，並有助於以更低的成本為 Cyc 生成新的知識。混合人工智慧
Marcus 表示他支援混合人工智慧系統，將神經網路和符號體系結合在一起。Cyc 和 LLMs 的結合可以是實現混合人工智慧系統願景的一種方式。作者們總結說：“人們已經開發出兩種非常不同的 AI 型別已經幾代人了，現在每種 AI 都足夠先進並且可以獨立應用，但是兩種型別之間存在著合作的機會，也許還可以與機率推理和處理不完整知識的其他新進展共同推進，使我們朝著一個值得信賴的通用 AI 邁進一步。”ArtificialIntelligence-人工智慧專案,LLM,數十年,益處
延伸閱讀
- 資料控制平臺 Atlan 獲得 1.05 億美元投資，LLM 提升資料重要性
- Reddit 測試使用基於 LLM 的人工智慧進行自動整站法語翻譯
- FTC 禁止競爭約束條款可能對新創公司有益，但也可能被推翻
- Meta 宣布其 Llama 3 開源 LLM 將在下個月推出
- 阿裏巴巴員工透露中國建立 LLM 的生活點滴
- Google 推出兩款新的開放 LLM
- 微軟 CEO 納德拉談 AI LLM 競爭：「我們正在等待競爭對手到來」
- 5 個步驟確保新創公司成功部署 LLM
- You.com 推出新的 API 來將 LLM 存取至網路
- Ghost 以 OpenAI 支援，宣稱 LLM 將克服自駕車挑戰—專家卻持懷疑態度
