新方法：在強化學習中進行智慧決策
由《智慧計算》發表的一篇新論文介紹了在複雜且動態的環境中進行智慧決策的強化學習的主要挑戰。強化學習是一種機器學習的方法，其中代理透過與環境互動並獲得回報或懲罰來學習做出決策。代理的目標是透過確保在不同情況下採取的最佳行動來最大化長期回報。然而南京大學的陳陽吳和張宗張的研究人員認為，僅依賴回報和懲罰的強化學習方法無法實現學習、感知、社互動動、語言、泛化和模仿等智慧能力。
當前強化學習方法的短板
在他們的論文中，吳和張指出了當前強化學習方法的短板。其中一個主要問題是需要透過反覆試驗來收集大量訊息。與人類可以利用過去的經驗進行推理並做出更好的選擇不同，當前的強化學習方法嚴重依賴代理在大規模上重複嘗試來學習如何執行任務。在處理涉及多個不同因素影響結果的問題時，代理需要嘗試大量的例子來找到最佳方法。如果問題稍微變得複雜，需要的例子數量快速增長，使代理無法高效執行。更糟糕的是，即使代理擁有確保最佳策略所需的所有訊息，找到它仍然非常困難和耗時。這使得學習過程變得緩慢和低效。統計效率和計算效率的不足，妨礙了從頭開始實現普遍強化學習的實用性。當前的方法缺乏所需的效率，無法充分發揮強化學習在無需大量計算資源的情況下發展多樣能力的潛力。
克服挑戰的新方法
吳和張認為，可以透過存取觀察中的高價值訊息來克服統計和計算挑戰。這樣的訊息可以使策略改進僅透過觀察而不需要直接互動。想象一下代理透過玩圍棋來學會下圍棋需要多長時間——換句話說，透過試驗和錯誤。然後想像一下，代理透過閱讀圍棋手冊來學習，利用高價值訊息。顯然，從訊息豐富的觀察中學習的能力對於高效解決複雜的現實任務非常重要。高價值訊息具有兩個明顯特點使其與眾不同。首先它不是獨立且相同分佈的，這意味著它涉及複雜的相互作用和相依性，使其與過去的觀察有所區別。為了充分理解高價值訊息，必須考慮它與過去訊息的關係並認識到它的歷史背景。高價值訊息的第二個特徵是其與具有計算意識的代理的相關性。擁有無限計算資源的代理可能會忽視高層次的策略，僅依賴基本層次的規則來獲得最佳方法。這些代理忽視了較高層次的抽象，可能引入不準確性，將計算效率置於準確性之上。只有具有計算權衡意識並能夠欣賞計算效益訊息價值的代理才能有效利用高價值訊息的好處。
新方法中的代理設計
為了使強化學習有效利用高價值訊息，代理必須以新的方式設計。根據將智慧決策形式化為“有限最佳終身強化學習”的理論基礎，吳和張確保了代理設計中的三個基本問題：
克服訊息流的非獨立且相同分佈的特性，並在不斷變化的訊息流中獲取知識。
這需要將過去和未來存取起來，將連續的訊息流轉換為將來有用的知識。然而有限的計算資源使得無法記住和處理整個互動歷史。因此需要一種結構化的知識表示和線上學習算法來逐步組織訊息並克服這些約束。
在有限資源的情況下支援高效的推理。
首先促進理解、預測、評估和操作的通用知識在計算約束下已不再足夠。為了應對這一挑戰，高效的推理需要一種結構化的知識表示利用問題的結構幫助代理以特定於問題的方式進行推理，這對計算效能至關重要。推理過程的第二個方面是線序決策。這在指導代理確保其行動、處理訊息和發展有效的學習策略方面起著至關重要的作用。因此元層推理變得必要，以最大化計算資源的利用。第三，在成功的推理中，代理需要有效地將其內部能力與從外部觀察中獲取的訊息相結合。
確保推理目標以確保代理追求長期回報並避免僅由短期利益驅使。
這被稱為探索-利用困境。它涉及在探索環境以獲取新知識和利用現有訊息的最佳策略之間找到平衡。從計算的角度來看，這個困境變得更加複雜，因為代理資源有限，必須在探索替代計算方式和利用現有方法之間取得平衡。在複雜環境中探索一切是不可行的，代理依靠現有知識對未知情況進行概括。解決這個困境需要將推理目標與代理的長期利益相一致。
總結
強化學習是一種強大的機器學習方法，可以使機器代理在與環境互動的過程中學習如何做出智慧決策。然而基於回報和懲罰的強化學習方法存在一些約束，無法實現更高層次的智慧能力。吳和張提出了一種新的方法，透過存取觀察中的高價值訊息來克服這些約束。在這種方法中，代理的設計變得至關重要，需要解決訊息流的特性、高效推理和探索-利用困境等問題。
社論與建議
這項研究提供了一種新的方法，使強化學習能夠更高效地進行智慧決策。透過存取高價值訊息，代理可以在不需要大規模反覆試驗的情況下學習如何執行任務。這將大大提高強化學習的效率和實用性。
然而這種新方法還處於研究階段，有許多問題需要進一步研究和解決。例如，如何確保什麼樣的訊息是高價值的？如何設計代理以有效地利用高價值訊息？這些問題需要更多的研究和實驗來回答。
對於在強化學習領域工作的研究人員和工程師來說這項研究提供了啟示，可以改進現有的強化學習方法。他們可以採用新的代理設計原則，開發更高效、更智慧的強化學習算法。這將有助於解決當前強化學習方法所面臨的挑戰，並推動人工智慧技術的進步。
此外政府和產業界也應該重視強化學習的研究和應用。這項研究的成果將有助於提升機器學習和人工智慧在各行各業中的應用。政府可以在資金和資源方面支援相關的研究專案，促進學術界和行業界之間的合作。同時產業界可以透過投資和實施相應的技術來推動強化學習技術的應用。
強化學習是人工智慧領域的重要研究方向之一。透過不斷的研究和創新，我們有望開發出更高效、更智慧的強化學習算法，並取得更大的突破。這將使我們能夠更好地應對現實世界中的複雜任務，並在各個領域實現人工智慧的應用。
延伸閱讀
- 非洲 B2B 電子商務初創企業可以從 OmniRetail 的盈利奧祕中學到什麼
- 微軟的 Windows 11 Copilot 新增外掛和技能，更智慧了
- 從 Glasswing 的 Rudina Seseri 在 TechCrunch Early Stage 2024 學習如何實現年營收達到 100 萬美元
- Silverfort 募資 1.16 億美元，市值衝破 10 億美元，其整體身份安全方法引發關注
- AI 尚未邪惡或智慧，但不可逆地無所不在
- Kyron Learning 獲得 1,460 萬美元資金，擴大其會話式人工智慧技術
- 解讀 Epic-Google 反壟斷案件：本週我們學到的 5 件事
- 蘋果的日記應用程式是有一點智慧也有一點基本
- AI 智商靠近及透過圖靈測試，當它成功後又會發生什麼？
- 研究人員運用強化學習訓練 AI，成功擊敗街頭霸王冠軍玩家
