OpenAI 組建新團隊以控制「超級智慧」AI
總覽
OpenAI 是由 Ilya Sutskever 擔任首席科學家和聯合創始人之一的一個團隊，該團隊組建了一個新的團隊，旨在開發方法來引導和控制「超級智慧」AI 系統。根據 Sutskever 和 OpenAI 對齊團隊的主管 Jan Leike 在他們今天發表的部落格文章中的預測，具有超越人類智慧的 AI 可能在未來十年內到來。然而 Sutskever 和 Leike 表示這種 AI 不一定是善意的，因此需要進行研究以控制和約束它。
控制超級智慧的挑戰
作者們表示當前我們還沒有一種方法來控制和引導一個潛在的超級智慧 AI，以防止它變得不受控制。我們當前用於對齊 AI 的技術（例如從人類反饋中進行增強學習）依賴於人類監督 AI 的能力。然而當 AI 系統比我們聰明得多時，人類將無法可靠地監督 AI 系統。為了推動「超級智慧對齊」領域的進展，OpenAI 正在建立一個新的「超級對齊」團隊，由 Sutskever 和 Leike 共同領導，將獲得公司當前 20％的計算資源。這個團隊將由 OpenAI 先前的對齊部門的科學家和工程師以及來自公司其他機構的研究人員組成，旨在在未來四年內解決控制超級智慧 AI 的核心技術挑戰。
解決方法
這個團隊的高層目標是建立一個「在人類水平上自動化的對齊研究人員」，透過使用人類反饋來訓練 AI 系統，訓練 AI 系統來幫助評估其他 AI 系統，並最終建立能夠進行對齊研究的 AI。OpenAI 的假設是，AI 系統可以比人類更快更好地進行對齊研究。作者在先前的一篇部落格文章中曾說過：“隨著我們在這方面的進展，我們的 AI 系統可以接管我們越來越多的對齊工作，並最終設想、實施、研究和開發比我們現在更好的對齊技術。他們將與人類研究人員合作，確保他們的繼任者與人類更加一致。人類研究人員將更加專注於審查由 AI 系統完成的對齊研究，而不是透過自己進行這項研究。”
挑戰與前景
當然沒有一種方法是絕對確保無誤的 - （文章中其他人名）承認 OpenAI 的方法有諸多約束。他們說，使用 AI 進行評估可能會放大不一致性、偏見或漏洞。此外最困難的對齊問題可能與工程毫無關係。不過 Sutskever 和 Leike 認為值得一試。他們寫道：“超級智慧對齊基本上是一個機器學習問題，我們認為優秀的機器學習專家 - 即使他們當前不從事對齊領域的研究 - 對於解決這個問題至關重要。我們計劃廣泛分享這一努力的成果，把對齊和安全貢獻給非 OpenAI 模型視為我們工作的一個重要部分。”
結語
OpenAI 正在組建一個新的團隊來控制和引導「超級智慧」AI 系統。由於預計在未來十年內到來的具有超越人類智慧的 AI 可能會帶來潛在風險，OpenAI 認為有必要進行相關研究。該團隊的目標是透過建立自動化對齊研究人員來訓練 AI 系統，並與人類研究人員合作解決控制超級智慧 AI 的技術挑戰。然而使用 AI 進行評估可能會帶來一些挑戰，並且對齊問題的最困難之處可能與工程無關。這項努力的成功將有助於建立更為友好和可控的超級智慧 AI。OpenAI 還計劃將這一努力的成果廣泛分享，並為非 OpenAI 模型的對齊和安全做出貢獻。
延伸閱讀
- 柏林科技企業 trawa 籌得 1 千萬歐元，運用人工智慧協助中小企業更輕鬆購買可再生能源
- OpenAI 聯合創始人兼長期首席科學家 Ilya Sutskever 離職
- Google 將在 YouTube 學術影片中推出人工智慧生成的測驗
- Google 在 I/O 主題演講中提到「AI」超過 120 次
- 在人工智慧電影節上，人性戰勝科技
- AI 推動社會變革，女性呈現關鍵力量
- 開放 AI （OpenAI）的 ChatGPT 新聞發布：我們當前所知道的事情
- OpenAI 考慮允許 AI 色情內容？
- AI 晶片新創 DEEPX 以 5.29 億美元估值成功籌得 8000 萬美元 C 輪融資
- Fairgen「提振」調查結果，利用合成資料和人工智慧生成的回應
