Google DeepMind 與多校聯合研究：UniSim 模擬現實為訓練 AI 系統開創可能
概述
Google DeepMind 與加州伯克利分校、麻省理工學院和阿爾伯塔大學合作，開發出了一種新的機器學習模型，可以建立逼真的模擬，用於訓練各種 AI 系統。這一模型被稱為 UniSim，是一個生成型 AI 系統，可以模擬人類與世界中的代理之間的互動。它可以模擬高層次指令（如“開啟抽屜”）和低層次控制（如“按 x、y 移動”）的視覺結果。UniSim 的能力有潛力成為需要複雜真實世界互動的領域，例如機器人和自動駕駛車。
背景
UniSim 的研究人員希望透過建立一個“真實世界互動的通用模擬器”，在生成模型的下一個裏程碑，模擬對人類、機器人和其他互動代理的行動做出逼真體驗。“我們提議將豐富的資料結合在一個條件影片生成框架中，這些資料涵蓋了從網際網路文字 - 影象對到導航、操控、人類活動、機器人和模擬和渲染的運動和行為豐富的資料，”研究人員寫道。
UniSim 的特點
UniSim 使用了來自模擬引擎、現實世界機器人資料、人類活動影片和影象描述對的資料集進行訓練。然而不同資料格式的多樣性給訓練模型帶來了很大的挑戰。為了應對這一挑戰，研究人員首先將所有不同的資料集轉換成統一的格式，利用轉換模型將文字描述和非視覺模態（如運動控制和攝像頭角度）建立嵌入。他們訓練了一個擴散模型，以編碼描繪行動的視覺觀察。然後，他們將擴散模型與嵌入進行條件聯絡，將觀察、行動和結果存取起來。
一旦訓練完畢，UniSim 可以生成各種逼真的影片，包括人們執行動作和環境中的導航。它還可以執行長期模擬，例如機器人手執行一系列多個動作。生成的示例表明，UniSim 在這些長期模擬中成功保持了場景和其中包含的物體的結構。此外 UniSim 還可以生成“隨機環境轉換”，例如，在一塊布或毛巾下展示不同的物體。在計算機視覺應用中模擬假設情況和不同的場景時，這種能力特別有用。
UniSim 的應用
UniSim 這種真實世界模擬器有許多潛在應用，從遊戲和電影中的可控內容建立到純模擬訓練代理人直接在現實世界中部署。UniSim 還可以補充 DeepMind 最新的 RT-X 模型等視覺語言模型（VLM）的進展。VLM 代理人在執行複雜的多步任務時需要大量真實世界資料。研究人員證實了 UniSim 可以為 VLM 策略生成大量的訓練資料。他們聲稱：“我們使用 UniSim 訓練高層次的視覺語言規劃器和低層次的增強學習策略，這兩者在僅在一個學習的真實世界模擬器中進行訓練後都能實現零轉移至實際世界。”這種方法還可以應用於其他型別的模型，例如影片字幕模型，這些模型可以從在 UniSim 中的模擬體驗中受益。
此外 UniSim 還可以模擬罕見事件，這在機器人和自動駕駛汽車應用中非常有用，因為資料收集可能既具有成本又具有風險。雖然未提供精確的 UniSim 訓練成本數位，但研究人員承認“UniSim 需要大量計算資源進行訓練，類似於其他現代基礎模型。儘管存在這一劣勢，但我們希望 UniSim 能引起廣泛的興趣，並應用於增強機器智慧。”
延伸閱讀
- 微軟人工智慧進軍倫敦，由前 Inflection 和 Deepmind 科學家 Jordan Hoffmann 領軍的新據點
- AI 影片生成競爭升溫：Deepmind 前員工推出 Haiper
- DeepMind 釋出最新 AI，能夠解決幾何問題
- 本週 AI 新聞：我們能相信 DeepMind 是個道德的嗎？
- DeepMind 的「非凡」新人工智慧掌控各種機器人
- DeepMind 研發的「驚人」新人工智慧掌控各式機器人
- DeepMind 聯合創辦人對於 AI 的「自以為是」評論感到厭倦
- LLMs 驚人地擅長壓縮影象和音訊，DeepMind 研究人員發現
- DeepMind 發現 AI 大型語言模型能夠最佳化自身提示
- DeepMind 搭上 Google Cloud 合作，為 AI 生成影象新增數位浮水印
