Google 發表了利用影片和大型語言模型來訓練機器人的新方法
Google DeepMind Robotics 團隊最新研究成果
Google 近日發表了一篇部落格文章,介紹了他們的 DeepMind Robotics 團隊正在進行的最新研究,旨在讓機器人更好地理解我們人類對它們的期望。傳統上,機器人注重反覆執行單一任務,但即使專注在單一目標,當環境變化或出現錯誤時,它們也會遇到困難。為此,DeepMind Robotics 團隊宣布了一個名為 AutoRT 的系統,旨在利用大型語言模型來完成不同的任務。
AutoRT 的應用
AutoRT 利用視覺語言模型 (VLM) 提供更好的情境認知,能夠管理一群裝置配備攝影機的機器人,獲取環境的布局和其中的物體訊息。同時大型語言模型 (LLM) 則建議了硬體可以完成的任務,包括其末端效應器。這意味著機器人能夠更有效地理解更為自然的語言指令,減少了對硬性編碼技能的需求。
AutoRT 已經在過去的七個月中進行了大量測試,最多能夠同時統籌 20 臺機器人和總共 52 個不同的裝置。DeepMind 共收集了超過 77,000 次測試,包括超過 6,000 個任務。
RT-Trajectory 系統
此外 DeepMind 團隊還推出了 RT-Trajectory 這一新系統,利用影片輸入來進行機器人的學習。許多團隊正在探索使用 YouTube 影片來大規模訓練機器人,而 RT-Trajectory 新增了一個有趣的層面,將臂膀在操作中的 2D 走向覆蓋在影片之上。
DeepMind 團隊表示這種形式的 RGB 影像軌跡為模型提供了低階別的實用視覺提示,幫助模型學習其控制策略。訓練結果顯示,RT-Trajectory 與 RT-2 訓練相比,成功率翻倍,達到了 63%,而測試 41 個任務,成功率達到 29%。
技術應用與展望
RT-Trajectory 利用現有機器人資料集中豐富的機器人運動訊息,不僅是前進建立能夠在新情況下以精確的準確性移動的機器人的一步,而且解鎖了現有資料集的知識。
這一系列新方法的應用和技術展望對於機器人技術發展有著重要的意義,同樣也對於未來智慧科技和機器學習領域具有深遠的影響。這些創新的方法無疑將為機器人領域帶來更大的可能性和發展空間。
總結與建議
以上介紹的新技術方法顯示了機器人技術在不斷發展和突破的過程中,對於人工智慧、大型語言模型和影片訓練的整合應用,對於我們理解和利用機器人的潛力提供了嶄新的可能性。
然而在這一過程中,我們也需要關注相應的倫理和風險議題,機器人技術的應用與發展應該是以人類的利益和安全為優先考量。只有在平衡利弊,加固監管管理的情況下,機器人技術的應用才能夠為社會帶來更多的利益和便利。
這些新技術的應用前景廣闊,同時也需要我們共同來關注和探索。
Google DeepMind Robotics 團隊最新研究成果
Google 近日發表了一篇部落格文章,介紹了他們的 DeepMind Robotics 團隊正在進行的最新研究,旨在讓機器人更好地理解我們人類對它們的期望。傳統上,機器人注重反覆執行單一任務,但即使專注在單一目標,當環境變化或出現錯誤時,它們也會遇到困難。為此,DeepMind Robotics 團隊宣布了一個名為 AutoRT 的系統,旨在利用大型語言模型來完成不同的任務。AutoRT 的應用
AutoRT 利用視覺語言模型 (VLM) 提供更好的情境認知,能夠管理一群裝置配備攝影機的機器人,獲取環境的布局和其中的物體訊息。同時大型語言模型 (LLM) 則建議了硬體可以完成的任務,包括其末端效應器。這意味著機器人能夠更有效地理解更為自然的語言指令,減少了對硬性編碼技能的需求。 AutoRT 已經在過去的七個月中進行了大量測試,最多能夠同時統籌 20 臺機器人和總共 52 個不同的裝置。DeepMind 共收集了超過 77,000 次測試,包括超過 6,000 個任務。RT-Trajectory 系統
此外 DeepMind 團隊還推出了 RT-Trajectory 這一新系統,利用影片輸入來進行機器人的學習。許多團隊正在探索使用 YouTube 影片來大規模訓練機器人,而 RT-Trajectory 新增了一個有趣的層面,將臂膀在操作中的 2D 走向覆蓋在影片之上。 DeepMind 團隊表示這種形式的 RGB 影像軌跡為模型提供了低階別的實用視覺提示,幫助模型學習其控制策略。訓練結果顯示,RT-Trajectory 與 RT-2 訓練相比,成功率翻倍,達到了 63%,而測試 41 個任務,成功率達到 29%。技術應用與展望
RT-Trajectory 利用現有機器人資料集中豐富的機器人運動訊息,不僅是前進建立能夠在新情況下以精確的準確性移動的機器人的一步,而且解鎖了現有資料集的知識。 這一系列新方法的應用和技術展望對於機器人技術發展有著重要的意義,同樣也對於未來智慧科技和機器學習領域具有深遠的影響。這些創新的方法無疑將為機器人領域帶來更大的可能性和發展空間。總結與建議
以上介紹的新技術方法顯示了機器人技術在不斷發展和突破的過程中,對於人工智慧、大型語言模型和影片訓練的整合應用,對於我們理解和利用機器人的潛力提供了嶄新的可能性。 然而在這一過程中,我們也需要關注相應的倫理和風險議題,機器人技術的應用與發展應該是以人類的利益和安全為優先考量。只有在平衡利弊,加固監管管理的情況下,機器人技術的應用才能夠為社會帶來更多的利益和便利。 這些新技術的應用前景廣闊,同時也需要我們共同來關注和探索。MachineLearning-Google,機器學習,影片訓練,語言模型,機器人,技術新方法
延伸閱讀
- Google 為 Android 打造了一些最早期的社交應用程式,包括 Twitter 和其他應用
- OpenAI 揭開 AI 祕密指令的面紗
- Google 為 iPhone 使用者帶來「圈選搜尋」新變化
- Google 錢包正式登陸印度市場
- Google 新推出預算款 Pixel 8a,更新硬體配置,售價 499 美元
- 獨家專訪:Wayve 聯合創始人 Alex Kendall 談車輛和機器人的自主未來
- 深潛至海底者:機器學習揭開抹香鯨的「字母表」
- 突破獨家訪談:Wayve 共同創辦人 Alex Kendall 談自動駕駛汽車和機器人的未來
- Google 稱 Epic 在反壟斷訴訟勝訴後的要求「不必要」和「超出判決範圍」
- Google 擴大 Passkey 支援,提前爲美國總統大選加固保護計畫