Google 發表了利用影片和大型語言模型來訓練機器人的新方法
Google DeepMind Robotics 團隊最新研究成果
Google 近日發表了一篇部落格文章，介紹了他們的 DeepMind Robotics 團隊正在進行的最新研究，旨在讓機器人更好地理解我們人類對它們的期望。傳統上，機器人注重反覆執行單一任務，但即使專注在單一目標，當環境變化或出現錯誤時，它們也會遇到困難。為此，DeepMind Robotics 團隊宣布了一個名為 AutoRT 的系統，旨在利用大型語言模型來完成不同的任務。
AutoRT 的應用
AutoRT 利用視覺語言模型 (VLM) 提供更好的情境認知，能夠管理一群裝置配備攝影機的機器人，獲取環境的布局和其中的物體訊息。同時大型語言模型 (LLM) 則建議了硬體可以完成的任務，包括其末端效應器。這意味著機器人能夠更有效地理解更為自然的語言指令，減少了對硬性編碼技能的需求。
AutoRT 已經在過去的七個月中進行了大量測試，最多能夠同時統籌 20 臺機器人和總共 52 個不同的裝置。DeepMind 共收集了超過 77,000 次測試，包括超過 6,000 個任務。
RT-Trajectory 系統
此外 DeepMind 團隊還推出了 RT-Trajectory 這一新系統，利用影片輸入來進行機器人的學習。許多團隊正在探索使用 YouTube 影片來大規模訓練機器人，而 RT-Trajectory 新增了一個有趣的層面，將臂膀在操作中的 2D 走向覆蓋在影片之上。
DeepMind 團隊表示這種形式的 RGB 影像軌跡為模型提供了低階別的實用視覺提示，幫助模型學習其控制策略。訓練結果顯示，RT-Trajectory 與 RT-2 訓練相比，成功率翻倍，達到了 63%，而測試 41 個任務，成功率達到 29%。
技術應用與展望
RT-Trajectory 利用現有機器人資料集中豐富的機器人運動訊息，不僅是前進建立能夠在新情況下以精確的準確性移動的機器人的一步，而且解鎖了現有資料集的知識。
這一系列新方法的應用和技術展望對於機器人技術發展有著重要的意義，同樣也對於未來智慧科技和機器學習領域具有深遠的影響。這些創新的方法無疑將為機器人領域帶來更大的可能性和發展空間。
總結與建議
以上介紹的新技術方法顯示了機器人技術在不斷發展和突破的過程中，對於人工智慧、大型語言模型和影片訓練的整合應用，對於我們理解和利用機器人的潛力提供了嶄新的可能性。
然而在這一過程中，我們也需要關注相應的倫理和風險議題，機器人技術的應用與發展應該是以人類的利益和安全為優先考量。只有在平衡利弊，加固監管管理的情況下，機器人技術的應用才能夠為社會帶來更多的利益和便利。
這些新技術的應用前景廣闊，同時也需要我們共同來關注和探索。
Google DeepMind Robotics 團隊最新研究成果
Google 近日發表了一篇部落格文章，介紹了他們的 DeepMind Robotics 團隊正在進行的最新研究，旨在讓機器人更好地理解我們人類對它們的期望。傳統上，機器人注重反覆執行單一任務，但即使專注在單一目標，當環境變化或出現錯誤時，它們也會遇到困難。為此，DeepMind Robotics 團隊宣布了一個名為 AutoRT 的系統，旨在利用大型語言模型來完成不同的任務。AutoRT 的應用
AutoRT 利用視覺語言模型 (VLM) 提供更好的情境認知，能夠管理一群裝置配備攝影機的機器人，獲取環境的布局和其中的物體訊息。同時大型語言模型 (LLM) 則建議了硬體可以完成的任務，包括其末端效應器。這意味著機器人能夠更有效地理解更為自然的語言指令，減少了對硬性編碼技能的需求。 AutoRT 已經在過去的七個月中進行了大量測試，最多能夠同時統籌 20 臺機器人和總共 52 個不同的裝置。DeepMind 共收集了超過 77,000 次測試，包括超過 6,000 個任務。RT-Trajectory 系統
此外 DeepMind 團隊還推出了 RT-Trajectory 這一新系統，利用影片輸入來進行機器人的學習。許多團隊正在探索使用 YouTube 影片來大規模訓練機器人，而 RT-Trajectory 新增了一個有趣的層面，將臂膀在操作中的 2D 走向覆蓋在影片之上。 DeepMind 團隊表示這種形式的 RGB 影像軌跡為模型提供了低階別的實用視覺提示，幫助模型學習其控制策略。訓練結果顯示，RT-Trajectory 與 RT-2 訓練相比，成功率翻倍，達到了 63%，而測試 41 個任務，成功率達到 29%。技術應用與展望
RT-Trajectory 利用現有機器人資料集中豐富的機器人運動訊息，不僅是前進建立能夠在新情況下以精確的準確性移動的機器人的一步，而且解鎖了現有資料集的知識。 這一系列新方法的應用和技術展望對於機器人技術發展有著重要的意義，同樣也對於未來智慧科技和機器學習領域具有深遠的影響。這些創新的方法無疑將為機器人領域帶來更大的可能性和發展空間。總結與建議
以上介紹的新技術方法顯示了機器人技術在不斷發展和突破的過程中，對於人工智慧、大型語言模型和影片訓練的整合應用，對於我們理解和利用機器人的潛力提供了嶄新的可能性。 然而在這一過程中，我們也需要關注相應的倫理和風險議題，機器人技術的應用與發展應該是以人類的利益和安全為優先考量。只有在平衡利弊，加固監管管理的情況下，機器人技術的應用才能夠為社會帶來更多的利益和便利。 這些新技術的應用前景廣闊，同時也需要我們共同來關注和探索。MachineLearning-Google,機器學習,影片訓練,語言模型,機器人,技術新方法
延伸閱讀
- Google 稱 Epic 在反壟斷訴訟勝訴後的要求「不必要」和「超出判決範圍」
- Google 擴大 Passkey 支援，提前爲美國總統大選加固保護計畫
- Google 裁員 Flutter、Dart 和 Python 團隊，開發者大會前數週 in traditional Chinese
- Google 裁員 Flutter、Dart 和 Python 工程師，開發者大會前夕訊息爆發
- GitHub 推出 Copilot Workspace：AI 驅動的軟體工程空間
- Google 推出新功能“口語練習”，利用人工智慧幫助使用者提高英文能力
- Google 支援的 Glance 在美國試點推出 Android 鎖定屏平臺
- Google 解僱 28 名員工，因為他們爭議性的 Project Nimbus 合同與以色列引發的靜坐抗議
- 印度加快步伐抑制 PhonePe 和 Google 在手機支付領域的壟斷
- Google 雲端大會：Google 全力開發生成式人工智慧
