研究引入高效學習方法改善四足動物跳躍能力
概述
據《科技探索》網站於 2023 年 7 月 27 日報導，浙江大學的研究人員在《IET Cyber-Systems and Robotics》期刊的特別專題中，發表了一項研究成果。研究人員進行了四足機器人的運動和控制方面的實驗，並利用傳統的基於模型的控制器操作的機器人資料預訓練了神經網路（NN）。隨後，研究團隊採用了一種前瞻性的基於深度強化學習（DRL）的學習方法，從而提升了四足機器人的跳躍表現。這一研究帶來了極大的影響，可以提升四足機器人在室內和室外多種環境中的靈活性和適應性。
研究內容
浙江大學的研究團隊首先利用傳統控制器操作的機器人資料對神經網路進行了預訓練，以防止行為覆蓋和獎勵駭客的出現。預訓練的目的是防止最佳化達到區域性最優解而不是預期解，這是一種常見的情況，即代理人意外地獲得獎勵。在進行了預訓練後，研究團隊採用深度強化學習方法，這是一種在四足運動控制方面具有前瞻性的學習方式。
研究團隊設計了一個考慮接觸點和階段的獎勵函數，以實現步態的對稱性和周期性，從而提升了四足機器人的跳躍表現。首先在模擬環境中學習的 DRL 方法，隨後在真實機器人上進行了測試。該機器人名為 Jueying Mini，該機器人在室內和室外多種環境中進行了跳躍測試，體現了高效的運算能力和優越的跳躍表現。研究團隊發現，他們開發的控制方法在模擬和現實環境中均能產生穩健的跳躍步態，這對於提升機器人在各種室內和室外環境中的靈活性和適應性具有重大的意義。
展望
該研究團隊將在未來的研究中將當前的方法與環境感知工具（如相機或鐳射雷達系統）進行整合。雖然這些工具在當前的研究中沒有被使用，但它們可以提供機器人更準確的定位和越野跳躍的導航能力。此外浙江大學的另一項研究著眼於利用控制力矩陀螺儀（CMG）提高雙足機器人的穩定性，特別是在高速運動中。雙足機器人在速度增加時往往面臨平衡和抗干擾的困難。這一創新的 CMG 輔助策略增強了機器人對衝擊的抵抗能力和快速恢復平衡的能力。模擬結果證實了 CMGs 提高機器人穩定性的有效性。這一創新的 CMG 應用方法代表了雙足機器人技術的一大飛躍，未來計劃進一步整合 CMGs 以提高雙足機器人在高速運動場景中的實際效能。
評論與啟示
這項研究成果體現了機器人技術不斷取得的進步。透過結合傳統控制器和深度強化學習方法，研究團隊成功地提升了四足機器人的跳躍表現，並實現了穩健的運動控制。這一研究為未來機器人在室內和室外多樣環境中的應用提供了重要的指引。同時另一項研究的創新應用 CMGs 進一步提升了雙足機器人的穩定性，解決了在高速運動中的平衡和抗干擾問題。
從這些研究中，我們可以看到人類控制系統和機器學習方法的結合對於改進機器人效能的重要性。傳統控制器提供了穩定的基礎，而深度強化學習方法則以學習能力和適應性進一步提升了機器人的動作控制能力。這種結合可以應用於各種不同的機器人任務，包括搜救、勘測、物流等領域。
然而這些研究還有一些約束。例如，研究中並未考慮環境感知工具的使用，這可能會導致實際機器人的定位和導航不夠準確。此外雖然使用 CMGs 可提高雙足機器人的穩定性，但這可能會增加機器人的複雜性和成本。
總而言之，這項研究成果為機器人技術的發展帶來了新的啟示。透過不斷改進機器人運動和控制方式，我們可以實現更強大、靈活和適應性強的機器人。未來的研究應該進一步探索控制系統和機器學習方法的結合，並解決實際機器人應用中的挑戰，從而促進機器人技術的應用和普及。
