強化學習讓水下機器人能夠定位和追蹤水下物體
簡介
一個研究團隊首次展示，應用於自主車輛和水下機器人的強化學習 ─ 即一種基於一系列獎勵來學習最佳行動方式的神經網路，能夠定位並精準追蹤海洋物體和動物。這項研究的詳情已發表在《科學機器人學》期刊上。如今水下機器人技術正成為瞭解海洋的重要工具，尤其在探索海洋困難重重的情況下，這些機器人能夠下潛至 4000 米深的深海。它們所提供的現場資料有助於補充其他來源的資料，例如衛星獲取的資料。這項技術能夠研究小尺度現象，比如海洋生物對二氧化碳的吸收，有助於調節氣候變化。
強化學習在水下機器人應用的意義
這項研究透露，強化學習不僅在控制和機器人領域得到廣泛應用，而且在自然語言處理相關工具的開發中也具有重要作用（如 ChatGPT）。這項技術使水下機器人能夠在任何時刻學習執行的行動，以實現特定目標。這些行動策略在某些情況下與甚至優於傳統的基於分析開發的方法。
研究的主要作者伊萬·馬斯密特伊表示："這種學習方式使我們能夠訓練一個神經網路來最佳化特定任務，否則將非常困難。例如，我們已經證實可以最佳化水下車輛的軌跡，以定位和追蹤水下移動的物體。"這將使我們能夠更深入地研究眾多海洋物種的生態現象，例如遷徙或小尺度和大尺度運動，並使用自主機器人。此外這些進展還將實現透過機器人網路實時監測其他海洋觀測儀器，其中一些機器人可以在海洋表面進行監測，透過衛星傳輸在海牀上執行的機器人平臺的行動。
應用和技術細節
研究人員在進行這項研究時使用了遠端聲學技術，這種技術可以透過不同點的距離測量來估計物體的位置。然而這種方式高度依賴聲波距離測量的位置，在定位物體的準確性上存在很大的差異。這就是人工智慧應用，特別是強化學習的重要性所在，它可以識別最佳測量點，從而找到機器人執行的最優軌跡。
研究人員在訓練神經網路時部分使用了位於巴塞羅那超級計算中心（BSC-CNS）的計算機群，該處設有西班牙最強大和歐洲其中一個最強大的超級計算機。研究的作者之一，巴塞羅那高等理工學院（UPC）電腦科學系的馬裏奧·馬丁教授指出："這使我們能夠更快地調整不同算法的引數，比使用常規計算機更快。"研究人員在完成訓練後，在包括 VICOROB 開發的 AUV Sparus II 等不同自主車輛上進行了測試，並在與蒙特雷灣水族研究所（MBARI）生物啟發實驗室負責人卡卡尼·卡蒂亞的合作下，在聖費裏佩爾吉克斯港（Baix Empordà）和蒙特雷灣（加州）進行了一系列實驗。
未來研究方向
研究團隊在未來的研究中將研究將相同的算法應用於解決更複雜的任務的可能性。例如，使用多個車輛定位物體、檢測介面和熱滯流，或透過多平臺強化學習技術協作進行藻類上升。這項研究為水下機器人在海洋研究和監測方面的應用開拓了新的可能性。
評論與建議
技術突破為海洋研究帶來新希望
強化學習在水下機器人應用的突破為海洋研究帶來了新的希望。傳統的方法對於定位和追蹤水下物體往往存在約束，而神經網路的強化學習使得機器人能夠在海洋深處進行準確的定位和跟蹤。這將有助於我們更深入地瞭解海洋生物的遷徙、行為以及氣候變化等現象。
技術挑戰與風險
然而我們也需要意識到，這項技術在實際應用中仍然面臨一些挑戰。例如，如何在不同的海洋環境中實現準確的定位和跟蹤仍然是一個難題。海洋環境的複雜性和不確保性使得這項任務更加困難。此外人工智慧的應用也可能帶來一些風險，例如機器人對環境的依賴程度增加可能導致生態破壞。
可持續利用技術的重要性
在探索這項技術的潛力的同時我們應該始終將可持續性納入考慮。聯合國的可持續發展目標中，海洋保護被視為重要議程之一。因此確保機器人技術的可持續利用對於保護海洋生態系統至關重要。此外加固國際合作和知識共享也是研究這一領域的關鍵。僅靠單一國家或機構的努力無法應對全球範圍內的海洋挑戰。
結論
強化學習技術在水下機器人應用中的突破為海洋研究開創了新的可能性。研究人員展示了神經網路強化學習在定位和追蹤水下物體方面的優勢。然而我們應該對技術的挑戰和風險有所認識，並確保其可持續性利用以促進海洋保護。加固國際合作和知識共享將是未來研究的關鍵。最重要的是，我們需要將科學和技術的進步與倫理和可持續發展原則相結合，以營造一個可持續而和諧的海洋環境。
