使用大型語言模型實現開放式、互動式和個性化的機器人導航
進一步提升機器人導航的靈活性
在機器人與使用者和周圍物體互動上，擁有更大彈性的應對方式是理想的。最近，一種名為「零樣本互動式個性化導航」（Zero-shot Interactive Personalized Object Navigation，ZIPON）的機器人技術近期引起了研究界的重視。這種方法利用先進的計算技術，使機器人代理能夠在未知環境中與之前未見過的物體進行互動，並對各種提示做出反應。雖然一些技術取得了令人鼓舞的成果，但它們通常只能讓機器人找到一般類別的物體，而無法利用自然語言處理來理解使用者的提示並找到特定物體。
開發新的計算框架：ORION
密歇根大學的研究人員最近提出了一種新的框架，旨在增強機器人在探索開放式環境並達到個性化導航的能力。他們的框架使用大型語言模型（Large Language Models，LLMs），使機器人能夠更好地回應使用者的請求，例如定位特定附近的物體。這個團隊在其論文中寫道：“現有的零樣本互動式個性化導航主要集中在按照個別指令尋找通用物體類別，忽略了自然語言互動和識別特定使用者物件的複雜性。為理解決這些約束，我們引入了零樣本互動式個性化導航（ZIPON）的概念，其中機器人需要在與使用者對話的同時導航至個性化目標物體。”
ORION 框架的組成
在他們的論文中，這個團隊首先介紹了一項名為 ZIPON 的新任務，它是 ZSON 的延伸形式，能夠準確回應個性化提示並找到特定的目標物體。研究人員試圖開發一個計算框架來有效地解決這個任務。該框架由六個關鍵模組組成：控制模組、語義地圖模組、開放詞彙偵測模組、探索模組、記憶模組和互動模組。控制模組使機器人能夠在周圍移動，語義地圖模組索引自然語言，開放詞彙偵測模組使機器人能夠根據語言描述來檢測物體。然後，機器人使用探索模組在周圍環境中搜尋物體，同時將從使用者那裡接收到的重要訊息和反饋儲存在記憶模組中。最後互動模組使機器人能夠與使用者交談，口頭回應他們的請求。
ORION 框架的實驗結果
研究團隊使用 TIAGo，一種具有兩隻手臂的移動移動機器人，在模擬和實際實驗中評估了他們的框架。他們的研究結果令人鼓舞，因為他們的框架成功地提高了機器人在尋找特定附近物體時利用使用者反饋的能力。研究人員解釋：“實驗結果表明，能夠利用使用者反饋的互動代理的效能有了顯著提高。然而要在任務完成和導航互動效率之間取得良好的平衡對於所有方法來說都具有挑戰性。對於代理的效能，不同形式的使用者反饋對其影響的更多發現。”
新模型的發展可能
雖然 ORION 框架在改善未知環境下機器人的個性化導航方面顯示出潛力，但團隊還發現同時確保機器人完成任務、順利導航未知環境並與使用者良好交流之間的平衡極其具有挑戰性。未來，這項研究可能為完成 ZIPON 任務的新模型提供指導，從而解決團隊提出的框架的一些缺點。研究人員在其論文中寫道：“這項工作只是我們探索個性化導航中使用 LLMs 的初步步驟，並存在著一些約束。例如，它無法處理更廣泛的目標型別，如影象目標，也不能解決與現實世界的多模態互動。我們未來的努力將在這些方面進行擴充套件，以提升機器人在人類世界中的適應能力和多樣性。”
延伸閱讀
- 「Linkup：合法串接大型語言模型與頂級內容來源的全新突破！」
- 麻省理工學院推出大型語言模型啟發的機器人技能教學新方法！
- Kapa 利用大型語言模型提升企業解答技術問題的可靠性！
- HerculesAI 早在大型語言模型風靡前就已展開合作
- Snapchat 的全新功能幫助使用者量身定制他們的帳戶
- 藍天現在讓你使用新的控制功能個性化主要的發現 Feed
- Webflow 併購 Intellimize，加入 AI 動力頁面個性化
- 大型語言模型可幫助家庭機器人在無需人類幫助的情況下恢復錯誤
- 機敏行動：Agility 使用大型語言模型與其人形機器人進行溝通
- 如何使用 GenAI 將自傳轉化為互動式黑人歷史課程
