擴增實境開發者的全新工具：ARGUS
背景
擴增實境（Augmented Reality，簡稱 AR）技術自從誕生以來就一直吸引著科學界和大眾的關注，在現代科幻作品中也扮演著重要的角色。為了開發更先進的 AR 助手，如能夠引導複雜手術或日常食物烹飪等，在紐約大學 Tandon 工程學院的研究團隊推出了一個名為 ARGUS 的擴增實境引導和使用者建模系統。作為一個互動式視覺分析工具，ARGUS 旨在支援開發者建立執行於 Microsoft HoloLens 2 或 MagicLeap 等裝置上的智慧 AR 助手。它使開發者能夠收集和分析資料，建模人們執行任務的方式，並找到和修正正在建立的 AR 助手中的問題。
ARGUS：全新的開發者工具
克勞迪奧·席爾瓦（Claudio Silva）是紐約大學 Tandon 工程學院電腦科學和工程學研究所教授，也是紐約大學資料科學中心資料科學教授，他帶領的研究團隊將在 2023 年 10 月 26 日於澳大利亞墨爾本舉行的 IEEE VIS 2023 會議上發表有關 ARGUS 的論文。該論文在該活動的最佳論文獎中獲得了榮譽提名。
席爾瓦教授說：“想像一下，你正在開發一個 AR 人工智慧助手，可以幫助家庭廚師準備餐點。使用 ARGUS，開發者可以監視廚師在處理食材時的操作，以評估 AI 在理解環境和使用者操作方面的表現，系統如何向使用者提供相關的指示和反饋。這個工具專為這類 AR 系統的開發者所設計。”
ARGUS 以兩種模式執行：實時模式和離線模式。實時模式用於當 AR 系統在使用時的實時監控和偵錯，開發者可以看到 AR 系統所看到的內容以及它如何解釋環境和使用者操作。他們還可以調整設定並記錄資料以供後續分析。離線模式用於分析 AR 系統生成的歷史資料，提供了探索和視覺化這些資料的工具，幫助開發者瞭解系統在過去的行為。
ARGUS 的離線模式由三個主要元件組成：資料管理器、空間檢視和時間檢視。這些元件共同促進全面的資料分析和偵錯功能。
資料管理器
資料管理器幫助使用者組織和過濾 AR 會話資料。開發者可以根據需要應用篩選器來檢視檢索到的會話列表。這有效地幫助開發者快速找到特定 AR 會話所需的資料，提高工作效率。
空間檢視
空間檢視提供了 AR 環境中空間互動的三維視覺化。它展示了代表物理環境的世界點雲、眼睛和手的三維位置點以及凝視投影和熱點圖。渲染控制器允許使用者選擇他們希望看到的空間檢視元素。這使得開發者能夠更好地理解 AR 系統如何處理空間中的互動。
時間檢視
時間檢視聚焦於 AR 會話期間的行為和物件的時間進展。影片播放器是使用者選擇的當前時間戳的主要相機影片輸出。時間控制器控制影片播放器並同步更新模型輸出檢視器的內容。模型輸出檢視器顯示在執行時使用的機器學習模型（推理和感知）的輸出。這使得開發者能夠全面理解 AR 會話期間的時間性質並分析模型輸出。
席爾瓦教授表示：“ARGUS 在提供全面的實時監控和回顧分析方面非常獨特，能夠處理複雜的多模態資料。它整合了空間和時間視覺化工具，使其成為改進智慧助理 AR 系統的解決方案，提供了其他工具所不具備的功能。”
ARGUS 的研究成果已經在 arXiv 預印庫上發表，並且是開放原始碼的，可以在 GitHub 上找到。
評論與建議
ARGUS 的問世將為擴增實境開發者帶來許多便利和新的可能性。它提供了全面的工具集，讓開發者可以更好地理解 AR 系統的行為和表現，並找到並修復可能存在的問題。
然而雖然 ARGUS 為開發者提供了強大的偵錯和分析功能，但在實際使用中仍需謹慎應用。開發者應該適度使用 ARGUS 的功能，以免對使用者的隱私造成侵犯。同時由於 ARGUS 是一個相對複雜的工具，開發者需要進行足夠的培訓和學習以確保能夠適應和充分利用其功能。
對於擴增實境技術的應用來說 ARGUS 無疑是一個重要的創新，為開發者提供了一個全面的分析和偵錯平臺。未來，我們可以預見 ARGUS 將不斷發展和改進，以更好地滿足開發者的需求，推動擴增實境技術的發展和應用範圍的擴大。
延伸閱讀
- Sanlo 科技遊戲新創公司的網購工具或幫助開發者避免高昂的應用商店費用
- BigPanda 釋出針對 IT 運維的生成式人工智慧工具
- 英特爾等公司承諾為企業打造開放生成式人工智慧工具
- 科技巨頭廣告透明度工具仍然糟糕，Mozilla 研究報告發現
- Meta 的 X 競爭對手 Threads 邀請開發者註冊 API 存取權，並發布檔案
- Fireworks.ai 開源 API 讓生成式人工智慧適用於任何開發者
- 虎眼創辦人借鏡前創業經驗打造商業模擬工具
- 藍天網罩住知名第三方應用 Graysky 的開發者
- DoorDash 推出 AI 強化的「SafeChat+」工具，自動檢測言語虐待
- Pinterest 推出「體型範圍」工具登陸美國
