在元宇宙中實現平滑化角色和使用者同步的新框架
引言
隨著科技的日益發展，人類與科技之間的鴻溝不斷縮小。許多研究人員和公司對於如何將技術進一步融入我們的生活中非常感興趣。然而有一些研究者走得更遠，他們希望將自己融入到虛擬環境之中，而不是將技術融入到我們的現實世界。新加坡科技與設計大學（SUTD）的助理教授熊澤輝正是希望在他的研究中實現這一點。
研究目標
熊澤輝與新加坡南洋理工大學和中國廣東工業大學的研究人員合作，合作的成果是一篇預印本論文，名為《基於視覺語義通訊的元宇宙服務：一種競爭理論方法》。這項研究將在 2023 年 12 月的 IEEE 全球通訊大會上發表。研究的核心關注點是元宇宙的概念，即一個虛擬現實（VR）宇宙，使用者可以透過控制角色與虛擬環境進行互動。在這個世界中，人們可以透過他們的角色與其他人見面，存取虛擬地點，甚至進行線上購物。從某種意義上說，元宇宙希望超越我們現實世界的極限。
挑戰
元宇宙服務普及的一個挑戰是需要實現人類行為與角色響應的實時同步。熊澤輝解釋說：“在元宇宙中，角色必須根據使用者的行為進行更新和渲染。但是實現實時同步非常複雜，因為它對元宇宙服務提供商的渲染資源分配方案提出了很高的要求”。元宇宙服務提供商（MSP）要承擔大量的資料傳輸負荷，這些資料需要在使用者和伺服器之間傳遞。體驗越沉浸式，資料負荷越大。那些進行快速動作的使用者（比如跑步或跳躍）更有可能在角色的平滑度方面遇到問題，因為元宇宙服務提供商無法跟上他們的節奏。
資源分配方案
熊澤輝和他的團隊提出了一個新的框架，以最佳化 MSP 中的資源分配，從而確保所有使用者都可以獲得流暢且身臨其境的體驗。這個方案使用了一種名為“人體姿態估計（HPE）”的語義通訊技術，首先減少使用者的訊息負載。然後使用競爭理論，將資源在使用者之間進行最有效的分配，讓使用者裝置競爭獲得足夠的資源來模擬他們的角色。
人體姿態估計（HPE）
HPE 透過將攝像機捕捉到的人類動作轉換成角色動作來實現無縫的角色-使用者介面。攝像機捕捉到的影象中包含許多與模型虛擬角色無關的背景訊息。HPE 的算法將背景訊息濾去，僅保留骨骼關節的訊息。基於關節訊息，算法可以重構一個簡單的類似人形的模型，並將其傳送到 MSP。這個簡化的模型指導 MSP 對角色進行建模。透過這種方法，熊澤輝和他的團隊成功將資料負荷從兆位元組級減少到了位元組級。
競爭理論的應用
為了測試是否有卡頓現象，研究人員使用競爭理論來模擬 MSP 和使用者網路之間的互動。在這個模擬中，使用者（或者說他們的裝置）被看做是爭奪 MSP 資源的競爭者。算法旨在在有限的資源量上最小化所有使用者的延遲，同時個別裝置根據使用者的行動決定自己的更新速率。該算法透過計算不同更新速率下的角色位置之間的差異來測試是否存在卡頓問題。出現卡頓問題的使用者的 HPE 模型和他們的角色之間會有很大的差異。同時 MSP 的資源被視為給表現好且沒有卡頓的競爭者的獎勵。
機器學習的應用
面對復雜的任務，研究團隊使用了機器學習。一個名為深度 Q 網路（DQN）的神經網路對資源分配進行最佳化。在這個框架下，研究團隊的努力帶來了整體延遲改善了 66%，相比傳統方法有了長足的進步。
結論與展望
熊澤輝對元宇宙的未來充滿了希望，他認為醫療保健、教育和市場銷售等領域都有可能從元宇宙服務中受益。他表示：“我最期待的一些發展包括將生成式人工智慧和虛擬現實等尖端技術整合起來以及全球數位和虛擬經濟的增長。看到這些發展如何塑造元宇宙的未來將是令人興奮的。”
該研究成果已發表在 arXiv 預印本服務上。
延伸閱讀
- 《FTC 發放 7200 萬美元賠償金 給 Fortnite 玩家的意外購買救濟》
- Meta 的 Hyperscape：探索現實空間的虛擬實境新境界！
- 《Google 憑藉皮克斯角色引導孩子微笑，新的"你看著我"遊戲來襲！》
- iFixit 框架的可維修性理念將擴充套件至筆記型電腦以外
- Rivian CEO RJ Scaringe 接手 EV 製造商的最高產品角色
- 3D 生成人工智慧平臺 Atlas 現身，獲得 600 萬美元投資加速虛擬世界建設
- 深入探索標記資料在機器學習中的角色
- 超越約 50,000 小時！這款 AI 現在能玩《寶可夢紅版》了
- 探討英特爾 Pallavi Mahajan 在網路和邊緣計算中的人工智慧角色
- 頂級玩家尋求放鬆，熱衷於手機遊戲和觀賞直播 | Tinuiti
