流暢的角色-使用者同步在元宇宙中的新框架
背景
移動手機、智慧手錶和耳機是我們經常攜帶而不經思考的小玩意兒。隨著數位化的世界日益壯大，人類與技術之間的隔閡越來越小，許多研究人員和公司對如何進一步融合技術到我們的生活中感到興趣。如果我們不是將技術納入我們的現實世界，而是將自己融入虛擬環境中呢？這正是新加坡科技設計大學（SUTD）的熊澤輝助理教授在他的研究中希望實現的目標。元宇宙與角色同步的挑戰
元宇宙是一個虛擬現實（VR）宇宙，使用者可以透過他們的角色來操縱虛擬環境。在這個世界裡，人們可以透過他們的角色與其他人見面，參觀虛擬場所，甚至進行網上購物。從某種意義上說，元宇宙希望超越我們現實世界的約束。 眾多人接受元宇宙服務的一個挑戰是實現人類行動和角色回應之間的實時同步。熊澤輝解釋道：“在元宇宙中，必須更新和呈現角色以反映使用者的行為。但要實現實時同步非常複雜，因為這對元宇宙服務提供者的渲染資源分配方案提出了很高的要求。”元宇宙服務提供者承擔著傳輸大量資料的巨大負擔，體驗越沉浸，資料載荷就越大。進行快速動作（例如奔跑或跳躍）的人更有可能遇到角色流暢度不足的問題，因為元宇宙服務提供者的工作量很大。通常的解決方案是約束單個虛擬環境中的使用者數量，以確保元宇宙服務提供者有足夠的資源或頻寬來模擬所有使用者的活動，而不考慮他們是否活動。 但這種方法非常低效，因為靜止不動的使用者將享有他們不需要的多餘資源。只有那些有大幅移動的使用者才需要對他們的角色進行不斷的更新，因此需要多餘的頻寬。問題則是如何在不浪費資源的情況下分配資源？最佳化資源分配的新框架
熊澤輝和他的團隊提出了一個新的框架，以最佳化元宇宙服務提供者中的資源分配，以確保所有使用者都能享受流暢和沉浸式的體驗。該方案使用了一種稱為“人體姿態估計”（HPE）的語義通訊技術，首先減少使用者的訊息載荷。然後，使用比賽理論來選擇在使用者之間最有效的資源分配，使用者裝置爭奪足夠的資源來模擬他們的角色。 流暢的角色-使用者介面的第一步需要對元宇宙服務提供者進行訊息的高效編碼。考慮到攝像機捕捉人體動作並將其轉化為角色動作的情況。攝像機捕捉的每張影象都包含了對建模虛擬角色不起作用的多餘背景訊息。在 HPE 中，計算機的任務是將人類識別為目標，並高亮顯示只有骨骼關節。基於這些關節，算法可以重建一個簡單的類似火柴人的模型，然後將其傳送給元宇宙服務提供者。這個卡通形象指導元宇宙服務提供者模擬角色的動作。在研究中，熊澤輝和他的團隊成功將資料開銷從兆位元組降低到位元組級別，節省了百萬倍。 有了這樣大量的頻寬節省，團隊接著使用比賽理論來建模元宇宙服務提供者和使用者的互動。在這種方法中，使用者（或者說他們的裝置）被看作是爭奪元宇宙服務提供者資源的競爭者。該算法旨在在一定的可用資源量上最小化所有使用者之間的延遲。同時每個裝置根據使用者的行動決定自己的更新速率。該算法透過測量不同更新速率下角色位置的差異來檢測延遲。遇到延遲問題的使用者的 HPE 模型與他們的角色之間會有很大的差異。同時將元宇宙服務提供者的資源視為給表現良好且沒有延遲的競爭者的獎勵。然而每個使用者仍然需要能夠準確地推斷出從元宇宙服務提供者請求的正確資源量。面對這個複雜的任務，團隊轉向使用機器學習。一種名為深度 Q 網路（DQN）的神經網路最佳化資源分配。在這個框架下，與傳統方法相比，團隊努力在所有使用者中實現了 66%的延遲改善。展望和結論
熊澤輝對元宇宙的未來表示樂觀，並提到醫療保健、教育和銷售等領域可能從元宇宙服務中獲益。他說：“我最期待的一些發展和進展包括整合生成人工智慧和虛擬現實等尖端技術以及全球、數位和虛擬經濟的成長。這將會非常令人興奮，並且我們將看到這些進展如何塑造元宇宙的未來。” 熊澤輝和他的團隊的研究成果已經發表在 arXiv 預印本服務上。 該研究的結果為元宇宙服務提供者中的資源分配提供了一個新的最佳化框架。透過使用語義通訊技術和比賽理論來減少訊息載荷並最小化延遲，研究團隊成功地實現了更流暢、更沉浸式的環境。這項研究的成果可能對元宇宙的發展和應用產生重要的影響，並為未來的虛擬體驗帶來更多創新和可能性。Technology-角色同步,使用者同步,新框架,元宇宙,體驗
