研究者提出流暢頭像-使用者同步的新框架，為元宇宙帶來更佳體驗
背景
在現今日益數位化的世界中，人類與科技之間的差距正在縮小，許多研究者和公司都對如何進一步整合科技到我們的生活中感到興趣。但如果不是將科技融入我們的現實世界，而是將我們自己融入一個虛擬環境呢？新加坡科技與設計大學（SUTD）的助理教授熊澤輝希望能在他的研究中實現這一目標。他與南洋理工大學和廣東工業大學的研究人員合作，以「元宇宙服務的基於視覺的語義通訊：競爭理論方法」為題進行了一項合作研究，該研究的預印本即將在 2023 年 12 月的 IEEE 全球通訊大會上發表。元宇宙的挑戰
元宇宙是一個虛擬現實（VR）的宇宙，在這個宇宙中，使用者可以透過控制頭像與虛擬環境進行互動。在這個世界裡，人們可以透過頭像與他人見面，存取虛擬地點，甚至進行網上購物。本質上，元宇宙希望突破我們現實世界的約束。 然而廣泛應用元宇宙服務的一個問題是需要實現頭像動作與使用者行為的即時同步。「在元宇宙中，頭像必須不斷更新和渲染以反映使用者的行為，但實現實時同步很複雜，因為這對元宇宙服務提供商的渲染資源分配方案（MSP）提出了很高的要求」熊教授解釋道。 MSP（元宇宙服務提供商）需要承擔大量的資料傳輸負擔，將使用者和伺服器之間的大量資料傳輸。體驗越沉浸，傳輸的資料負載就越大。快速移動的使用者，例如奔跑或跳躍的使用者，更容易出現頭像卡頓的問題，因為 MSP 無法及時跟上。一個常見的解決方案是約束單一虛擬環境中的使用者數量，確保 MSP 擁有足夠的資源或頻寬來模擬所有使用者的頭像，無論他們的活動如何。但這種方法非常低效，因為站著不動的使用者會被分配多餘的資源，而他們並不需要這些資源。只有那些有大幅度移動的使用者才需要不斷更新他們的頭像，從而需要額外的頻寬。那麼問題便出在如何分配資源而不浪費？研究團隊的創新框架
熊教授和他的團隊提出了一個新的框架，以最佳化 MSP 中的資源分配，以確保所有使用者都獲得流暢和身臨其境的體驗。該方案使用一種名為「人體姿勢估計（HPE）」的語義通訊技術來首先減少使用者傳輸給 MSP 的訊息量。然後，他們使用競爭理論來在使用者裝置之間選擇最有效的資源分配方式，使每個使用者的頭像模擬得到充分的資源。只需足夠的資源來模擬他們的頭像。 達到無縫頭像-使用者介面的第一步需要將訊息高效地編碼傳給 MSP。想像一個攝像機捕捉到一個人的動作，並將其轉化為頭像的動作。攝像機捕捉到的每個影像都包含許多對於建模虛擬角色來說無用的背景訊息。在 HPE 中，計算機的任務是識別人體作為物件，並只突出顯示骨骼關節。基於這些關節，算法可以重構一個簡單的類似人的模型，然後將其傳送給 MSP。這個卡通形象然後指導 MSP 模擬頭像的動作。在這項研究中，熊教授和他的團隊成功地將資料開銷從兆位元組減少到位元組。 然後，團隊開始使用競爭理論來建立 MSP 與使用者網路之間的互動模型。在這種方法中，使用者（或者他們的裝置）被視為競爭者，爭取 MSP 的資源。該算法旨在在可用資源的固定量下最小化所有使用者之間的延遲。同時個別裝置根據使用者的行為決定自己的更新速率。該算法透過測量不同更新速率下頭像位置的差異來測試延遲。出現延遲的使用者將在他們的 HPE 卡通形象和頭像之間存在明顯差異。同時 MSP 的資源則被視為給表現良好且沒有延遲的競爭者的獎勵。然而每個使用者仍然需要能夠準確推斷自己需要向 MSP 請求多少資源。面對這一任務的複雜性，研究團隊決定使用機器學習。他們使用一個名為「深度 Q 網路（DQN）」的神經網路來最佳化分配資源。在這一框架下，與傳統方法相比，研究團隊的工作使所有使用者的延遲減少了 66％。展望
熊教授對元宇宙的未來持樂觀態度，他提到了醫療保健、教育和市場銷售等潛在領域，這些領域可能從元宇宙服務中受益。他說：“我最期待的一些發展包括整合生成式人工智慧和虛擬現實等尖端技術以及全球、數位和虛擬經濟的增長。這些領先技術將如何塑造元宇宙的未來將是令人興奮的。” 該研究成果已發表在 arXiv 預印本伺服器上。結語
這項由新加坡科技與設計大學（SUTD）提出的新框架，為解決元宇宙中頭像和使用者同步的問題提供了一個創新的解決方案。透過使用語義通訊技術和競爭理論，研究團隊成功地最佳化了元宇宙服務提供商（MSP）中的資源分配，從而實現了所有使用者都能夠獲得流暢和身臨其境的體驗。 這項研究不僅具有學術意義，還對元宇宙的商業應用具有重要價值。隨著元宇宙的不斷發展和普及，從醫療保健到教育，再到銷售和商業領域，都將受到這一領域的影響和改變。透過解決頭像和使用者同步的技術問題，這項研究為元宇宙的應用和發展提供了重要的推動力。 然而有必要注意隨著技術進步，也需要關注對隱私和安全的考慮。在推動元宇宙的同時必須確保使用者的資料和個人訊息得到適當的保護。同時面對元宇宙的快速發展，還需要建立一個與技術發展同步的法律和倫理框架，以解決可能出現的問題。建議
對於政府機構、企業以及科技研發機構來說建議將更多資源投入到元宇宙相關技術的研究和開發中，以促進元宇宙的發展和應用。同時應該加固對隱私和安全問題的關注，確保使用者的資料和個人訊息的保護。在制定相關政策和法規時，要充分考慮技術的發展特點和社會的需求，建立一個平衡有效的規範和監管框架。 此外對於使用者來說建議在使用元宇宙服務時要保持警覺。注意保護自己的個人訊息和隱私，僅在可信任的平臺上進行操作。同時理解並遵守相關使用規定和條款，避免違法和不良行為。 元宇宙是一個令人興奮的前沿領域，同時也帶來了挑戰和風險。透過持續的研究和合作，我們可以共同建立一個更加安全、可持續和具有人性化的元宇宙體驗。Avatar-wordpress,元宇宙,頭像,使用者,框架
延伸閱讀
- 照片分享社群 EyeEm 將許可使用者的照片以訓練 AI，如果使用者不刪除照片
- Synthesia 創新 AI 視訊頭像加入情感表達，讓你笑中帶淚
- iFixit 框架的可維修性理念將擴充套件至筆記型電腦以外
- 元宇宙新趨勢：Meta 推出全新 Llama 3 機型，為開源人工智慧注入動力
- X 正向具影響力的使用者發放藍勾！這才是藍勾的真正用途！
- 元宇宙（Meta）現在要求使用者取證年齡才能使用 Quest VR 頭盔
- 使用者抱怨 Glassdoor 未經他們同意將真實姓名新增到使用者資料
- Linktree 現在允許使用者透過精選佈局功能更好地突顯連結
- 《領頭羊》大師推出「Open」：打造元宇宙的戰鬥皇家體驗
- Threads 現在可以讓所有使用者在應用程式中儲存草稿和拍攝照片
