中國研究人員研發新方法：使用 4D Gaussian Splatting 捕捉人體動態
背景介紹
隨著好萊塢演員罷工持續進行，迄今尚未解決，一項技術飛躍讓演員最大的抱怨更有可能實現：以 3D 掃描人體動態，這可能使得演員的表演和舉止被捕捉和儲存成 3D 模型，供電影公司永久再利用。雖然 3D 掃描技術在好萊塢已經存在了幾十年，但通常需要進行一個複雜且耗時的設定，例如環繞演員身體的 360 度多個攝像機，或者在捕捉動作時使用像乒乓球一樣的標記物放置在演員身上，再配合緊身衣。即使最近使用人工智慧的新進展，例如英國新創公司 Move AI，通常也依賴於多個攝像機（儘管 Move AI 現在有一個新的僅限邀請的單攝像機應用程式）。
但現在研究人員在中國的華為和華中科技大學經過努力已經實現了一種全新的方法：將一系列方程式稱為高斯吐芙捲曲法（Gaussian splatting），這些方程式近年來已被用於從單個 2D 攝像機上的移動序列中捕捉靜態 3D 影像，他們現在將其修改為也可以捕捉動態人體運動的“4D 高斯吐芙捲曲法”。
高斯吐芙捲曲法在動態場景中面臨的挑戰
高斯吐芙捲曲法是 2001 年由麻省理工學院、蘇黎世聯邦理工學院和三菱公司的研究人員為使用鐳射掃描物體而設計的。它使用一系列粒子來表示一個 3D 場景，每個粒子具有自己的位置、旋轉和其他屬性。每個點還會被分配一個不透明度和顏色，這些都可以根據視覺方向進行改變。近年來高斯吐芙捲曲法取得了長足的發展，現在可以在現代網頁瀏覽器中呈現，也可以用使用者智慧手機上的一系列 2D 影象製作。然而正如研究人員在 10 月 12 日同時在 Github 和開放存取網站 arXiv.org 上發布的一份新論文中寫道：“3D 高斯吐芙捲曲法仍然專注於靜態場景。將其擴充套件為動態場景作為 4D 表示是一個合理重要但很困難的話題。關鍵挑戰在於從稀疏輸入建模復雜的點運動。”
主要挑戰在於當多個高斯吐芙捲曲法影象在不同的時間戳記上聯合在一起建立一個移動影像時，每個點都會在影象之間“變形”，從而創造出對物件形狀和體積的不準確表示。然而研究人員解決了這個問題，他們只保留“一組典型的 3D 高斯吐芙捲曲法影象”，並使用預測性分析來對映它們在每個時間戳記之間的移動方式和位置。
技術應用和前景展望
實際應用上，這意味著可以捕捉到一個人在鍋上烹飪的 3D 影象，包括切菜、攪拌食材的動態以及附近一只活動的狗。另一個例子展示了人類手將曲奇餅一分為二，還有另一個手開啟一個玩具蛋，裡面有一個巢狀的玩具小雞。在所有情況下，研究人員均能實現 3D 的旋轉效果，讓觀眾可以在 3D 場景中移動“攝像機”，從多個角度和視角觀察物體。
根據研究人員的說法，他們的 4D Gaussian Splatting 方法在動態場景中實現了實時渲染，對於合成資料集的解析度為 800x800 時，每秒達到 70 幀，對於真實資料集，解析度為 1352x1014 時，每秒達到 36 幀。與先前的最先進（SOTA）方法相比，這種方法的效能相當或更好。
雖然這些初步的結果令人印象深刻，但研究人員捕捉到的 3D 動態場景片段需要 20 分鐘，並且每個片段只持續幾秒，遠遠不足以應對整部長片所需的時間。但對於希望捕捉演員的一些動作以進行再利用的電影公司來說這是一個很好的開始。對於遊戲設計師、擴增實境/虛擬現實設計師來說很難想像這種技術不會有用。而且隨著許多有前途的技術進步一樣，所能捕捉到的內容的質量和數量隨著時間的推移只會增加。正如研究人員在他們的論文末尾所寫的那樣，“這項工作還在進行中，我們將在接下來的開發中探索更高的渲染質量和復雜的真實場景。”
***註：本文翻譯根據所提供的英文版本進行撰寫，如需更多詳細內容，請參閱原文。
