新的 AI 模型 Neuralangelo 將 2D 影片轉換為 3D 圖形結構
近日 Nvidia Research 發表了一項新的人工智慧技術 Neuralangelo。這個 AI 模型可以將二維影片轉換成詳細的三維圖形結構。Nvidia 表示使用這個技術,研究人員已經能夠生成生動逼真的虛擬建築、雕塑和其他現實世界的物體的複製品。就像米開朗基羅從大理石中雕刻出精美逼真的作品一樣,Neuralangelo 可以生成具有細緻紋理和細節的 3D 結構。創意專業人士可以將這些 3D 物體輸入到設計應用程式中,進一步編輯使用於藝術品、影視遊戲開發、機器人和工業數位孿生體等領域。Neuralangelo 能夠將複雜材質的紋理(包括屋頂瓦片、玻璃窗格和光滑的大理石)從 2D 影片轉換成 3D 資產,這遠遠超過以往的方法。高保真度使開發人員和創意專業人員能夠更快速地使用智慧手機捕捉的素材,快速建立可用的虛擬物體。
Neuralangelo 的 3D 重建能力
這一技術對於創作者來說將是巨大的好處,幫助他們用數位世界重現現實世界. “Neuralangelo 提供的 3D 重建能力將是創作者的巨大助益,幫助他們將現實世界重現在數位世界中。”Ming-Yu Liu 博士表示。
以 2D 影片建立 3D 影象
Neuralangelo 採用即時神經圖形基元 Instant NeRF 技術以幫助捕捉細節。模型選擇拍攝於不同角度的幾個影像幀,就像藝術家從多個角度觀察主題以獲得足夠的深度、大小和形狀等訊息一樣。模型會根據每個影像幀的攝像機位置,建立一個粗略的 3D 場景表示。最後模型會最佳化渲染以提高細節,就像雕刻家耐心地雕刻石頭以模仿織物或人體的紋理一樣。最終產生的結果是可以用於 VR 應用程式、數位孿生體或機器人開發的 3D 物體或大型場景。
技術的約束和發展
此前,以前的 AI 模型在重建 3D 場景時會遇到很大的困難,尤其是在準確捕捉重複紋理模式、同質的顏色和強烈的色彩變化等方面。Neuralangelo 採用的即時神經圖形基元 Instant NeRF 技術幫助捕捉細節,但是仍然存在著不同影象尺寸之間的差異等問題。對於使用多張 2D 影片捕捉的複雜場景,當前的技術仍然存在挑戰。
結論
Neuralangelo 的發展潛力非常巨大。這一技術將有很大的應用前景,有助於實現 VR、數位孿生體和機器人的發展。隨著技術的不斷進步,Neuralangelo 有望能夠生成更加清晰、更加逼真的 3D 物體和場景。然而我們需要認識到,在技術發展中,常常存在未知的風險和不確保性。因此在應用 Neuralangelo 技術時,要進行風險評估,以平衡技術發展的可能收益和潛在風險。
延伸閱讀
- Web3 投資公司 Borderless Capital 收購 CTF Capital,引進人工智慧和量化專業技術
- 0G Labs 以驚人的 3,500 萬美元預種子輪啟動,致力於打造模組化人工智慧區塊鏈
- Cyera 將籌集最高 3 億美元,估值達到 15 億美元,AI 正是資料問題
- 人工智慧與資料基礎設施推動開源新創公司需求
- Profluent 利用人工智慧發現藥物,得到 Salesforce 研究支援,Jeff Dean 提供後盾
- 大型語言模型可幫助家庭機器人在無需人類幫助的情況下恢復錯誤
- 聽得見嗎?AI 音效技術對抗嘈雜音訊
- Nvidia 或成下一個 AWS 霸主?
- 為何無法評論人工智慧以及為何 TechCrunch 還是這樣做?
- 穩定 AI 執行長辭職,因為你無法用更集中的 AI 來擊敗中央集權的 AI