新的 AI 模型 Neuralangelo 將 2D 影片轉換為 3D 圖形結構
近日 Nvidia Research 發表了一項新的人工智慧技術 Neuralangelo。這個 AI 模型可以將二維影片轉換成詳細的三維圖形結構。Nvidia 表示使用這個技術,研究人員已經能夠生成生動逼真的虛擬建築、雕塑和其他現實世界的物體的複製品。就像米開朗基羅從大理石中雕刻出精美逼真的作品一樣,Neuralangelo 可以生成具有細緻紋理和細節的 3D 結構。創意專業人士可以將這些 3D 物體輸入到設計應用程式中,進一步編輯使用於藝術品、影視遊戲開發、機器人和工業數位孿生體等領域。Neuralangelo 能夠將複雜材質的紋理(包括屋頂瓦片、玻璃窗格和光滑的大理石)從 2D 影片轉換成 3D 資產,這遠遠超過以往的方法。高保真度使開發人員和創意專業人員能夠更快速地使用智慧手機捕捉的素材,快速建立可用的虛擬物體。
Neuralangelo 的 3D 重建能力
這一技術對於創作者來說將是巨大的好處,幫助他們用數位世界重現現實世界. “Neuralangelo 提供的 3D 重建能力將是創作者的巨大助益,幫助他們將現實世界重現在數位世界中。”Ming-Yu Liu 博士表示。
以 2D 影片建立 3D 影象
Neuralangelo 採用即時神經圖形基元 Instant NeRF 技術以幫助捕捉細節。模型選擇拍攝於不同角度的幾個影像幀,就像藝術家從多個角度觀察主題以獲得足夠的深度、大小和形狀等訊息一樣。模型會根據每個影像幀的攝像機位置,建立一個粗略的 3D 場景表示。最後模型會最佳化渲染以提高細節,就像雕刻家耐心地雕刻石頭以模仿織物或人體的紋理一樣。最終產生的結果是可以用於 VR 應用程式、數位孿生體或機器人開發的 3D 物體或大型場景。
技術的約束和發展
此前,以前的 AI 模型在重建 3D 場景時會遇到很大的困難,尤其是在準確捕捉重複紋理模式、同質的顏色和強烈的色彩變化等方面。Neuralangelo 採用的即時神經圖形基元 Instant NeRF 技術幫助捕捉細節,但是仍然存在著不同影象尺寸之間的差異等問題。對於使用多張 2D 影片捕捉的複雜場景,當前的技術仍然存在挑戰。
結論
Neuralangelo 的發展潛力非常巨大。這一技術將有很大的應用前景,有助於實現 VR、數位孿生體和機器人的發展。隨著技術的不斷進步,Neuralangelo 有望能夠生成更加清晰、更加逼真的 3D 物體和場景。然而我們需要認識到,在技術發展中,常常存在未知的風險和不確保性。因此在應用 Neuralangelo 技術時,要進行風險評估,以平衡技術發展的可能收益和潛在風險。
延伸閱讀
- 元 AI 測試:未能彰顯自身價值,但免費就是免費
- Google 推出新功能“口語練習”,利用人工智慧幫助使用者提高英文能力
- 科技巨頭 xAI 競爭開放人工智慧,吸金 60 億美元。推動社交網路 X 成為股東
- Xaira:AI 藥物發現新創公司以 10 億美元巨額啟動,宣稱已準備好開展藥物開發
- Rabbit 宣布推出一個迷人的小型 AI 裝置:R1
- Perplexity AI 可能價值高達 30 億美元,原因在於…
- 基於人工智慧時代,Anon 正在打造自動化認證層 - 技術新聞
- Snowflake 推出自家旗艦生成式人工智慧模型
- Parloa 完成 6600 萬美元融資,打造客服對話人工智慧平臺
- Perplexity 籌集超過 2.5 億美元,估值達 25-30 億美元,用於其人工智慧搜尋平臺