新最佳化工具提供更精準的影片動態預測
背景
康奈爾大學的研究人員開發出一種新的最佳化工具，用於估計輸入影片的運動軌跡，這在影片剪輯和生成式 AI 影片創作中具有潛在應用。這種工具名為 OmniMotion，在巴黎舉行的國際計算機視覺會議上發表了一篇名為「同時跟蹤一切，無處不在」的論文。
方法
OmniMotion 使用研究人員稱之為「準 3D 表示」的方法，這是一種放鬆的 3D 形式，保留了重要的特性（例如當畫素透過其他物體時追蹤畫素），同時避免了動態 3D 重建所帶來的挑戰。
這種新方法透過對少量的幀和運動估計進行取樣，建立了整個影片的完整運動表示。最佳化後，可以使用任何幀中的任何畫素查詢這個表示以獲得平滑、準確的運動軌跡。這在將計算機生成的影象（CGI）整合到影片剪輯中時非常有用。
應用
Snavely 教授指出，OmniMotion 還可以幫助生成文字到影片應用程式中的算法。他說:「常常這些文字到影片的模型不太連貫。物體在影片中會改變大小，人也會以令人難以置信的方式移動，這是因為它們只是生成影片的原始畫素，沒有任何關於畫素運動的基礎動力學概念。希望透過提供估計影片中運動的算法，我們能夠改善生成影片的運動連貫性。」
評論與建議
這項研究的結果對於改進影片剪輯、生成式 AI 影片創作以及 3D 重建技術具有重要意義。OmniMotion 的出現填補了傳統方法中運動估計的缺陷，使得我們能夠同時獲得密集和長程的運動跟蹤，從而提高了對影片中運動的預測準確性。
然而值得注意的是，這種新最佳化工具的應用還存在一些挑戰。首先由於需要對少量幀進行取樣，因此可能會在某些情況下導致遺失關鍵的運動訊息。此外對於包含大量物體的複雜影片，計算和最佳化整個影片的運動表示可能需要較長的時間。
為理解決這些挑戰，我們建議進一步研究和改進這種最佳化工具的效能和效果，並且應該在實際應用中進行充分的取證。此外對於生成式 AI 影片創作和影片編輯等應用場景，還需要更多的工具和算法來提高生成影片的真實感和連貫性。
總的來說這項研究為影片動態預測領域帶來了新的可能性，為視覺效果和影片創作提供了更多的選擇和工具。
延伸閱讀
- X 公司即將推出影片的電視應用程式
- Storiaverse 推出短篇故事應用程式，結合影片與文字內容
- Google Play 將展示遊戲的人工智慧常見問題和最新 YouTube 影片
- 科技新聞網 酷爾西安運用 GenAI 技術製作企業培訓影片
- 中國生成影片競賽加速升溫
- MrBeast 覺得從 X 影片上賺到的 26.3 萬美元有點虛假
- 蘋果從新的 App Store 規則中排除影片和新聞合作夥伴有關外部付款
- YouTube 推出新功能，幫助使用者輕鬆找到關於急救和緊急救護的準確資訊
- Google 的 Bard AI 聊天機器人現在能回答關於 YouTube 影片的問題
- YouTube 將 1080p 高級選項擴充套件至更多裝置
