文字轉影片技術出現約束性問題：Runway 的 Gen-2 模型例子
近期，由 Marvel 電影《復仇者聯盟：終局之戰》等知名電影製片人 Joe Russo 在一場專家座談會上預測，AI 將在兩年內能夠製作出一部完全成型的電影，但這顯然是一種過於樂觀的時間線。不過我們距離這個目標越來越近了。Google 支援的 AI 新創公司 Runway 最新推出了 Gen-2，這個可以生成影片，只需要提供文字輸入或現有影象。Gen-2 是 Runway 於今年 2 月推出的 Gen-1 模型的後繼，也是首批商業可用的文字轉影片模型之一。類似模型被認爲是影象和文字領域後一件大事，特別是在一些科技巨頭中越來越受到關注，多個科技巨頭在過去一年中展示了文字影片模型，但這些模型仍然停留在研究階段，只有少數資料科學家和工程師能夠使用。
局限性
然而執行一些文字提示後，我們可以看到 Runway 的 Gen-2 具有明顯局限性，無法完全勝任製作影片的任務。Gen-2 生成的四秒影片幀率明顯偏低，有時幾乎像幻燈片，這可能是計算成本上節約的折衷之一，更讓人困擾的是，Gen-2-generated 中產生的影像模糊或如同被應用了一些舊時的 Instagram 濾鏡，而且其他的一些畫素化膠片因素也充斥其中。由於許多生成模型都會出現此類問題，因此 Gen-2 的動畫表現似乎有點不夠真實，比如在 Runway 提供的一些示例中，Gen-2 不能始終遵循真實規律，比如人的臂和腿在生成的影片中會合並和分離，物體會融化離開，同時它們的反射會扭曲和變形。此外 Gen-2 也有解讀復雜度的問題，無法理解文字提示中的微妙區別，往往只關注其中幾個描述詞，而忽略其他描述詞，仿佛是盲人摸象。例如，“在一個舊相機下拍攝的水下小天地的影片，以“發現影音”電影爲風格”，卻並沒有成就唯美或令人感動的作品，這主要是因爲 Gen-2 不理解提示中存在的背景和節奏，因此難以生成優質的內容。此外 Gen-2 有時甚至難以理解平凡的提示，例如無法準確生成“慢慢撤出”的操作指令，無法準確生成“醫生在診所工作”的人物角色，不能應用各種顏色碎片很好地表現人物經驗的味道。
培訓資料集的準確性問題
顯然，這些約束會使 Runway 的 Gen-2 成爲一種文字轉影片技術中的娛樂或玩具，並非影片制作工作流程中真正有用的工具。實際上可能需要更多的客制化工作才能將這些生成的影像變成的一個更連貫的片段。與此同時我們無法完全忽視技術的優點： Runway Gen-2 Impact 一定程度上支援一個系列的風格，比如動漫和手繪動畫領域的作品（因它的較低幀率），只需要稍加微調和編輯，就能將電影片段串聯起來。Runway CEO Crist?bal Valenzuela 近期告訴彭博，他認爲 Gen-2 是一種提供藝術家和設計師一種工具，可幫助他們完成他們的創作過程。此外與 DALL-E 2 等生成式 AI 相比，Gen-2 藉由 AI 和人類的仲裁，避免了強化社會偏見的問題，當前尚未暴露出可以讓我們很擔憂的深度僞造問題。當然相應地，制片人，動畫師和 CGI 藝術家以及倫理學家現在可以放心一點，Gen-2 至少需要幾個迭代才能達到生成電影質量的鏡頭——這還取決於 Gen-2 是否能夠達到最好的效果。相對於缺乏各種不同的時代和趨勢的資料，資料集的多樣性對於準確培訓模型至關重要。如果資料集中缺少某些型別的影片素材，例如動畫片段，模型可能無法生成高質量的動畫。但是即使訓練資料集中有動漫或手繪動畫的片段，這個模型也不一定能夠很好地運用於所有型別的動漫和手繪動畫。因此問題的關鍵仍然在於資料集是否可以完整編制。
編輯建議
總之Runway 的 Gen-2 向我們展示了當前文字轉影片技術的局限性以及其無法完全勝任制造電影的任務。Runway 在文字型檔、資料庫和培訓方面可能需要進一步改進模型，以提供更好的影片素材。對於影片編輯和動畫創作來說仍有必要繼續依賴現有的影片制作工作流程和級別，只有在高度客制器化並保留更多自主創新創意的前提下，Gen-2 或類似模型才能成爲有用的輔助工具。透過良好的培訓過程和不斷增加資料量以及提高 Diversity 多樣性，我們可以爲文字轉影片技術走向更高質量產出的方向提供保證。
延伸閱讀
- Canva 搭載了 Runway 以及全新的 AI 動態生成影片，引爆視覺創作潛能！
- Runway 宣布“創意合作計劃”，特選使用者獲得無限計劃與嶄新功能
- Runway 宣布「創意夥伴計劃」，為選定使用者提供無限方案和全新功能
- Runway 推出全新「觀看」功能，CEO 表示好萊塢 AI 論述「需要更多細緻的見解」
- Runway 獲得$27.5M 資金投入，為企業簡化財務規劃
- Runway 成功募集 2,700 萬美元，讓金融規劃更容易、更智慧化
- 「Runway 獲得新鮮的 1.41 億美元注資，進一步體現下一代生成式 AI 影片的崛起」
- AI 生成的下一代影片逐步浮出檯面，Runway 獲取了 1.41 億美元資金注入
- 新創公司「Runway」籌集了 1.41 億美元，致力於構建給內容創作者使用的生成式人工智慧技術
