VFX 藝術家展示 AI 在好萊塢的應用：創新而非濫用
引言
美國好萊塢在近期一直捲入有關人工智慧（AI）的勞工紛爭，然而這項技術早在許多年前就已滲透入電影和電視製作中。在洛杉磯舉行的 SIGGRAPH 大會中，無數的演講和發表上展示了算法和生成工具。當前我們或許不清楚 GPT-4 和 Stable Diffusion 等 AI 技術將會走向何方，但製片的創意一方已準備好接受這些技術——前提是這些技術應用得當，能夠增強藝術家的創作能力，而非替代他們。+ 儘管 SIGGRAPH 並不是一個電影和電視製作大會，但它是一個關於計算機圖形和視覺效果的大會（迄今為止已有 50 年的歷史！），這些話題在近年來自然而然地經常受到重視。今年，罷工成為大會中一個無法忽視的議題，但很少有演講或討論涉及到該議題；然而在派對和社交場合，人們經常首先提到這個問題。儘管如此 SIGGRAPH 依然是一個將技術和創意思維聚集在一起的大會，我感知到的是“這很糟糕，但同時我們可以繼續改善我們的技藝。”+ 對於製片業中 AI 的應用，人們所擔心的，並不是說是虛幻的，但確實有些誤導。生成式 AI，如影象和文字模型，進步神速，這使人們擔心它們將取代作家和藝術家。當然電影工作室高層有時會提出一些有害而且不切實際的希望，希望能使用 AI 工具來部分取代作家和演員。然而 AI 在電影和電視中的應用已有一段時間，它能夠執行重要且藝術驅動的任務。我在各種專題討論會、技術論文發表和訪談中看到了這一點。當然理解 VFX 中 AI 的歷史是很有趣的，但就當前而言，以下是一些展示 AI 在特效和製作工作中不同形式的方式。Pixar 的藝術家們運用機器學習和模擬技術
Pixar 早期的一個例子是關於他們最新電影《Elemental》中使用的動畫技術的展示。這部電影中的角色比其他影片中的角色更抽象，而能夠製造出火、水或氣的人物絕非易事。請想像一下，將這些物質的分形複雜性整合到一個能夠清晰地表達並表現自己的角色身上，同時仍然看起來“真實”。正如動畫師和效果協調人員一個接一個解釋的那樣，程式生成在這個過程中是至關重要的，它能夠模擬和引數化構成數十個角色的火焰、水波或蒸汽。手工雕塑和動畫每一團火焰或飄落的雲朵永遠不是一個選擇——這將變得非常乏味、勞動密集和技術性而不是創造性的工作。但正如展示稿清楚地表明的那樣，儘管他們在建立所需效果方面倚重模擬和複雜的材質着色器，但藝術團隊和過程與工程學密不可分。（他們還與瑞士 ETH Zurich 的研究人員合作。）舉個例子，在其中一個主要角色 Ember（炎）中，需要保持整體外觀。光簡單模擬火焰、微調顏色或調整許多引數的結果是不夠的。最終火焰需要反映藝術家想要的外觀，而不僅僅是火焰在現實生活中的表現方式。為此，他們使用了“體積神經風格轉換”（volumetric neural style transfer，NST）。風格轉換是一種機器學習技術，大家或許已經透過將自拍照片轉換為方向感明顯的印象派風格或其他風格來體驗過這種技術。在這種情況下，團隊使用藝術家對火焰的期望進行訓練的風格轉換網路，透過將“pyro simulation”（火焰模擬）或生成的火焰的原始體素透過這個網路，得到的體素具有模擬的自然、不可預測的外觀，同時也具有藝術家選擇的獨特風格。 當然動畫師對於自己只是使用 AI 生成電影的說法非常敏感，但事實並非如此。正如 Pixar 的 Paul Kanyuk 在展示中尖刻地指出的那樣：“如果有人告訴你 Pixar 透過使用 AI 製作了《Elemental》，那是錯的。我們使用體積神經風格轉換來塑造她的輪廓邊緣。”（當然體積神經風格轉換是我們認定為屬於 AI 範疇的機器學習技術，但 Kanyuk 所指出的要點是，它被用作實現藝術目標的工具——沒有一切只是“透過 AI 製作”。）隨後，設計團隊的其他成員解釋了他們如何使用程式化的、生成的或風格轉換的工具來做一些事情，比如將風景重新著色以符合藝術家的調色盤或情緒板，或者用從“英雄”手繪的建築元素變種來填充到城市街區中。明顯的共同主題是，AI 和與其相關的工具是為了藝術家的需要而存在的，可以加快繁瑣的手動過程，更好地匹配所需的外觀。AI 加速對話
我從 DNEG 的高級 AI 研究員 Martine Bertrand 那裡聽到了類似的觀點，DNEG 是一家 VFX 和後期製作公司，最近動畫製作了一部極佳且視覺效果引人注目的電影《Nimona》。“人們往往不認識到創作過程中浪費了大量的時間，特別是在外觀開發和環境設計方面。” Bertrand 告訴我。他解釋說，與導演合作找到合適的拍攝外觀可能會花上幾個星期的時間，這段時間內往往因為溝通不頻繁或不好導致數週的工作被廢棄。他說這令人極其沮喪，而 AI 是加速這一過程和其他還不是最終成品，而僅僅是探索性的和一般的流程的一個很好的方式。他說藝術家們使用 AI 來增加創作的努力“使創作者和導演之間的對話成為可能”。 說來像這樣的外太空叢林？還是像這樣的叢林？一個神祕的洞穴，是像這樣的？還是像這樣的？ 對於像《Nimona》這樣以創作者為中心、視覺複雜的故事來說快速獲得反饋意見尤其重要。浪費一周的時間渲染一個一周後導演拒絕的外觀是一個嚴重的製作延遲。事實上在早期創意工作中，如預視，已經實現了新的合作和互動水平，正如 Sokrispy 執行長 Sam Wickert 在一次演講中解釋的那樣。他的公司被委託為 HBO 的《The Last of Us》開始時的疫情場景進行預視，這是一個複雜的車上場景，其中不僅有無數額外演員，還有攝像機運動和特效。雖然在這個更真實的場景中對 AI 的應用有所約束，但很容易看出，改進的語音合成、程式生成環境和其他工具可以改進這個越來越面向技術的過程。 最終鏡頭，動作捕捉資料，遮罩和 3D 生成的環境, 捕獲自 Wonder Studio。圖片來源：Wonder Studio Wonder Dynamics 是一個被引用在多個重要講演和發表中的案例，他們在製作中使用機器學習過程（Artificial Intelligence System）——完全由藝術家控制。先進的場景和物體識別模型解析普通片段並立即用 3D 模型替換人類演員，這一過程曾經需要幾個星期或幾個月的時間。Wonder Dynamics 的兩位創始人兩個月前對我說，他們自動化的工作並不是創意性的，而是冗長、機械的（有時是手動的）操作，幾乎不涉及創造性的決策。“這不會破壞他們正在做的事情；它自動化了 80-90％的客觀 VFX 工作，讓他們更有精力去做主觀性工作，”共同創始人 Nikola Todorovic 當時如此說。我在 SIGGRAPH 大會上遇到了他和他的共同創始人、演員 Tye Sheridan，他們享受著成為焦點的喜悅：這表明該行業正在走向他們幾年前開拓的方向。（順便說一句，請在九月份的 TechCrunch Disrupt 大會上觀看 Sheridan 在人工智慧舞臺上的演講。） 然而不能將劇作家和演員的罷工警告當作無關緊要的事情對待。事實上在 VFX 圈子中，人們也對這些警告感同身受。他們強烈呼應這些警告，並且他們的擔憂也是類似的——雖然不像劇作家和演員的擔憂那樣學問問題。對於演員來說一個人的形象或表演（或對於作家來說一個人的想像力和聲音）是自己的生計，而這些東西被完全挪用並由機器完全自動化的威脅是令人恐懼的。對於製作過程中的其他藝術家來說自動化的威脅也是真實存在的，而且更多地是人們問題而不是技術問題。我和很多人談到的觀點是，未經訓練的領導者做出不明智的決策才是正真的問題。Bertrand 說：“AI 看起來非常聰明，以至於你可能會把你的決策過程延遲給機器，”，“當人類將他們的責任推給機器時，就會變得可怕。”+ 如果 AI 能夠用於增強或簡化創意過程，例如減少在重複性任務上花費的時間，使創作者們能夠以更小的團隊或預算與資源充裕的同行匹配，那將會具有重大的變革性。但如果創意過程被 AI 所取代，這是一條一些行業高層似乎很渴望探索的道路，那麼儘管 AI 技術已經滲透到好萊塢，罷工只會剛剛開始。結論
總結來說 AI 在 VFX 行業的應用是一個既有挑戰又有機遇的領域。當 AI 被細心運用來增強藝術家的創意性和效率時，它可以成為創作過程中的一個有力助手。然而在將 AI 應用於製作過程中需要非常小心，以避免濫用和創作者生計的威脅。製片業需要對 AI 的應用有明確而負責任的策略，確保使用 AI 工具是為了增加價值和效率，而不是取代藝術家的創造力。同時藝術家和工人應該積極參與技術和創作的融合中，理解並掌握新技術的應用，以保持競爭力和自主性。關鍵在於在 AI 和人工創作之間找到平衡點，讓 AI 成為一個寶貴的工具，而不是取代人類創造力和努力的替代品。只有透過合作和智慧的應用，AI 才能真正成為好萊塢創作的助推器，而不是威脅。Technology-VFX 藝術家,AI 助力,好萊塢,創新,不濫用
