Netflix 的 AI 助手綠幕給演員泡上令人眼花繚亂的紫紅色
背景
拼接或將演員放在實際不存在的背景前，這個過程自影片製作開始就存在已久，並且一直是一個痛點。長久以來，最簡單的合成方法是色度關鍵合成(chroma keying)，演員站在鮮豔色調的背景（最初是藍色，後來是綠色）前，可輕易辨識並將其替換為天氣圖或與篘索斯對戰的畫面。前景被視為"室外"，而背景則是透明的"α通道"，與紅、綠和藍通道一起進行調整。這種方法容易且廉價，但也存在一些缺點，其中包括與透明物體、頭髮等細節以及與背景顏色相似的任何其他物體的問題。儘管這種方法通常足夠，但試圖用更複雜和昂貴的方式（比如輕場相機）替換它還是沒能取得成功。但 Netflix 的研究人員正在嘗試透過結合新舊方法，簡化且無瑕的合成。
Magenta Green Screen
Netflix 的"洋紅綠幕"技術透過在演員身後放置明亮的綠幕（而不是背景），在眼前則是由紅色和藍色混合而成的色調，營造出戲劇性的對比顏色。這讓拍攝現場的畫面顯得格外刺眼，即使是最經驗豐富的後期製作人都會感到震驚。通常情況下，你希望演員被明亮且相對自然的光線照亮，儘管可能需要進一步修飾，但他們在攝影機前的形象相對常規。但如果他們只用紅光和藍光照明，這完全扭曲了這種外觀，因為常規的光線並不會在其光譜中有大片段被削減。然而這種技術也非常巧妙，因為透過將前景設定為紅/藍，將背景設定為綠色，簡化了將兩者分離的過程。常規攝像機通常會捕捉這些顏色，而不是紅色、藍色和α通道。這使得生成的遮板非常準確，沒有從將全頻譜輸入從有限頻譜色鍵背景中分離出來產生的問題。
綠幕內外
當然他們似乎只是將一個困難替換為另一個：現在合成的過程很簡單，但還是復原被洋紅色照亮的主體的綠色通道是困難的。這必須系統性地且適應性地完成，因為主體和構圖的不同，然而對注入綠色的"天真"線性方法進行自動化處理會導致淡出的黃色外觀。AI 來拯救！團隊透過使用自己的訓練資料對機器學習模型進行了訓練，基本上是對類似情景的"排練"進行了多次拍攝，但光源是常規的。這個卷積神經網路被給予全頻譜影象的片段，與洋紅照明的影象進行比較，並開發了一種可以比簡單算法更智慧地迅速恢復缺失的綠色通道的過程。
面臨的問題和可能的解決方案
這種方式在後期製作中可以讓色彩恢復得出奇地好（與鏡頭中的真實情況"幾乎無法區分"），但演員和場景必須以這種可怕的方式照亮。許多演員已經抱怨在綠幕前工作的不自然，現在想象一下在嚴厲的、非人類的光照下進行拍攝。在論文中，研究人員提出了"時間多路復用"的照明方法，即每秒多次開關洋紅/綠燈，在進行 24 次開關（即大多數影片和電視的幀率）會讓人分心（甚至危險），但如果將光線提高到每秒 144 次，它看起來就"幾乎是恆定的"。然而這需要與攝影機進行複雜的同步，攝影機必須在幕景變為洋紅色的瞬間抓拍光線，並且還必須考慮到由於運動引起的缺失幀。可以看出，這仍然是一個實驗性的專案，但它以一種新的高科技方式解決了媒體製作中的古老問題。這在五年前是不可能的，儘管它可能或可能不會在現場被使用，但顯然值得一試。
關鍵詞：AI, 助手, 綠幕, 演員, 洋紅色, Netflix
延伸閱讀
- Opera 推出 AI 助手，讓 Android 使用者輕鬆摘要網頁
- 印度串流平臺 JioCinema 推出 35 美分會員方案，與 Netflix 和 Prime Video 競爭
- Facebook 竊聽醜聞再起：Meta 再度否認 Netflix 閱讀使用者私人訊息
- 「花色」正在為解決方案團隊打造 AI 助手
- Netflix 拒絕後，其他應用程式開發者爭論是否推出 Vision Pro
- Netflix 確認將不會為蘋果 Vision Pro 推出專用應用程式
- Netflix 遊戲在 2023 年全年的安裝量大增 180%，GTA 等遊戲助力吸睛
- Netflix 考慮在遊戲中新增應用內購和廣告
- Netflix 放棄 Orkes 專案，首席導演轉向 Forks 專案
- 萬事達卡推出「Shopping Muse」，AI 智慧購物助手
