Deepdub Go：AI 本地化技術讓創作者打破語言障礙
簡介
以色列 AI 音影片配音和語言本地化公司 Deepdub 宣布推出 Deepdub Go，這是一個可以用 65 種語言進行配音的平臺。這個新的 AI 動力音影片本地化和創作平臺針對獨立遊戲工作室、廣告公司、線上學習平臺和內容創作者。Deepdub Go 讓創作者可以使用自己的聲音進行配音，並且使用情感激勵 AI 控制聲音表達。該平臺提供良好的音質和情感共鳴，配備了人類化的聲音、情感激勵和語音指導技術以及用於高質量語音克隆的強大合成器。
Deepdub Go 平臺還可以編輯語音特徵、語言和翻譯，此外還具有其他強大的編輯功能，例如控制語音同步調整的時長和字數。此外該平臺還透過“聲音指導”實現了控制——這是 Deepdub 開發的一種技術，可為好萊塢電影實現劇場級的效果。使用者可以提供一段聲音錄製作為 AI 生成的音訊所需的情感表達的指南。
平臺的用途
Deepdub 的執行長兼聯合創始人 Ofir Krakowski 在接受 GamesBeat 的採訪時表示：“我們希望民主化內容的本地化方式，使全球的內容可以在全球範圍內使用。”Deepdub 最初開發了專有的 AI 技術，用於與好萊塢工作室合作完成了數十部電影和電視專案。隨著 Deepdub Go 的推出，該公司首次將高質量且可擴充套件的影片本地化技術引入了更廣泛的行業，使創作者可以讓他們的內容面向更廣泛的受眾。
使用者可以將他們的影片上傳到 Deepdub Go 平臺，選擇影片風格和所需的語言，然後該影片就可以很快可以下載使用了。整個過程包括自動轉錄、翻譯、語音生成和音訊混音。Deepdub Go 也可以作為一個應用程式程式設計介面(API)使用，可以整合到現有工具和自動化工作流程中。
Krakowski 表示：“有史以來第一次，專業級的配音技術對於任何型別的內容都是可用的，無論是企業培訓影片，還是大學課程或影響者的影片。”他還補充道：“Deepdub Go 是全球故事講述的催化劑，使創作者可以將每一個內容的潛在影響超越傳統的地理和語言界限。”
逾越語言和文化鴻溝
Deepdub 希望為國際觀眾在電視、電影、廣告、遊戲和電子學習等方面的娛樂體驗中搭建語言和文化鴻溝。使用 Deepdub 技術的電影當前正在 Hulu 和 Amazon Prime 上播放。
原理和背景
Ofir Krakowski 具有 30 年的電腦科學經驗，曾任以色列空軍機器學習和創新主管，之後又涉足這個行業。他與自己的弟弟 Nir 於 2019 年創立了 Deepdub 公司。該公司最初專注於好萊塢工作室和製片廠。
Krakowski 說：“Deepdub 的目標是打破語言障礙、文化差距。”他表示：“我們透過向公眾推出 Deepdub Go 平臺，實現了這一目標。我們希望影響全球觀眾，使人們可以在不同地區存取內容。”在 ChatGPT 等技術出現之前，公司不得不開發自己的 AI 訓練平臺和自己的語音模型以獲得高質量的翻譯。他們發現，純機器翻譯的準確率可以達到 70%至 90%。為了超過這個數位，他們需要人工進行修正。使用 AI 進行笑話的翻譯尤其困難。“實際上我們的技術可以理解情感表達。”他說道：“作為人，你可以去說，我希望它更有趣一些，或者更不有趣，或者更具嘲諷意味，所以你實際上可以控制情感的程度。”Krakowski 表示現在技術更好，仍然可以使用人工幹預。在遊戲中，這一點特別有用，因為在一款遊戲中可能有數百個不同聲音的角色。對於使用慣用語的短語，有時候沒有很好的翻譯。但是公司已經做了自己的嘗試，將慣用語翻譯成通順的意思。以印度為例，那裏有 100 多種語言。該公司有 33 名全職員工和數百名全球自由職業者。
結語
Deepdub Go 的推出將使音影片本地化技術變得更加普及且易於使用。這將使不同行業的創作者和內容開發者能夠輕鬆地將他們的內容本地化到不同的語言，增加全球觀眾的存取和參與。這項技術將為全球化娛樂產業帶來一次革命，打破傳統的語言和文化界限，實現更多的跨國合作和文化交流。然而我們也應該關注 AI 本地化技術所帶來的一些倫理和道德問題，以確保其在使用中不會引發不當的文化衝突或歧視問題。同時內容創作者也應該意識到技術的局限性，並在必要時進行人工修正，以確保最佳的本地化效果和觀眾體驗。
