ElevenLabs 推出 AI 配音技術：打破語言障礙，助力影音內容全球化
背景
ElevenLabs 是一家由 Google 和 Palantir 前員工創立的聲音克隆和合成初創企業。該公司於今年推出了名為 AI Dubbing 的專用產品，可將任何言論（包括長篇內容）翻譯成超過 20 種不同語言。這項技術可幫助使用者將影音內容配音，從而打破多年來一直依賴人工翻譯的傳統方式。對於沒有資源僱傭翻譯人員將其內容翻譯為其他語言的小型內容創作者來說這項技術能夠突破語言障礙，使其內容能夠走向全球。
AI 配音技術的執行原理
AI 配音技術涉及多層次的工作，從去除噪音到語音翻譯等等，但前端使用者並不需要進行這些步驟。他們只需要在 ElevenLabs 上選擇 AI 配音工具，建立一個新專案，選擇源語言和目標語言，然後上傳內容的檔案。檔案上傳後，該工具會自動檢測說話者的數量，然後開始進行翻譯工作，用進度條顯示在螢幕上。這就像網際網路上的任何其他轉換工具一樣。完成後，檔案可以被下載和使用。
在幕後，該工具透過利用 ElevenLabs 的專有方法去除背景噪音，區分音樂和噪音與說話者的實際對話。它識別出說話者何時發言，保持他們的聲音獨特性，以語音到文字模型將其所說的原始語言進行轉錄。然後，將翻譯的文字進行適應（以確保其長度相同），並以目標語言進行發音，以產生所需的語音，同時保留說話者的原始聲音特徵。最後將翻譯的語音與最初從檔案中刪除的音樂和背景噪音進行同步，準備好以供使用。ElevenLabs 稱這項工作是其在聲音克隆、文字和音訊處理以及多語言語音合成方面的研究成果。為了從翻譯的文字中生成最終的語音，該公司使用了其最新的多語言 v2 模型。該模型當前支援包括印地語、葡萄牙語、西班牙語、日語、烏克蘭語、波蘭語和阿拉伯語在內的 20 多種語言，為使用者提供了廣泛的選擇，實現其內容的全球化。
AI 配音的潛在影響
ElevenLabs 的 AI 配音技術為影音內容創作者提供了一個簡單且高效的方式來將其內容轉化為其他語言，從而打破語言障礙，更好地觸及全球受眾。傳統上，內容創作者需要僱用人工翻譯人員進行翻譯，這既耗時又費力。對於資源有限的小型內容創作者來說這更是一個難題。ElevenLabs 的 AI 配音技術有效解決了這一問題，並為這些內容創作者帶來了更大的機會。
然而 AI 配音技術也引發了一些哲學和道德上的問題。在過去配音行業通常是由有專業素養的演員和聲音表演者執行的。他們的聲音和表演使影視作品更加生動和感人。然而現在透過 AI 技術，任何人都可以使用 AI 配音工具來完成這項工作，這可能削弱了專業配音員的需求。
同時當前的 AI 配音技術還存在一些技術約束和局限性。根據據報導，AI 配音技術的文字約束約為 3000 個字元，大約相當於一分鐘的配音時間。此外該技術可能無法應對包含大量背景音樂或噪音的影視內容。因此可以預見，AI 配音技術對於某些特定型別的內容創作者或是對於需要高水準的語音表演的作品可能不太適合。
AI 配音技術的市場前景
根據 Market US 的資料，2022 年全球 AI 配音技術市場價值為 12 億美元，預計到 2032 年將達到近 50 億美元，年複合增長率略高於 15.40%。這顯示了 AI 配音技術在未來的巨大商業潛力。
不僅是 ElevenLabs，其他企業也在 AI 配音和語音合成領域活躍。例如，Microsoft 的 OpenAI 最近將 ChatGPT 打造成了具有多模態能力的工具，能夠回應語音提示，就像 Alexa 一樣進行對話。這家公司也使用語音到文字和文字到語音的模型將音訊轉換為文字，但該技術尚未對外開放，僅限於與選定合作夥伴的合作，以防止濫用能力。此外像 Spotify 這樣的公司也在 AI 配音和翻譯技術方面進行了一些探索，以幫助其播客製作者將內容翻譯成不同的語言，同時保留其自己的聲音特色。
整體而言，AI 配音技術的發展將有助於打破語言障礙，使影音內容更容易被全球觀眾理解和接受。然而我們也應該關注它對專業配音員和語音表演行業的潛在影響，同時要認識到該技術的局限性和約束。
延伸閱讀
- 三星醫聲將以 9270 萬美元收購法國人工智慧超聲波新創公司 Sonio
- Meta 推出的 AI 工具現在能夠創造全新的影象，而非僅僅是更換背景
- 網際網路共同創始人 Robert Kahn 早在幾十年前就已經做到了加密、人工智慧和網際網路嗎？
- 人聲 vs AI：Audible 推出 AI 旁白有機會取代人類旁白嗎？
- 突破獨家訪談：Wayve 共同創辦人 Alex Kendall 談自動駕駛汽車和機器人的未來
- Rad AI 完成由 Khosla Ventures 領投的 5 千萬美元 B 輪融資
- 「Meta AI 對印度男性生成影象時偏好頭巾」
- Quora CEO Adam D’Angelo 分享人工智慧和聊天機器人平臺 Poe，並解釋為何 OpenAI 並非競爭對手
- 在 AI 領域的女性：Tara Chklovski 正在教導下一代的 AI 創新者
- 本週人工智慧大事記：生成式人工智慧與創作者補償的問題
