全球影音新創 Captions 推出 AI 配音應用程式 Lipdub，支援 28 種語言
先容
Captions 是一家兩年前成立的人工智慧影音新創公司，創辦人 Gaurav Misra 曾在 Snap 擔任設計工程負責人，也曾在微軟擔任軟體開發工程師。最新訊息顯示，該公司剛剛完成了一輪 2,500 萬美元的融資，並推出了一款名為 Lipdub 的全新 AI 配音應用程式。 Lipdub 能夠自動將任何預錄影片的語音轉為 28 種語言的配音，同時透過人工智慧技術，與配音語言的發音同步嘴型動作。該應用程式當前僅在 iOS 平臺上提供，可免費下載，不需要現有 Captions 帳號。使用者還可以將編輯好的影片釋出到其他流行平臺，如 YouTube、TikTok 和 Instagram Reels。翻譯語言與 Gen Z 俚語
Lipdub 除了在日益擴大的 AI 配音和語音翻譯服務市場上，提供了一種競爭優勢，即能夠使用「方言和甚至詞彙」進行翻譯，其中包括了 Gen Z 和德州俚語等選項。在片段中，Misra 表示：“AI 配音的成功激發了我們將這項技術推向更高層次，並引入同步嘴型動作。”他還表示自那時以來，公司一直致力於使技術普及化，並因此建立並推出了獨立的 Lipdub 應用程式。 Captions 當前擁有超過 10 萬名日常使用者和超過 500 萬名嘗試過其產品的「創作者」。該公司的產品包括 iOS 平臺上的影片創作和編輯應用程式以及嘗試其網站。創作者們可以透過這個網站上傳和壓縮影片、使用 AI Eye Contact 功能來自動糾正沒有看著鏡頭的影片以及自動新增 AI 生成的字幕和標題（正如公司的名字所示）等功能。Captions 的 iOS 應用程式還具有自動修剪（自動刪除“啊”和“嗯”等無意義詞彙）和自動增強語音（去除背景噪音）等功能。 使用 Captions 應用的人包括迪士尼旗下的體育網路 ESPN 和其評論員 Omar Raja，脫口秀節目“Shark Tank”中的“Mr. Wonderful”，Twitch 的創始人 Justin Kan 以及影響力大的 Unnecessary Inventions 等。競爭激烈的市場
這則訊息在競爭對手 ElevenLabs 宣布推出自己的 AI 配音功能之後僅僅數小時內發布。ElevenLabs 由 Google 和 Palantir 的前員工創立，並在今年夏季完成了一輪 1900 萬美元的 A 輪融資。ElevenLabs 還與其他新創公司（如 AI 人格複製/個性化聊天機器人服務 Delphi）進行整合和合作。 然而 ElevenLabs 並不是 Captions 在 AI 配音和影音編輯領域的唯一有巨額融資的競爭對手。Meta Platforms 最近推出了名為 SeamlessM4T 的開源多語言基礎模型，能夠透過語音或文字理解近 100 種語言，並即時生成翻譯。此外其他新創公司，如 MURF.AI、Play.ht 和 WellSaid Labs，提供了“語音克隆”或完全合成的 AI 語音生成技術，可以與影片整合，盡管這些公司更注重音訊，並沒有像 Captions 那樣提供廣泛的影音編輯工具。總結與展望
AI 配音和翻譯領域正變得越來越競爭激烈，許多新創公司都在尋求在這一領域獲得突破。在這方面，Captions 的 Lipdub 應用程式透過其自動同步嘴型動作的功能提供了一種競爭優勢。此外 Captions 的廣泛影音編輯工具也使其與其他新創公司有所區別。 然而隨著市場的競爭加劇，Captions 需要密切關注其他競爭者的新技術和產品。此外它還需要積極探索和迎合使用者的需求，例如提供更多方言和俚語的翻譯選項。Captions 的成功取決於其對最新技術的不斷改進和對流行文化的敏感度。 總而言之，隨著 AI 技術的不斷發展，AI 配音和影音編輯領域將會變得更加繁榮。Captions 作為這一領域的領導者之一，有著巨大的機會在全球市場上取得成功，但必須保持創新和靈活性，以滿足使用者的需求。GenZ,AI 配音應用程式,Lipdub,Captions,全球影音新創-AI 配音應用程式,Lipdub,GenZ,俚語,影音新創,Captions,集團化
