新創公司 Captions 推出支援 28 種語言的配音應用程式
作者: | 發布時間: 7 小時前
由 AI 驅動的影片編輯新創公司 Captions 最近推出了一款名為 Lipdub 的新應用程式，用於將影片翻譯成 28 種不同的語言。Lipdub 免費提供在 App Store 上，支援多種語言包括法語、印地語、西班牙語、義大利語、葡萄牙語、日語等。該應用程式甚至還讓使用者將影片翻譯成德州俚語、Gen Z 俚語、海盜語和嬰兒語。示範影片顯示，該應用程式還可以根據選定的目標語言改變嘴脣的動作。然而有時音訊和嘴脣動作之間存在一定的延遲。使用者可以將單人講話的一分鐘內的影片翻譯並分享到其他社交媒體平臺上。
Captions 在其網站上表示超過 300 萬創作者使用了其同名影片編輯應用程式。該新創公司聲稱每天擁有超過 10 萬名使用者。Captions 應用程式提供了多個基於 AI 技術的影片編輯功能，例如去除「啊」和「嗯」的聲音，減少背景噪音並增強語音。該應用程式還具備「AI Lipdub」功能，可在事後編輯中改變嘴脣動作，只需更改文字稿。
Captions 公司由 Gaurav Misra 創辦於 2021 年，他在之前的職位上是 Snap 的設計工程主管。今年 6 月，該公司在 Kleiner Perkins 的領投下完成了 2500 萬美元的 B 輪融資，Sequoia Capital、Andreessen Horowitz（a16z）和 SV Angel 等機構也參與了此次投資。到當前為止，Captions 已經籌集到了 4000 萬美元的資金。
運用翻譯和 AI 配音以觸及更廣大的受眾是一種增長趨勢
在六月份，YouTube 宣布正在測試一種基於 AI 技術的工具，讓使用者能夠自動為影片配音成其他語言。該公司表示甚至在致力於改進嘴脣同步技術。上個月，該公司表示正在將基於 AI 技術的配音直接整合到 YouTube Studio 中，以便更輕鬆地將影片轉換成其他語言。本月初，基於 AI 技術的語音生成平臺 ElevenLabs 也推出了支援 29 種語言的配音工具。《世界其他地方》曾報導稱，為像 MrBeast 這樣的熱門 YouTuber 翻譯內容的配音服務提供商正在創造數百萬美元的收入。基於 AI 技術的配音新創公司，如總部位於英國的 Papercup 和以色列的 Deepdub 也很受投資者的關注，已籌集到數百萬美元的資金。
編者意見
隨著全球化的不斷推進和網路影片內容的普及，翻譯和配音工具越來越受到關注。Captions 的新應用程式 Lipdub 以其多語言支援和 AI 技術改變嘴脣動作的能力，為使用者提供了更方便的方式來將影片翻譯成不同語言。這種技術不僅有助於開拓全球市場，也為創作者提供了更多與觀眾互動和交流的機會。
然而使用 AI 進行配音也帶來了一些挑戰。從示範影片中可以看出，Lipdub 在音訊和嘴脣動作之間存在一定的延遲，這可能影響到觀看體驗的一致性和真實感。此外 AI 的翻譯和配音能力仍然有限，可能無法處理特定的語言和方言。對於追求更高質量的翻譯和配音效果的創作者來說專業的配音服務仍然是一個更可靠的選擇。
結論
Captions 的 Lipdub 應用程式為影片創作者提供了一個便捷的工具，讓他們能夠更輕鬆地將影片翻譯成不同的語言。然而使用 AI 進行配音還面臨一些挑戰，如音訊和嘴脣動作之間的延遲和翻譯準確性的約束。對於追求更高質量效果的創作者來說專業的配音服務可能更為可靠。隨著全球化和網路影片的持續發展，翻譯和配音工具將持續吸引關注並推動創新。
延伸閱讀
- 荷蘭新創公司 QuantWare 加速量子計算技術的革命之路！
- 長壽專家彼得·阿提亞創立的新創公司終於揭開面紗！
- 巴西牙科服務 BNPL 新創公司 Capim 獲 2670 萬美元 A 輪融資！
- "這家新創公司的小型核反應堆能革新癌症檢測技術嗎？"
- 蘋果智慧助理四月起擴充套件多國語言支援！
- 「四月起，Apple Intelligence 將支援更多語言，技術真革命！」
- 新創公司面臨困境！高估值與收益帶來轉機希望
- 《8 年拼搏與 2000 萬資金投入，金融科技新創公司 Cushion 宣告關閉！》
- 「AI 音訊新星 ElevenLabs 獲 1.8 億美元 C 輪融資，估值高達 33 億美元！」
- 「歐洲嵌入式銀行新創 Swan 再獲 4400 萬美元融資，推動金融科技新潮流！」
