新創公司 Captions 推出支援 28 種語言的配音應用程式
作者: | 發布時間: 7 小時前
由 AI 驅動的影片編輯新創公司 Captions 最近推出了一款名為 Lipdub 的新應用程式，用於將影片翻譯成 28 種不同的語言。Lipdub 免費提供在 App Store 上，支援多種語言包括法語、印地語、西班牙語、義大利語、葡萄牙語、日語等。該應用程式甚至還讓使用者將影片翻譯成德州俚語、Gen Z 俚語、海盜語和嬰兒語。示範影片顯示，該應用程式還可以根據選定的目標語言改變嘴脣的動作。然而有時音訊和嘴脣動作之間存在一定的延遲。使用者可以將單人講話的一分鐘內的影片翻譯並分享到其他社交媒體平臺上。
Captions 在其網站上表示超過 300 萬創作者使用了其同名影片編輯應用程式。該新創公司聲稱每天擁有超過 10 萬名使用者。Captions 應用程式提供了多個基於 AI 技術的影片編輯功能，例如去除「啊」和「嗯」的聲音，減少背景噪音並增強語音。該應用程式還具備「AI Lipdub」功能，可在事後編輯中改變嘴脣動作，只需更改文字稿。
Captions 公司由 Gaurav Misra 創辦於 2021 年，他在之前的職位上是 Snap 的設計工程主管。今年 6 月，該公司在 Kleiner Perkins 的領投下完成了 2500 萬美元的 B 輪融資，Sequoia Capital、Andreessen Horowitz（a16z）和 SV Angel 等機構也參與了此次投資。到當前為止，Captions 已經籌集到了 4000 萬美元的資金。
運用翻譯和 AI 配音以觸及更廣大的受眾是一種增長趨勢
在六月份，YouTube 宣布正在測試一種基於 AI 技術的工具，讓使用者能夠自動為影片配音成其他語言。該公司表示甚至在致力於改進嘴脣同步技術。上個月，該公司表示正在將基於 AI 技術的配音直接整合到 YouTube Studio 中，以便更輕鬆地將影片轉換成其他語言。本月初，基於 AI 技術的語音生成平臺 ElevenLabs 也推出了支援 29 種語言的配音工具。《世界其他地方》曾報導稱，為像 MrBeast 這樣的熱門 YouTuber 翻譯內容的配音服務提供商正在創造數百萬美元的收入。基於 AI 技術的配音新創公司，如總部位於英國的 Papercup 和以色列的 Deepdub 也很受投資者的關注，已籌集到數百萬美元的資金。
編者意見
隨著全球化的不斷推進和網路影片內容的普及，翻譯和配音工具越來越受到關注。Captions 的新應用程式 Lipdub 以其多語言支援和 AI 技術改變嘴脣動作的能力，為使用者提供了更方便的方式來將影片翻譯成不同語言。這種技術不僅有助於開拓全球市場，也為創作者提供了更多與觀眾互動和交流的機會。
然而使用 AI 進行配音也帶來了一些挑戰。從示範影片中可以看出，Lipdub 在音訊和嘴脣動作之間存在一定的延遲，這可能影響到觀看體驗的一致性和真實感。此外 AI 的翻譯和配音能力仍然有限，可能無法處理特定的語言和方言。對於追求更高質量的翻譯和配音效果的創作者來說專業的配音服務仍然是一個更可靠的選擇。
結論
Captions 的 Lipdub 應用程式為影片創作者提供了一個便捷的工具，讓他們能夠更輕鬆地將影片翻譯成不同的語言。然而使用 AI 進行配音還面臨一些挑戰，如音訊和嘴脣動作之間的延遲和翻譯準確性的約束。對於追求更高質量效果的創作者來說專業的配音服務可能更為可靠。隨著全球化和網路影片的持續發展，翻譯和配音工具將持續吸引關注並推動創新。
延伸閱讀
- 嵌入式金融依然為時尚——會計自動化新創公司 Ember 與英國滙豐銀行達成合作
- 澳洲 Ozempic 病患帶動營養專家新創公司 Fay 躍升，隱藏已久，獲得 General Catalyst 和 Forerunner 兩大公司 2500 萬美元融資
- 新聞標題：嵌入式會計新創公司 Layer 籌得 230 萬美元，力爭取代 Quickbooks
- PayHOA：創業初期就靠自己賺錢的 SaaS 新創公司，成功獲得 2,750 萬美元 A 輪融資
- 物流新創公司 Harbor Lab 以由 Atomico 領投的 1600 萬美元 A 輪融資吸引眼球
- 印度保險新創 Go Digit 在 IPO 前從基石投資者籌集 1.41 億美元
- Pitch Deck 解密：Cloudsmith 的 1,500 萬美元 A 輪融資提案
- AI 晶片新創 DEEPX 以 5.29 億美元估值成功籌得 8000 萬美元 C 輪融資
- Groww 領投印度新創公司回國潮
- 以色列新創公司 Panax 籌集了 1,000 萬美元 A 輪融資，用於其基於人工智慧的現金流管理平臺
