ElevenLabs 推出全新多語言文字轉語音模型，消除跨越語言障礙
Eleven Multilingual v2：它的用途是什麼？
ElevenLabs 是一家成立僅一年的初創企業，利用機器學習技術進行語音克隆和合成。如今他們宣布擴充其平臺，推出支援 30 種語言的新文字轉語音模型。這次擴充標誌著該平臺正式從測試階段退出，可以供企業和個人使用，以定制他們的內容以適應全球觀眾。此舉發生在 ElevenLabs 最近成功完成的 1,900 萬美元 A 輪融資後，該輪融資將 ElevenLabs 估值提高至近 1 億美元。
ElevenLabs 提供兩種主要的以語音為焦點的人工智慧產品：語音合成和 VoiceLab。前者是一個合成工具，可以從文字輸入生成自然而聽起來真實的語音。後者則是一種附加功能，使使用者能夠克隆自己的聲音或生成全新的合成語音（透過隨機取樣語音引數），並與合成工具一起使用。使用者只需建立自己的定制語音，然後將其應用於文字轉語音工具中，即可輕鬆地將任何選擇的短篇或長篇內容轉換為其首選的語音。另外他們還可以使用公司提供的預先製作的 AI 語音，或者使用由社群共享的 AI 語音。最初，該合成工具僅能以英語生成語音。後來，它擴充套件為 Eleven Multilingual 版本 1，能夠使用文字輸入和 AI 語音生成六種語言的語音：英語、波蘭語、德語、西班牙語、法語、義大利語、葡萄牙語和印地語。隨著 Eleven Multilingual 版本 2 的問世，該產品現在可以使用 30 種語言合成語音，包括韓語、荷蘭語、土耳其語、瑞典語、印度尼西亞語、越南語、菲律賓語、烏克蘭語、希臘語、捷克語、芬蘭語、羅馬尼亞語、丹麥語、保加利亞語、馬來語、匈牙利語、挪威語、斯洛伐克語、克羅埃西亞語、古典阿拉伯語和泰米爾語。這個新功能意味著一個人可以克隆自己的聲音，並用它生成多種語言的語音，以應對不同市場。
根據 ElevenLabs 的介紹，使用者只需以他們選擇的語言輸入文字，選擇他們想要的語音（預先製作的、合成的或克隆的），並調整一些語音引數。模型將自動識別所寫語言並使用設定的引數合成該語言的語音，同時保持所選語音在所有語言中的獨特特徵，包括其原始口音。
語音合成工具的廣泛應用
自從測試版推出以來，ElevenLabs 已經吸引了企業和創作者的興趣，聲稱在全球註冊了超過一百萬使用者。最新的產品發布預計不僅將增加平臺的使用者基數，還將增加其每天生成的內容量。
ElevenLabs 的 CEO Mati Staniszewski 解釋說：“我們有許多企業客戶使用我們的產品，他們的用例各不相同，從在影片遊戲中為角色配音到為客戶服務虛擬形象提供配音，從錄製有聲書到為視力受損的人創造內容。”最近，該公司與 ArXiv 合作，為所有論文提供音訊版本以增強可存取性。此外它還與 Storytel 合作，為有聲書提供其他 AI 語音選項，此外還配有人類旁述員。在未來，CEO 希望該技術可以實現將整部電影無縫配音成多種語言，同時保留原始演員的口音和情感。
更多即將推出
作為 ElevenLabs 的使命的一部分，他們計劃透過增加更多的語言和功能來擴充套件他們的產品，其中包括一個專案工具，讓使用者更容易地組織和編輯他們的長篇內容。根據 Staniszewski 的說法，這將為從長篇內容生成語音提供“Google Docs”級別的簡單性。此外他指出：“到今年年底，我們還計劃推出 AI 配音工具的測試版，使用者可以即時將語音從一種語言轉換為另一種語言，同時保留原始演講者的聲音。”
在這個以 AI 為動力的語音和語音生成領域，ElevenLabs 競爭對手如 MURF.AI、Play.ht 和 WellSaid Labs。根據 Market US 的資料，2022 年這類工具的全球市場價值為 12 億美元，預計到 2032 年將達到近 50 億美元，年均增長率略高於 15.40%。
延伸閱讀
- Text-to-speech app Speechify 推出 Gmail 整合和語音克隆功能
- 史上最大的文字轉語音 AI 模型體現「新興能力」
- AI 深偽技術悔改者的告白: 揭開使用 ElevenLabs 複製 Jill Biden 聲音的真相
- 薩姆（Sam）還能說什麼呢？
- ElevenLabs 推出 AI 配音技術，將影音檔翻譯成 20 種語言
- Reddit 使用者現在可以在手機上將貼文翻譯成其他語言了
- Threads 擴大搜尋範圍至「大部分」講英語和西班牙語國家，包括美國
- Calm 和 TikTok 的文字轉語音藝術家合作，推出全新的睡前故事
- 「ElevenLabs 的語音生成工具正式上線，讓你的聲音直接在手中！」
- Meta 釋出多語言演說翻譯模型
