
世界上許多語言正面臨消失的危機,而現有的語言辨識與生成技術上的限制更加快此趨勢。Meta發表一系列的AI模型,希望藉此幫助大家以自己習慣的語言,更輕鬆地獲取資訊及使用電子裝置。
Meta的大規模多語言語音(Massively Multilingual Speech,或簡稱為 MMS)模型擴展文字轉語音及語音轉文字技術的應用範圍,從最初的100種語言,至今已可轉換超過1千1百種語言,超越過去的10倍,此外,還能夠辨識超過4千種口語語言,是過去的40倍。這項技術已有許多應用案例,從VR、AR至訊息服務,不僅能夠使用偏好的語言操作,更可理解出每個人的聲音。Meta將開源這項技術的原始碼及模型,讓研究社群能夠以現有的工作成果為基礎繼續開發,一同保存全球的語言,並拉近人們之間的距離。
開發方式
過去最大型的語音資料庫最多僅涵蓋100種語言,因此開發此技術所面臨的第一個挑戰即為「蒐集數千種語言的語音訓練資料」。為了克服這項挑戰,Meta使用已翻譯成多種語言、譯文已被廣泛閱讀及研究的宗教經典,例如《聖經》,作為語言的文字訓練資料。
聖經譯文有多種語言的公開錄音檔,作為大型多語言語音模型計畫的一部分,Meta創造的資料集,蒐集超過1千1百種語言的《新約聖經》有聲讀物資料集,平均為每種語言提供32小時的語音訓練資料,後續又加入其他未標註的基督教有聲讀物後,可用的語言訓練資料已涵蓋超過4千種語言。雖然資料集收錄的聲音以男性居多,但測試成果顯示,不論是男性或女性的聲音,此語音模型皆能同等準確地辨識。此外,上述的語言訓練資料大多為宗教相關的內容,但我們的分析顯示,這並不會使模型傾向於生成出更多的宗教性質的語言。
Meta將持續擴增大規模多語言語音模型的涵蓋範圍,以支援更多語言的轉換及辨識,並努力克服現有語音技術難以處理方言的挑戰。
延伸閱讀:
Meta為廣告主推出AI測試沙盒「高效速成套件」再升級
Adobe攜手Google合作!Firefly為百萬用戶提供以創作者為中心的商用生成式AI