5 月 11 日消息，在 2023 I / O 開發(fā)者大會上，谷歌宣布正在開發(fā)一項(xiàng)名為 Universal Translator 的實(shí)驗(yàn)技術(shù)。
顧名思義，該工具旨在將視頻從一種語言翻譯成另一種語言，同時保留整體基調(diào)和氛圍。這意味著該技術(shù)不僅可以將音頻從一種語言翻譯成另一種語言，還可以模仿說話者的聲音、語氣和面部表情，人物說話視頻會根據(jù)目標(biāo)語言的發(fā)音同步改變口型。
如上圖所示，Universal Translator 首先檢測單詞并進(jìn)行翻譯。然后，它會檢查說話者的語氣以及他們強(qiáng)調(diào)的內(nèi)容。結(jié)合這兩個方面后，它會生成目標(biāo)語言的語音。最后，它會根據(jù) AI 生成的語音的發(fā)音同步視頻中說話者的口型。
考慮到此工具可能被濫用來創(chuàng)建虛假視頻，谷歌表示將限制對 Universal Translator 的訪問。因此，只有谷歌授權(quán)合作伙伴才能將其用于建設(shè)性項(xiàng)目，而普通用戶無法使用。
