語音轉語音翻譯 （S2ST） 是打破世界各地人與人之間語言障礙的關鍵。自動 S2ST 系統通常由語音識別、機器翻譯和語音合成子系統級聯組成。然而，此類級聯系統可能會面臨較長的延遲、信息（尤其是副語言和非語言信息）丟失，以及各子系統之間的錯誤疊加等問題。

2019 年，我們推出了 Translatotron，這是首款能夠直接翻譯兩種語言間語音的模型。此款直接 S2ST 模型能夠有效地進行端到端訓練，并擁有一個獨特功能——在生成的翻譯語音中保留源說話者聲音（非語言信息）。

Translatotron

https://ai.googleblog.com/2019/05/introducing-translatotron-end-to-end.html

不過，盡管該模型能夠生成聽起來自然的高保真翻譯語音，但與強大的基準級聯 S2ST 系統（例如，由語音轉文字直接翻譯模型［1、2］和 Tacotron 2 TTS 模型組成的系統）相比，其表現仍然欠佳。

1

https://arxiv.org/abs/1703.08581

2

https://arxiv.org/abs/1811.02050

Tacotron 2

https://ai.googleblog.com/2017/12/tacotron-2-generating-human-like-speech.html

在“Translatotron 2：穩健的語音轉語音直接翻譯 （Translatotron 2:Robust direct speech-to-speech translation）” 一文中，我們介紹了 Translatotron 的一個改進版本。該版本的表現得到顯著提高，同時我們還應用了一種新的方法來將源說話者的聲音轉換到翻譯的語音中。即使輸入語音中存在多位說話者輪流說話的情況，經過修訂的語音轉換方法也能取得成功，同時還能減少濫用的可能性，并且更加符合我們的 AI 原則。使用三個不同語料庫進行的實驗一致表明，Translatotron 2 在翻譯質量、語音自然度和語音穩健性方面的表現明顯優于原始版本 Translatotron。

Translatotron 2：穩健的語音轉語音直接翻譯

https://arxiv.org/abs/2107.08661

AI 原則

https://ai.google/responsibilities/

Translatotron 2

Translatotron 2 由四個主要組件組成：語音編碼器、目標音素 （Phoneme） 解碼器、目標語音合成器，以及將它們連接起來的注意力模塊。編碼器、注意力模塊和解碼器的組合類似于典型的語音轉文字直接翻譯 （ST） 模型。合成器則使用編碼器和注意力模塊的輸出作為條件。

Translatotron 2 的模型架構

（將西班牙語語音翻譯為英語語音）

相較于 Translatotron ，Translatotron 2 的更高表現主要源于以下三點新變化：

1. 盡管在原始版本 Translatotron 中，目標音素解碼器的輸出僅用作輔助損失使用，但在 Translatotron 2 中，它是聲譜圖合成器的輸入之一。這一強大條件使 Translatotron 2 更易于訓練，且表現更好。

2. 與 Tacotron 2 TTS 模型類似，原始版本 Translatotron 中的聲譜圖合成器基于注意力，因此其也存在類似 Tacotron 2 所表現出的穩健性問題。相比之下，Translatotron 2 中使用的是基于持續時間的聲譜圖合成器（類似于 Non-Attentive Tacotron 使用的聲譜圖合成器），這能夠大大提高合成語音的穩健性。

3. Translatotron 和 Translatotron 2，都使用基于注意力的連接到編碼的源語音。然而，在 Translatotron 2 中，這種基于注意力的連接由音素解碼器而非聲譜圖合成器驅動，這確保了聲譜圖合成器所獲取的聲學信息與其合成的翻譯內容相一致，從而有助于在不同說話者輪流說話時保留每位說話者的聲音。

更強大、更負責任的聲音保留

原始版本 Translatotron 能夠在生成的翻譯語音中保留源說話者的聲音，方法是將其解碼器限定于由單獨訓練的說話者編碼器生成的說話者嵌入向量之上。然而，如果使用目標說話者的錄音片段作為說話者編碼器的參考音頻，或者目標說話者的嵌入向量直接可用，則這種方法還能以不同說話者的聲音生成翻譯后的語音。雖然這一功能非常強大，但有可能遭到濫用，如使用任意內容制作欺詐音頻，這會給生產部署帶來問題。

為解決這一問題，Translatotron 2 這樣設計：只使用一個語音編碼器，該編碼器同時負責語言理解和語音錄制。這樣，訓練后的模型便無法用于重現非源語音。這種方法也可以應用于原始版本 Translatotron。

為了在翻譯過程中保留說話者的聲音，研究人員通常傾向于使用兩端都是同一位說話者聲音的平行說話內容來訓練 S2ST 模型。這樣一個兩邊都有人類錄音的數據集很難收集，因為它需要大量流利的雙語使用者。為了避免這一難題，我們使用了 PnG NAT 的修改版本，這是一種能夠跨語言語音轉換來合成此類訓練目標的 TTS 模型。我們的修改版 PnG NAT 模型采用了與舊版 TTS 工作方式相同（即使用的策略與原始版本 Translatotron 相同）的單獨訓練的說話者編碼器，因此能夠實現零樣本語音傳輸。

舊版 TTS 工作方式

https://arxiv.org/abs/1806.04558

以下是使用 Translatotron 2 進行語音轉語音直接翻譯的示例，其中保留了源說話者的聲音：

輸入（西班牙語）：

TTS 合成的參考音頻（英語）：

Translatotron 2 預測（英語）：

Translatotron 預測（英語）：

當輸入語音包含多個說話者輪流說話時，為了使 S2ST 模型能夠在翻譯后的語音中保留每個說話者的聲音，我們提出了一種簡單的基于串聯的數據增強技術，稱為 ConcatAug。該方法會對成對的訓練示例隨機采樣，并將源語音、目標語音和目標音素序列串聯成新的訓練示例，以增強訓練數據。由此得到的樣本在源語音和目標語音中都包含兩位說話者的聲音，這使模型能夠根據不同說話者輪流說話的示例進行學習。以下來自 Translatotron 2 的音頻樣本展示了不同說話者輪流說話的場景：

輸入（西班牙語）：

TTS 合成的參考音頻（英語）：

Translatotron 2（采用 ConcatAug）預測（英語）：

Translatotron 2（未采用 ConcatAug）預測（英語）：

點擊此處獲取更多音頻樣本。

此處

https://google-research.github.io/lingvo-lab/translatotron2/

表現

在我們衡量的各個方面，Translatotron 2 的表現都大大優于原始版本 Translatotron：更高的翻譯質量（以 BLEU 衡量，數值越高越好），更好的語音自然度（以 MOS 衡量，數值越高越好），以及更強的語音穩健性（以 UDR 衡量，數值越低越好）。它在難度更大的 Fisher 語料庫上表現尤為出色。Translatotron 2 在翻譯質量和語音質量方面的表現接近強大的基準級聯系統，并且在語音穩健性方面優于級聯基準。

UDR

https://arxiv.org/abs/2010.04301

Fisher 語料庫

https://catalog.ldc.upenn.edu/LDC2014T23

使用兩個西班牙語-英語語料庫評估的翻譯質量

（以 BLEU 衡量，數值越高越好）

使用兩個西班牙語-英語語料庫評估的語音自然度

（以 MOS 衡量，數值越高越好）

使用兩個西班牙語-英語語料庫評估的語音穩健性

（以 UDR 衡量，數值越低越好）

多語言語音翻譯

除了西班牙語到英語的 S2ST，我們還評估了 Translatotron 2 在多語言情境中的表現，該模型接收四種不同語言的語音輸入并將其翻譯為英語。由于事先未提供輸入語音的語言，這迫使模型需要自行檢測語言。

源語言frdeesca

Translatotron 2 27.018.827.722.5

Translatotron18.910.818.813.9

ST（Wang

等人，2020）27.018.928.023.9

訓練目標 82.186.085.189.3

使用 CoVoST 2 語料庫評估的多語言 X=》En S2ST 表現

Wang 等人

https://arxiv.org/abs/2007.10310

CoVoST 2

https://arxiv.org/abs/2007.10310

在此任務中，Translatotron 2 的表現同樣明顯優于原始版本 Translatotron。盡管 S2ST 和 ST 之間的結果沒有直接可比性，但接近的數字表明Translatotron 2的翻譯質量與基準語音轉文字翻譯模型相當。這些結果表明，Translatotron 2 在多語言 S2ST 上也非常有效。

責任編輯：haq