目前，谷歌的各種語(yǔ)音搜索應(yīng)用還在使用傳統(tǒng)的自動(dòng)語(yǔ)音識(shí)別（ASR）系統(tǒng)，它包括一個(gè)包括聲學(xué)模型（AM ）、一個(gè)發(fā)音模型（PM）和一個(gè)語(yǔ)言模型（LM），它們都是彼此獨(dú)立訓(xùn)練的，而且需要研究人員在不同數(shù)據(jù)集上進(jìn)行手動(dòng)調(diào)試。例如，當(dāng)聲學(xué)模型采集到一些聲波特征，它會(huì)參考上下文中的音素，有時(shí)甚至是一些無(wú)關(guān)的音素來(lái)生成一系列subword單元預(yù)測(cè)。之后，發(fā)音模型會(huì)在手工設(shè)計(jì)的詞典中為預(yù)測(cè)音素映射序列，最后再由語(yǔ)言模型根據(jù)序列概率分配單詞。

和聯(lián)合訓(xùn)練所有組件相比，這種對(duì)各模型進(jìn)行獨(dú)立訓(xùn)練其實(shí)是一種次優(yōu)的選擇，它會(huì)使整個(gè)過(guò)程更復(fù)雜。在過(guò)去幾年中，端對(duì)端系統(tǒng)開(kāi)發(fā)越來(lái)越受歡迎，它們的思路是把這些獨(dú)立的組件組合成一個(gè)單一系統(tǒng)共同學(xué)習(xí)，但一個(gè)不可忽視的事實(shí)是，雖然端對(duì)端模型在論文中表現(xiàn)出了一定的希望，但沒(méi)人真正確定它們比傳統(tǒng)的做法效果更優(yōu)。

為了驗(yàn)證這一點(diǎn)，近日，谷歌推薦了一篇由Google Brain Team發(fā)表的新論文：State-of-the-art Speech Recognition With Sequence-to-Sequence Models，介紹了一種新的、在性能上超越傳統(tǒng)做法的端對(duì)端語(yǔ)音識(shí)別模型。論文顯示，相較于現(xiàn)在最先進(jìn)的語(yǔ)音識(shí)別工具，谷歌新模型的字錯(cuò)誤率（WER）只有5.6%，比前者的6.7％提升了16%。此外，在沒(méi)有任何預(yù)測(cè)評(píng)分的前提下，用于輸出初始字假設(shè)的端對(duì)端模型在體量上是傳統(tǒng)工具的十八分之一，因?yàn)樗话?dú)立的語(yǔ)言模型和發(fā)音模型。

這個(gè)新模型的系統(tǒng)建立在Listen-Attend-Spell（LAS）端到端體系結(jié)構(gòu)上，該結(jié)構(gòu)由3部分組成，其中Listen組件的編碼器和標(biāo)準(zhǔn)聲學(xué)模型類(lèi)似，把時(shí)頻語(yǔ)音信號(hào)x作為輸入，并用一組神經(jīng)網(wǎng)絡(luò)層將輸入映射為一個(gè)高水平的表征henc。Attend接收前者編碼器的輸出，并用henc來(lái)學(xué)習(xí)輸入x和預(yù)測(cè)subword單元{yn, … y0}之間的對(duì)齊。其中每個(gè)subword單元通常是字形或詞形。組合，Attend組件將輸出傳輸給Spell組件（解碼器），它類(lèi)似語(yǔ)言模型，能產(chǎn)生一組預(yù)測(cè)字詞的概率分布。

不同于傳統(tǒng)的獨(dú)立訓(xùn)練，LAS的所有組件都在一個(gè)單一的端到端神經(jīng)網(wǎng)絡(luò)中聯(lián)合訓(xùn)練，這意味著它更簡(jiǎn)單方便。此外，由于LAS是一個(gè)徹底的神經(jīng)網(wǎng)絡(luò)，所以它不需要外部增設(shè)手工組件，例如有窮狀態(tài)轉(zhuǎn)移機(jī)、lexicon或TN模型。最后，LAS不需要像傳統(tǒng)模型一樣用單獨(dú)系統(tǒng)生成的決策樹(shù)或time alignment來(lái)做Bootstrap，它可以在給定文本轉(zhuǎn)錄和相對(duì)應(yīng)音頻資料的情況下直接訓(xùn)練。

在論文中，谷歌大腦團(tuán)隊(duì)還介紹他們?cè)贚AS中引入各類(lèi)新穎的結(jié)構(gòu)對(duì)神經(jīng)網(wǎng)絡(luò)做了調(diào)整，包括改進(jìn)傳遞給解碼器的attention vector，以及用更長(zhǎng)的subword單元對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練（如wordpiece）。他們也用了大量?jī)?yōu)化訓(xùn)練方法，其中就有使用最低錯(cuò)詞率進(jìn)行訓(xùn)練。這些創(chuàng)新都是端到端模型較傳統(tǒng)性能提升16%的原因。

這項(xiàng)研究另一個(gè)值得興奮的點(diǎn)是多方言和多語(yǔ)言系統(tǒng)，這可能開(kāi)啟一些潛在應(yīng)用，由于它是一個(gè)經(jīng)優(yōu)化的單個(gè)神經(jīng)網(wǎng)絡(luò)，模型的簡(jiǎn)單性使它獨(dú)具吸引力。在LAS中，研究人員可以將所有方言、語(yǔ)言數(shù)據(jù)整合在一起進(jìn)行訓(xùn)練，而無(wú)需針對(duì)各個(gè)類(lèi)別單獨(dú)設(shè)置AM、PM和LM。據(jù)論文介紹，經(jīng)測(cè)試，谷歌的這個(gè)模型在7種英語(yǔ)方言、9種印度語(yǔ)言上表現(xiàn)良好，并超越了對(duì)照組的單獨(dú)訓(xùn)練模型。

雖然這個(gè)數(shù)據(jù)結(jié)果令人興奮，但這暫時(shí)還不是一個(gè)真正成熟的工作，因?yàn)樗€不能實(shí)時(shí)處理語(yǔ)音，而這是它被用于語(yǔ)音搜索的一個(gè)重大前提。此外，這些模型生成的數(shù)據(jù)和實(shí)際數(shù)據(jù)仍存在不小的差距，它們只學(xué)習(xí)了22000個(gè)音頻文本對(duì)話，在語(yǔ)料庫(kù)數(shù)據(jù)積累上遠(yuǎn)比不上傳統(tǒng)方法。當(dāng)面對(duì)一些罕見(jiàn)的詞匯時(shí)，比如一些人工設(shè)計(jì)的專(zhuān)業(yè)名詞、專(zhuān)有名詞，端到端模型還不能正確編寫(xiě)。因此，為了讓它們能更實(shí)用、適用，谷歌大腦的科學(xué)家們未來(lái)仍將面臨諸多問(wèn)題。