在2022年國際口語機器翻譯評測比賽（簡稱IWSLT）中，思必馳-上海交大聯(lián)合團隊(AISP-SJTU)憑借卓越的技術(shù)優(yōu)勢，獲得“英-中同聲傳譯”(Speech-to-Text)賽道冠軍。

2022年第十九屆國際口語機器翻譯大會（International Conference on Spoken Language Translation ，簡稱 IWSLT）在愛爾蘭都柏林落幕。IWSLT是國際上最具影響力的口語機器翻譯評測比賽之一，今年設(shè)置了同聲傳譯、離線語音翻譯等7個任務(wù)。思必馳-上海交大聯(lián)合團隊(AISP-SJTU)本次參加英-中同聲傳譯任務(wù)，以優(yōu)異的成績獲得Speech-to-Text賽道第一名。

論文標題:The AISP-SJTU Simultaneous Translation System for IWSLT2022

任務(wù)和背景

同聲傳譯是僅在部分語音或文本輸入的情況下，逐步生成翻譯結(jié)果的任務(wù)。同聲傳譯包含兩個子任務(wù):

1）Text-to-Text，將流式語音識別（ASR)系統(tǒng)的輸出文本實時從英語翻譯成中文普通話;

2）Speech-to-Text:將英文語音實時翻譯成中文普通話文本。

目前同聲傳譯任務(wù)主要有兩種技術(shù)路線:

1）級聯(lián)技術(shù)。即整個系統(tǒng)由ASR系統(tǒng)和翻譯（MT)系統(tǒng)組成，輸入源語言音頻信號，先經(jīng)過ASR系統(tǒng)轉(zhuǎn)寫成源文本，再經(jīng)過MT系統(tǒng)翻譯為目標語言。

2）端到端技術(shù)。即系統(tǒng)直接將源語言音頻翻譯為目標語言文本，不生成中間字符。相對于級聯(lián)系統(tǒng)上億的數(shù)據(jù)規(guī)模，端到端系統(tǒng)的訓練數(shù)據(jù)極其匱乏，導致其效果遠低于級聯(lián)系統(tǒng)。

圖1. 級聯(lián)語音翻譯

圖2. 端到端語音翻譯

同聲傳譯的系統(tǒng)通過兩種方式進行評估:

1）翻譯質(zhì)量，使用標準BLEU指標評估;

2）翻譯延時，使用流式翻譯的標準指標進行評估，包括平均比例（AP)、平均滯后(AL)、可微平均滯后(DAL)。

最后，比賽主辦方根據(jù)不同延時范圍的翻譯質(zhì)量對提交的同聲傳譯系統(tǒng)進行排名。對于英-中同聲傳譯系統(tǒng)，延時范圍設(shè)置為:

1）低延時，AL數(shù)據(jù)和數(shù)據(jù)處理

文本數(shù)據(jù)預處理

比賽方提供大量的雙語語料和單語語料，通過規(guī)則過濾和匹配模型篩選出優(yōu)質(zhì)的文本數(shù)據(jù)。規(guī)則過濾包括:太長的單詞，長度嚴重失衡的中英雙語句子，過濾帶HTML標簽的句子，刪除重復等等。另外，訓練一個分類模型，過濾語義不匹配的真實雙語和偽雙語數(shù)據(jù)。

文本數(shù)據(jù)擴增

數(shù)據(jù)增強是提升模型效果行之有效的方案。首先使用真實雙語數(shù)據(jù)訓練中-英和英-中離線模型。然后這兩個離線模型分別生成中文單語和英文單語的偽雙語數(shù)據(jù)，用于回譯和知識蒸餾。最后，讓翻譯模型在ASR生成的偽雙語數(shù)據(jù)上進行微調(diào)，來提升翻譯模型的魯棒性。文本數(shù)據(jù)統(tǒng)計如下:

表1. MT訓練數(shù)據(jù)

語音數(shù)據(jù)處理

比賽主辦方提供了6個英文語音數(shù)據(jù)集，共3000小時。采用傳統(tǒng)的語音特征提取方法FBank，特征維度設(shè)置為80，每幀窗口大小25毫秒，窗口滑動步長10毫秒。

語音數(shù)據(jù)擴增

通過增加音頻擾動的方法來獲得擴增音頻，包括聲音大小、速度、基線擾動等。除了CoVoST2這個數(shù)據(jù)集擴增1/3，其他數(shù)據(jù)集的音頻數(shù)據(jù)擴增3倍。音頻數(shù)據(jù)統(tǒng)計如下:

表2. ASR訓練數(shù)據(jù)

技術(shù)解讀

思必馳-上海交大團隊首次參加這類語音翻譯比賽，在充分總結(jié)前人經(jīng)驗的基礎(chǔ)上，積極開拓創(chuàng)新，下面對其關(guān)鍵技術(shù)進行解讀。

技術(shù)1:引入預訓練語言模型，大幅提升ASR性能

近年來，預訓練語言模型（LM），例如BERT，在NLP領(lǐng)域大放異彩，尤其在低資源場景，LM作用更加明顯。如何將語言模型引入ASR模型呢?首先看一下ASR的模型結(jié)構(gòu)，如下圖

圖3. ASR模型和E2E模型結(jié)構(gòu)

ASR模型整體是transformer架構(gòu)，但是Decoder拆分為Jointer和Predictor，其中，Predictor僅包含6層單向自注意力機制，Jointer僅包含6層交叉注意力機制。預訓練語言模型可以替代Predictor，從而ASR的解碼端可以充分利用大數(shù)據(jù)的優(yōu)勢，提升解碼能力。與傳統(tǒng)的預訓練語言模型BERT相比，這里的語言模型需要做兩方面的改變:

1）將傳統(tǒng)的雙向自注意力機制改為單向注意力機制;

2）預測目標改為預測下一個token。用表1中的數(shù)據(jù)訓練分別訓練一個中文語言模型和英文語言模型，并分別用于端到端模型（E2E)和ASR模型，實驗表明，增加LM后對二者均有大幅提升。

表3. 預訓練語言模型效果

技術(shù)2:無限左看，隨機右看

流式翻譯模型的編碼端一般使用單向注意力機制，進一步地，可以設(shè)定一個固定的右看窗口，實現(xiàn)部分雙向注意力機制，來提升編碼能力，如圖4，每個token都可以“看”到所有左側(cè)內(nèi)容，即無限左看，但只能往右看到2個token。本次比賽在CAAT[1]模型的基礎(chǔ)上做了更進一步的改進，提出Dynamic-CAAT，即在訓練過程中，將固定的右看窗口設(shè)為隨機取值，在預測過程中，當有新token輸入時，使用雙向注意力機制重新計算所有token編碼。

圖4. 翻譯模型編碼端注意力機制

實驗表明，Dynamic-CAAT在各類延時級別上都有效果。這樣整個系統(tǒng)只需要一個翻譯模型，而不是訓練多個模型來適應(yīng)不同的延時范圍。

圖5. Dynamic-CAAT的效果

評測結(jié)果

IWSLT2022綜述文章中[2]，主辦方給出的英-中評測結(jié)果顯示思必馳-上海交大團隊（AISP-SJTU）提交的系統(tǒng)在低、中、高三個延時范圍內(nèi)，都超過第二名約2BLEU(具體實驗數(shù)據(jù)見綜述文章143頁)。

圖6. speech-to-text英-中評測結(jié)果

總結(jié)

本次比賽，結(jié)合各種技術(shù)手段打造了英-中同聲傳譯最優(yōu)基線，也對端到端模型做了初步探索。端到端模型在速度和誤差傳導上比級聯(lián)模型更占優(yōu)勢，因此，未來我們希望進一步研究有效的數(shù)據(jù)擴增手段，來提升端到端模型的翻譯效果。

（推廣）