可能原因 1：訓(xùn)練集噪音

在接受硅星人采訪的多位機(jī)器學(xué)習(xí)專家當(dāng)中，大部分人都給這條原因投了票。

形象一點(diǎn)比喻，噪音 (noise) 就是訓(xùn)練翻譯系統(tǒng)的數(shù)據(jù)集里出現(xiàn)的”不正確“的，“臟”的數(shù)據(jù)。

訓(xùn)練一個(gè)優(yōu)秀的NMT系統(tǒng)，需要大量高質(zhì)量的平行語(yǔ)料數(shù)據(jù)——”高質(zhì)量“指的是準(zhǔn)確的翻譯，”平行語(yǔ)料“指的是一句英文一句中文的，”I love you = 我愛(ài)你“，等等。

這些數(shù)據(jù)要去哪里找？英漢辭典是一個(gè)來(lái)源。除此之外，最流行的做法是去互聯(lián)網(wǎng)上抓取，從全網(wǎng)大量的數(shù)據(jù)里，抓取到所需要的高質(zhì)量平行語(yǔ)料。

"you play basketball like caixukun" 被翻譯成了”你的籃球打得真好“，噪音是哪來(lái)的？硅星人發(fā)現(xiàn)有兩種可能性：

比如，網(wǎng)上已經(jīng)存在了大量”caixukun=好“的語(yǔ)料。這些語(yǔ)料在爬取中被微信翻譯當(dāng)成了平行語(yǔ)料并采用了。但是實(shí)際上，這屬于”噪音“，因?yàn)樵诜g的語(yǔ)境下建立不了相關(guān)性，沒(méi)辦法確保是準(zhǔn)確的。微信AI 可能在以后加強(qiáng)類似領(lǐng)域的去噪音。

創(chuàng)辦了一家機(jī)器學(xué)習(xí)公司的韓辰*指出：在訓(xùn)練中，微信翻譯團(tuán)隊(duì)人員可能使用生成對(duì)抗攻擊 (generative adversarial attack) 的方式，做了類似手動(dòng)加入噪音，在訓(xùn)練過(guò)程中主動(dòng)對(duì)類似的翻譯結(jié)果進(jìn)行糾錯(cuò)的操作，最終干擾了翻譯結(jié)果——這是一種可能發(fā)生的情況，我們并不揣測(cè)動(dòng)機(jī)。

用噪音干擾計(jì)算機(jī)視覺(jué)圖像識(shí)別的示例：人類無(wú)法辨認(rèn)的圖片，被深度神經(jīng)網(wǎng)絡(luò)識(shí)別為不同的物體。示例與本文主題無(wú)關(guān)，僅作參考。

在有噪音等異常情況存在的前提下，系統(tǒng)仍然能夠正常訓(xùn)練、工作，給出高質(zhì)量翻譯結(jié)果——這樣的能力在計(jì)算機(jī)科學(xué)里叫做“魯棒性”(robustness)。

王夏指出，魯棒性是NMT以及今后的機(jī)器翻譯技術(shù)都需要改進(jìn)和注意的。

可能原因 2：集外詞

一種可能出現(xiàn)的情況是，在微信翻譯訓(xùn)練用的數(shù)據(jù)集中，壓根就沒(méi)有出現(xiàn)過(guò)"caixukun"這個(gè)詞。

當(dāng)NMT遇到集外詞時(shí)，可能會(huì)進(jìn)行拆解找到集內(nèi)詞。這個(gè)拆解的過(guò)程也是隨機(jī)的，比方說(shuō)它可能拆成了 caix ukun，得到的仍然是集外詞。

集外詞翻譯不好是很正常。如果沒(méi)見(jiàn)過(guò)，那就不會(huì)翻，出現(xiàn)偏差也是情理之中的。

可能原因 3：領(lǐng)域不匹配

”另一種可能出現(xiàn)的情況是領(lǐng)域不匹配 (domains do not match)，“王夏表示，并指出這并不一定是具體案例的情況。

在這個(gè)具體案例中，句子里出現(xiàn)了 basketball（籃球），而微信翻譯的訓(xùn)練數(shù)據(jù)集可能沒(méi)有籃球領(lǐng)域的，或者跟籃球有關(guān)的非常少。一個(gè)不匹配的領(lǐng)域，再加上句子里還有一個(gè)集外詞，共同作用使得翻譯結(jié)果很難正確。

這個(gè)解釋行得通。比方說(shuō)商貿(mào)往來(lái)是大部分微信用戶使用翻譯的原因，那么微信在訓(xùn)練NMT時(shí)可能用了貿(mào)易領(lǐng)域的數(shù)據(jù)集；籃球不是微信翻譯用戶的主要場(chǎng)景，那么在訓(xùn)練時(shí)也許就沒(méi)有用籃球的數(shù)據(jù)集。

如果因?yàn)榧庠~和領(lǐng)域不匹配而出了錯(cuò)，你也不能怪它。沒(méi)學(xué)過(guò)的東西，它又怎么可能會(huì)呢？

微信AI 的官方網(wǎng)站

可能原因 4：奇怪單詞+無(wú)法引入常識(shí)

這個(gè)原因也是由NMT的工作原理導(dǎo)致的。

NMT對(duì)于長(zhǎng)句子、段落，甚至一整篇文章的翻譯效果很不錯(cuò)。這得益于它的機(jī)制，在翻譯某個(gè)詞時(shí)能夠貼合上下文的語(yǔ)境。

但是在短句上，它就不一定靈了——特別是當(dāng)這個(gè)句子完全不通順的時(shí)候。

可能因?yàn)樵?you play basketball like caixukun"這句話中，caixukun 是一個(gè)非常奇怪的單詞。它既沒(méi)有出現(xiàn)在任何一本英語(yǔ)辭典當(dāng)中，看上去跟句子的上下文也沒(méi)什么關(guān)系。

微信翻譯的訓(xùn)練，可能發(fā)生在蔡徐坤成為 NBA 中國(guó)新春賀歲大使之前

人類在翻譯的時(shí)候，能夠參考已有的常識(shí)、知識(shí)，翻不出來(lái)也可以去查資料。NMT卻做不到這一點(diǎn)，當(dāng)它在工作的時(shí)候，它并不具備一個(gè)常識(shí)庫(kù)可以去參考。

而且，這一點(diǎn)并不是微信做不好——現(xiàn)在去用同樣的句子考考 Google Translate，得到的結(jié)果也不令人完全滿意。

“這個(gè)（無(wú)法引入常識(shí)的）問(wèn)題不僅體現(xiàn)在翻譯任務(wù)上，還包括閱讀理解、問(wèn)答等任務(wù)。如何在這一點(diǎn)上做改進(jìn)，是個(gè)很有趣的方向，大家也都還在探索，”王夏表示。

所以，微信做錯(cuò)了嗎？