近期，網(wǎng)易有道在翻譯技術(shù)領(lǐng)域取得了重大突破，成功研發(fā)出基于自研“有道翻譯大模型2.0”的140億參數(shù)小模型專用版，這一消息由AsianFin獲悉。
這款新型翻譯模型不僅保持了高水平的翻譯質(zhì)量，更在降低計(jì)算資源消耗、減少部署成本以及提升與現(xiàn)有系統(tǒng)和設(shè)備的兼容性方面表現(xiàn)出色。此次升級(jí)使得該技術(shù)得以更廣泛地應(yīng)用于實(shí)際場(chǎng)景中。
網(wǎng)易有道已將這一大型模型驅(qū)動(dòng)的翻譯技術(shù)融入其有道詞典、有道翻譯及有道翻譯官等產(chǎn)品中。用戶現(xiàn)在可以在標(biāo)準(zhǔn)模型與高級(jí)模型之間進(jìn)行無(wú)縫切換，享受更加靈活高效的翻譯服務(wù)。
網(wǎng)易有道還將其大型模型集成至智能硬件產(chǎn)品中。其中，有道詞典筆X7系列已率先升級(jí)至最新版本，其他設(shè)備也將陸續(xù)跟進(jìn)。
大型語(yǔ)言模型的性能并非單純由參數(shù)數(shù)量決定，數(shù)據(jù)質(zhì)量、領(lǐng)域適應(yīng)性以及算法優(yōu)化同樣至關(guān)重要。網(wǎng)易有道的140億參數(shù)小模型專用版在數(shù)據(jù)處理方面取得了顯著進(jìn)展，利用由資深英語(yǔ)專家和專業(yè)翻譯人員精心標(biāo)注的高質(zhì)量翻譯語(yǔ)料庫(kù)，極大地提升了模型在多種翻譯場(chǎng)景下的應(yīng)對(duì)能力。
在算法層面，有道在“有道翻譯大模型”的基礎(chǔ)上進(jìn)行了二次預(yù)訓(xùn)練，打造出兼顧專業(yè)準(zhǔn)確性和領(lǐng)域特異性的翻譯基礎(chǔ)模型。通過(guò)采用大型模型蒸餾、模型融合及在線直接偏好優(yōu)化（Online DPO）等技術(shù)，有效避免了災(zāi)難性遺忘問(wèn)題，同時(shí)在操作效率、準(zhǔn)確性和流暢性方面顯著提升了翻譯性能。
為了評(píng)估模型性能，有道開發(fā)了一款名為“Reward Model”的翻譯評(píng)估工具，該工具利用積累的翻譯數(shù)據(jù)為評(píng)估提供可靠的量化基礎(chǔ)。同時(shí)，結(jié)合全面的手工評(píng)估框架，實(shí)現(xiàn)了對(duì)模型翻譯結(jié)果的多維度分析。
“有道翻譯大模型2.0”在中文到英文的翻譯方面，尤其是在垂直領(lǐng)域場(chǎng)景中，表現(xiàn)出色。有道內(nèi)部評(píng)估顯示，新模型在人文、商務(wù)、生活服務(wù)、醫(yī)療健康及科學(xué)等19個(gè)垂直領(lǐng)域均展現(xiàn)出更高的準(zhǔn)確性和流暢性。在專業(yè)性、準(zhǔn)確性、語(yǔ)言規(guī)范及風(fēng)格方面均優(yōu)于前代版本。
網(wǎng)易有道相關(guān)負(fù)責(zé)人強(qiáng)調(diào)了垂直模型的重要性：“通用大模型在參數(shù)和計(jì)算能力上競(jìng)爭(zhēng)激烈，但翻譯的專業(yè)性不能僅憑參數(shù)堆疊實(shí)現(xiàn)。在通用大模型競(jìng)相擴(kuò)大規(guī)模的同時(shí)，我們堅(jiān)信垂直模型的未來(lái)價(jià)值。我們致力于通過(guò)專用應(yīng)用解決專業(yè)場(chǎng)景中的痛點(diǎn)?！?/p>
在大模型技術(shù)興起之前，有道的翻譯解決方案主要基于統(tǒng)計(jì)機(jī)器翻譯和神經(jīng)機(jī)器翻譯（NMT）。如今，有道的翻譯產(chǎn)品已擁有超過(guò)10億用戶。據(jù)Quest Mobile數(shù)據(jù)顯示，網(wǎng)易有道詞典月活躍用戶已突破1億，自2019年以來(lái)連續(xù)六年蟬聯(lián)教育工具類榜首。
