來源 | 雷鋒網
5月29日~30日,2018第六屆TopDigital創新發布盛典暨創新獎頒獎典禮在上海舉行。TopDigital追蹤數字技術浪潮下的創新發展,覆蓋TMT(Technology/Media/Telecom)、ABC(AI/Big Data/Cloud Computing)、大文創、泛金融等行業領域,吸引了來自國內外數百家企業和上千名專業人士參與。
作為國際大會,如何讓不同語言文化的參會者實現無障礙溝通是大會的基本。雷鋒網了解到,作為此次峰會的合作伙伴,搜狗將全程提供人工智能同傳展示。
在國內外專家和企業的高端對話中,搜狗的人工智能同傳提供了強力的支持,讓與會者無需擔心語言問題。會場兩側屏幕上以中英雙語實時展示嘉賓發言內容,翻譯速度幾乎與嘉賓發言速度一致。雙語字幕不僅能讓與會者高效直觀的獲取演講內容,實時文字記錄也能為會后的資料整理節省大量的時間。
自2016年誕生以來,搜狗同傳已經支持了數百場國內外會議,多次應用于GMIC、中國車聯網博覽會、世界電信和信息大會、全球人工智能技術大會等前沿國際科技大會,成為國際頂端會議的標配。
2017年,由中國計算機學會(CCF)主辦,雷鋒網(公眾號:雷鋒網)、香港中文大學(深圳)承辦的全球人工智能與機器人峰會(CCF-GAIR)上,搜狗同傳也作為合作伙伴為大會提供同傳支持。
據了解,搜狗同傳不僅能流暢地記錄、翻譯內容,還能很好地識別詞語和句子的停頓。這種復雜的同傳工作難度極大,需要覆蓋語音斷句、語音識別、文本斷句、機器翻譯等多個技術維度,才能構成穩定可靠的臨場表現。
不同于傳統的機器翻譯,實時翻譯技術包括語音識別、機器翻譯兩個大方向,還有一些細節優化與系統調優。搜狗同傳將語音識別與機器翻譯技術結合在了一起,希望提供從聽到說、能理解會思考的能力。
搜狗的翻譯團隊在自然語言處理和深度學習方面有非常深厚的積累,與谷歌GNMT的八層結構相比,搜狗同傳的神經網絡精簡為五層,在效率上可獲得不小的提高。
在搜狗同傳的技術框架中,語音斷句算法通過能量檢測和基于深度學習模型的方式,對語音信號進行語音和靜音的判斷,這樣可以跳過對靜音片段的處理以提升解碼效率,同時語音片斷可以分割成多句并行識別,大大提高語音識別的效率。
語音識別部分,搜狗同傳使用了CLDNN CTC結合的聲學模型和RNNLM語言模型,把經過語音斷句后的片段,通過聲學模型和語言模型轉化成文本,保證識別輸出結果更加通順、流暢,符合正常的發言習慣。
而在語音識別和翻譯之間,最關鍵的橋梁則是文本斷句,這個模塊是搜狗的語音同傳技術可以應用的重要原因。文本斷句通過內容平滑技術去掉無意義詞語,使句子變得通順,然后通過規則和模型兩種方法進行語句劃分并加標點。
搜狗用到了雙向 GRU 技術構建編碼端的結構。通過 attention 機制在源端和目標端文本間進行對齊并生成當前時刻的句子級向量表示,并送至解碼端,解碼端逐詞解碼輸出翻譯結果。
搜狗同傳將語音識別與機器翻譯技術結合在了一起,采用端到端的神經網絡翻譯技術,通過編碼端獲取源端句子的分布式表示,利用注意力模型聚焦源端,使用循環神經網絡生成翻譯結果,翻譯的結果相比傳統機器翻譯大約能高出30%~40%。
搜狗同傳還創新性地將許多自然語言處理門類中非翻譯任務的方法用于機器翻譯中,通過向神經網絡添加額外的機器學習模塊來提升質量,點對點解決神經機器翻譯中的具體問題。
例如,搜狗同傳使用了如下四類技巧來提升模型質量:
用命名實體標注模型(NER)和神經網絡實體翻譯器對人名的罕見詞進行翻譯;
多模型集成(ensemble)來給出最優翻譯結果;
重打分/重排序(rescore or rerank)機制選出最優翻譯;
采用了Geoffrey Hinton團隊提出的網絡層正則化(layer normalization)技術,提高模型訓練效率,同時改善模型的翻譯質量。
除此之外,機器翻譯的最終效果不僅和算法相關,還和數據密不可分。對同傳來說,人們希望以更加自然、接近人和人交互的方式來進行,同時也希望翻譯引擎能更多的理解人的語言需求,在合成時的語言表達更加自然。
搜狗作為一家搜索公司積累的龐大語料庫,對機器翻譯效果的提升有很大幫助。根據搜狗方面給出的預測數據,目前搜狗語音識別的準確率為97%,支持最快每秒400字的高速聽寫,語音輸入日頻次高達3.4億次,搜狗語音翻譯的準確率則可以達到90%。
實現全人類之間的順暢交流一直是人類的夢想,如今人工智能讓人們看到了實現這一夢想的希望,這也是AI翻譯讓大眾持續興奮、讓技術公司和研究人員保持動力的最大原因。
回想一年之前,人們還自信地認為AI取代傳統人工同聲傳譯“為時尚早”,但在短短一年時間里,搜狗同傳就已經支持了數百場國內外會議,多次應用于前沿國際科技大會,成為國際頂端會議的標配,充分展示了國內企業在人工智能技術領域的發展和實力。
搜狗同傳是AI技術落地實際應用的優秀案例,在本次大會的亮相更是反映出AI技術在應對全球跨語言交流、提高人類工作效率方面所具有的巨大潛力,為與會的各界人士對未來人工智能技術的普遍應用帶來信心和期待。
相信在未來,搜狗同傳會在更多領域大展身手,帶動翻譯行業產生新的質變。