截止2019年12月31日，小米集團(tuán)共提交專利申請(qǐng)33000余件，其中AI領(lǐng)域?qū)＠暾?qǐng)數(shù)量已進(jìn)入全球互聯(lián)網(wǎng)企業(yè)第一陣營(yíng)。
2019年，小愛同學(xué)推出了很多好用有趣的重磅功能（詳見《2019新功能大盤點(diǎn)，這20個(gè)小愛同學(xué)新玩法你都用過(guò)嗎？》），比如全新的小愛同學(xué)3.0，不僅擁有了新男生聲音，小愛同學(xué)也成為首個(gè)在手機(jī)上實(shí)現(xiàn)連續(xù)對(duì)話功能的智能語(yǔ)音助理，引領(lǐng)行業(yè)發(fā)展新潮流。在小愛同學(xué)持續(xù)進(jìn)化的背后，是小米AI技術(shù)的強(qiáng)大支撐和不斷深耕。小米AI實(shí)驗(yàn)室主任、
小米NLP首席科學(xué)家“總體而言，剛剛過(guò)去的2019年，小愛同學(xué)一方面在不斷夯實(shí)基礎(chǔ)技術(shù)，包括基礎(chǔ)NLP、基本的語(yǔ)音識(shí)別及喚醒、智能問答、人機(jī)對(duì)話等，另一方面也在研制使得小愛同學(xué)更加個(gè)性化、更加智能化的相關(guān)技術(shù)，包括端到端個(gè)性化語(yǔ)音識(shí)別與合成、多輪連續(xù)對(duì)話、就近喚醒、分布式放音、離線機(jī)器翻譯等等。借助于公司強(qiáng)大的智能硬件生態(tài)，包括端到端語(yǔ)音識(shí)別、就近喚醒、分布式放音、離線機(jī)器翻譯等在內(nèi)的部分技術(shù)達(dá)到了行業(yè)一流水平。未來(lái)我們將進(jìn)一步深入研究多模態(tài)交互、復(fù)雜任務(wù)連續(xù)對(duì)話、深度內(nèi)容理解、用戶行為分析等技術(shù)，期待打造一個(gè)更加完美的小愛同學(xué)，給用戶帶來(lái)極致的體驗(yàn)?！?/span>
2019年，是小米AI技術(shù)狂飛猛進(jìn)的一年。小愛同學(xué)強(qiáng)大功能背后到底隱藏了哪些前沿技術(shù)？接下來(lái)，我們按照小愛同學(xué)背后的技術(shù)流程（聲學(xué) → 語(yǔ)音 → NLP → 服務(wù) → 自然連續(xù)對(duì)話 -> 個(gè)性化助理），帶你走近平時(shí)你可能毫無(wú)感覺的幾百毫秒！看看背后蘊(yùn)藏著多少小米AI技術(shù)，多少小米工程師的心血。↓↓↓
當(dāng)你同時(shí)擁有多個(gè)內(nèi)置小愛同學(xué)的設(shè)備，就可以使用這項(xiàng)功能，再也不用擔(dān)心多個(gè)小愛同學(xué)被同時(shí)喚醒，就近喚醒功能會(huì)幫你找到最適合進(jìn)行交互的那個(gè)TA。2018年4月，小米基于分布式拾音技術(shù)的就近喚醒功能在國(guó)內(nèi)智能音箱行業(yè)進(jìn)行首發(fā)，領(lǐng)先其他品牌一年時(shí)間。目前為止，就近喚醒功能已在小愛音箱、小米電視、IoT設(shè)備三個(gè)品類的10余款產(chǎn)品上線。小米多設(shè)備就近喚醒算法可以根據(jù)用戶喚醒時(shí)的距離、朝向等維度智能判決，選擇用戶期望的音箱響應(yīng)，解決了多設(shè)備喚醒一呼百應(yīng)的問題，大幅度提升了用戶體驗(yàn)。目前，就近喚醒功能已上線小米AI音箱、小愛音箱mini、小米小愛智能鬧鐘、小米壁畫電視、小愛觸屏音箱、小愛音箱萬(wàn)能遙控版、小愛音箱Play、小米小愛音箱、小米小愛音箱Pro、小米小愛音箱HD、小米電視5、Redmi小愛音箱Play、小愛觸屏音箱Pro 8等13款產(chǎn)品。峰米投影儀、手機(jī)等設(shè)備也即將支持就近喚醒。立體聲全屋播放，即2臺(tái)音箱組成立體聲，支持多房間音樂播放、全屋同時(shí)播放的功能。2019年9月20日，小米基于分布式放音技術(shù)的組合立體聲功能在小米小愛音箱Pro正式發(fā)布，在智能音箱行業(yè)屬于國(guó)內(nèi)首發(fā)，功能上線后收獲好評(píng)連連。音箱立體聲在行業(yè)內(nèi)最大的問題就是音效不同步，小米工程師將這個(gè)誤差做到了500微秒以內(nèi)（幾乎無(wú)感知），整體體驗(yàn)行業(yè)領(lǐng)先。立體聲全屋播放功能通過(guò)音頻壓縮技術(shù)避免了高帶寬占用導(dǎo)致播放卡頓問題，同時(shí)又極致地還原出最真實(shí)的聽感。未來(lái)，會(huì)把這項(xiàng)技術(shù)應(yīng)用到更多的小米設(shè)備上，相信在“5G+AIoT”趨勢(shì)下，帶來(lái)的體驗(yàn)會(huì)更棒。
在日常生活場(chǎng)景中，如果說(shuō)話的人距離智能設(shè)備的麥克風(fēng)較遠(yuǎn)，加上周圍存在的噪聲、多徑反射和混響，會(huì)導(dǎo)致麥克風(fēng)收取信號(hào)的質(zhì)量下降，嚴(yán)重影響語(yǔ)音識(shí)別率。針對(duì)這一問題，2019年，小米聲學(xué)與語(yǔ)音團(tuán)隊(duì)聯(lián)合推出了自主研發(fā)的陣列喚醒算法，并于2月20日上線小米AI音箱，有效提升噪聲場(chǎng)景平均喚醒率及回聲場(chǎng)景平均喚醒率。9月20日發(fā)布的小愛音箱Pro及小愛音箱全量采用六麥自主研發(fā)的陣列喚醒算法，成為小米首款落地的全自主研發(fā)的智能音箱。同時(shí)，小米在業(yè)內(nèi)首創(chuàng)實(shí)時(shí)麥克風(fēng)檢測(cè)算法，可及時(shí)發(fā)現(xiàn)麥克風(fēng)異常并解決問題。目前該算法已落地小米AI音箱和小愛音箱Pro、小愛音箱3款產(chǎn)品，檢測(cè)準(zhǔn)確率和召回率均達(dá)到95%以上，可以更好地解決用戶遇到的問題。未來(lái)，也會(huì)將這項(xiàng)技術(shù)應(yīng)用到更多的小米設(shè)備中。
隨著智能音箱等語(yǔ)音設(shè)備越來(lái)越多，不同產(chǎn)品的體驗(yàn)參差不齊，除了算法的影響，設(shè)備自身硬件尤其是聲學(xué)硬件質(zhì)量起著決定性作用。產(chǎn)線測(cè)試作為保證產(chǎn)品質(zhì)量的最后一道防線，其方案的完善性、準(zhǔn)確性直接影響產(chǎn)品質(zhì)量。依托于小米聲學(xué)測(cè)試實(shí)驗(yàn)室自主研發(fā)的聲學(xué)硬件測(cè)試平臺(tái)，部分測(cè)試算法在產(chǎn)線測(cè)試上應(yīng)用，相較于第三方的大部分算法依賴外部計(jì)算儀器的測(cè)試系統(tǒng)，自主研發(fā)產(chǎn)線算法直接運(yùn)行在待測(cè)設(shè)備上，提高了測(cè)試效率，追蹤效果更好，問題修正改進(jìn)速度也更快。
小米人工智能部聲學(xué)項(xiàng)目榮獲2019小米年度質(zhì)量獎(jiǎng)一等獎(jiǎng)！小米質(zhì)量獎(jiǎng)是集團(tuán)內(nèi)的最高質(zhì)量榮譽(yù)，旨在表彰積極推動(dòng)質(zhì)量改善、在質(zhì)量活動(dòng)中具有突出示范作用、為提高產(chǎn)品與服務(wù)質(zhì)量做出杰出貢獻(xiàn)的團(tuán)隊(duì)，以此鼓勵(lì)小米人全力打造質(zhì)量品牌。
小米首創(chuàng)的智能家居遠(yuǎn)場(chǎng)聲學(xué)實(shí)驗(yàn)室，分別從不同說(shuō)話人、不同聲學(xué)場(chǎng)景等維度，全面評(píng)測(cè)智能產(chǎn)品的語(yǔ)音交互功能，保障用戶擁有更加流暢智能的使用體驗(yàn)。日前，小米的聲學(xué)認(rèn)證標(biāo)準(zhǔn)被中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟正式采納，小米公司還與該聯(lián)盟及中國(guó)信息通信研究院聯(lián)合成立人工智能聲學(xué)實(shí)驗(yàn)室。小米將不斷探索人工智能領(lǐng)域的前沿技術(shù)和產(chǎn)業(yè)應(yīng)用，推動(dòng)人工智能技術(shù)的創(chuàng)新發(fā)展。在AIoT時(shí)代，語(yǔ)音喚醒和語(yǔ)音識(shí)別作為智能設(shè)備人機(jī)交互的關(guān)鍵環(huán)節(jié)，有著至關(guān)重要的作用。語(yǔ)音喚醒分為近場(chǎng)和遠(yuǎn)場(chǎng)兩種形式。目前，業(yè)內(nèi)近場(chǎng)語(yǔ)音能力已經(jīng)達(dá)到了較高的水平，但在更復(fù)雜的遠(yuǎn)場(chǎng)環(huán)境中，比如在說(shuō)話距離遠(yuǎn)、噪聲干擾、混響干擾等情況下，喚醒和識(shí)別仍然具有挑戰(zhàn)性。如何讓遠(yuǎn)場(chǎng)語(yǔ)音性能達(dá)到和媲美近場(chǎng)語(yǔ)音相近的水平，一直是困擾業(yè)界語(yǔ)音工程師的一大難題。鑒于此，小米語(yǔ)音團(tuán)隊(duì)自主研發(fā)“多通道端到端語(yǔ)音識(shí)別技術(shù)”，顯著提高喚醒率和識(shí)別率，在遠(yuǎn)場(chǎng)環(huán)境下，喚醒更靈敏，識(shí)別率更高，比“傳統(tǒng)多通道陣列增強(qiáng)模塊加單通道語(yǔ)音技術(shù)”擁有更好的使用體驗(yàn)。為了更準(zhǔn)確地識(shí)別出目標(biāo)語(yǔ)音，傳統(tǒng)多通道陣列增強(qiáng)技術(shù)會(huì)使用空間濾波或語(yǔ)音分離算法，但這些算法引入了較多先驗(yàn)假設(shè)，在一些不符合假設(shè)的場(chǎng)景下，性能會(huì)明顯下降。另外，這項(xiàng)技術(shù)是由多個(gè)技術(shù)模塊串聯(lián)組成，每一個(gè)模塊可能引入誤差，最后整體產(chǎn)生的誤差較大。2018年，小米開始驗(yàn)證端到端語(yǔ)音喚醒和識(shí)別的思路，小米自主研發(fā)“多通道端到端語(yǔ)音識(shí)別技術(shù)”，直接用一個(gè)網(wǎng)絡(luò)中不同層去替代之前的多個(gè)模塊，最后有一個(gè)一致化的目標(biāo)，避免誤差的逐級(jí)傳播，迭代周期短并且優(yōu)化效果立竿見影。小米語(yǔ)音團(tuán)隊(duì)自主研發(fā)的“多通道端到端語(yǔ)音識(shí)別技術(shù)”今年即將落地到小米產(chǎn)品上，這項(xiàng)技術(shù)將顛覆傳統(tǒng)聲學(xué)算法，大大減少對(duì)硬件的成本要求（更少芯片、更低功耗），以后大家花更少的錢可以買到性價(jià)比更高的產(chǎn)品，享受更好的使用體驗(yàn)，敬請(qǐng)期待！一直以來(lái)，小愛同學(xué)給人的印象都是一個(gè)甜美可愛的小姐姐，但這并不能滿足所有用戶對(duì)小愛同學(xué)角色的期望。因此，在2019年9月份推出了男生聲音，一個(gè)陽(yáng)光活潑的小哥哥角色。在此爆個(gè)料，在不久后還會(huì)推出包括兒童聲音在內(nèi)的更多聲音，值得大家期待！為了盡早讓用戶體驗(yàn)到新男生聲音，小米工程師們大膽嘗試遷移學(xué)習(xí)的方法，以女聲聲學(xué)模型作為基礎(chǔ)模型訓(xùn)練男聲模型。在經(jīng)過(guò)一系列調(diào)整和優(yōu)化后，暖心陽(yáng)光的男生版小愛同學(xué)就跟大家'見面'了。除了遷移學(xué)習(xí)，還使用了最新的端到端語(yǔ)音合成技術(shù)，相比傳統(tǒng)的Pipeline參數(shù)合成（聲音單調(diào)乏味、機(jī)器味重），新技術(shù)保留了聲優(yōu)的說(shuō)話風(fēng)格與感情色彩，生成的語(yǔ)音更加自然生動(dòng)。這項(xiàng)新技術(shù)由于計(jì)算復(fù)雜的增加導(dǎo)致系統(tǒng)響應(yīng)延遲，通過(guò)不斷優(yōu)化，將實(shí)時(shí)率降到0.1以下并成功上線提供服務(wù)，小米也成為業(yè)界最早一批成功上線端到端語(yǔ)音合成技術(shù)的技術(shù)公司。小米人工智能部的《高質(zhì)量端到端個(gè)性化語(yǔ)音合成》項(xiàng)目也榮獲2019小米年度技術(shù)大獎(jiǎng)三等獎(jiǎng)。目前小愛同學(xué)新男聲已上線小愛同學(xué)3.0、Redmi小愛音箱Play，會(huì)逐漸適配到更多的設(shè)備中。未來(lái)，小愛同學(xué)的聲音會(huì)往更個(gè)性化的方向發(fā)展，比如擁有喜怒哀樂的情緒，具備更多才藝，會(huì)唱歌，會(huì)外語(yǔ)等等。聲紋識(shí)別，即通過(guò)深度學(xué)習(xí)，分析你的聲紋特征進(jìn)行識(shí)別。有了聲紋識(shí)別，小愛同學(xué)可以識(shí)別身份進(jìn)行個(gè)性化推薦，目前，在小愛音箱、小米手機(jī)、小米電視上已上線兒童鎖、聲紋書簽功能。小米電視5、Redmi小愛音箱Play支持聽聲識(shí)人功能，自主給你推送你喜歡的內(nèi)容。2019年10月19日，語(yǔ)音識(shí)別開源工具Kaldi的創(chuàng)始人，語(yǔ)音和AI領(lǐng)域大佬Daniel Povey正式加入小米。語(yǔ)音識(shí)別工具庫(kù)Kaldi支持多種語(yǔ)音識(shí)別的模型的訓(xùn)練和預(yù)測(cè)，很多國(guó)內(nèi)外語(yǔ)音技術(shù)公司的研發(fā)測(cè)試都是從Kaldi起步，Kaldi在語(yǔ)音識(shí)別方面有著不可撼動(dòng)的地位。Daniel Povey此番加盟小米，計(jì)劃在小米組建團(tuán)隊(duì)開發(fā)下一代Pytorch-yKaldi，這將大大提升小米未來(lái)在語(yǔ)音和AI領(lǐng)域的實(shí)力。圖片來(lái)自小米集團(tuán)副總裁、集團(tuán)技術(shù)委員會(huì)主席崔寶秋微博2019年9月份，在AISHELL Speaker Verification Challenge 2019遠(yuǎn)場(chǎng)語(yǔ)音說(shuō)話人識(shí)別挑戰(zhàn)賽中，來(lái)自小米人工智能部AI實(shí)驗(yàn)室語(yǔ)音組的聲紋識(shí)別團(tuán)隊(duì)在近場(chǎng)注冊(cè)track1和遠(yuǎn)場(chǎng)注冊(cè)track2兩個(gè)任務(wù)上獲得雙第一，采用的多維度數(shù)據(jù)增廣+經(jīng)典識(shí)別模型+深度神經(jīng)網(wǎng)絡(luò)嵌入的融合方法，獲得了參賽隊(duì)伍的一致認(rèn)可。目前，小米聲紋識(shí)別技術(shù)處于行業(yè)內(nèi)第一梯隊(duì)，預(yù)計(jì)在未來(lái)3到5年內(nèi)打通所有的AIoT場(chǎng)景，應(yīng)用在更多內(nèi)置小愛同學(xué)的設(shè)備上。另外在聲紋上也進(jìn)行了新的能力嘗試，例如“聲紋支付充話費(fèi)”正在測(cè)試中，預(yù)計(jì)春節(jié)后會(huì)跟大家見面。分詞是自然語(yǔ)言處理的基礎(chǔ)，在小愛同學(xué)進(jìn)行意圖識(shí)別、槽位提取中起著重要的作用。小愛同學(xué)之前采用開源分詞等，準(zhǔn)確性不高、且未對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行專門優(yōu)化。
小米AI實(shí)驗(yàn)室采用先進(jìn)的深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)了分詞模型，在標(biāo)準(zhǔn)數(shù)據(jù)集達(dá)到前沿水平。同時(shí)實(shí)現(xiàn)了基于業(yè)務(wù)語(yǔ)料的自動(dòng)標(biāo)注技術(shù)、提供分詞結(jié)果靈活干預(yù)機(jī)制、支持多端分詞，為小愛同學(xué)內(nèi)容理解提供了支持。
2020年，AI實(shí)驗(yàn)室將提供更多、更先進(jìn)的NLP基礎(chǔ)技術(shù)和模塊，為小愛同學(xué)提供強(qiáng)大基礎(chǔ)支撐。
閑聊對(duì)話是人機(jī)對(duì)話的重要形態(tài)，大家對(duì)小愛同學(xué)說(shuō)的任意對(duì)話，“閑聊功能”都會(huì)嘗試給出合理的回復(fù)，通過(guò)這種方式對(duì)用戶進(jìn)行情感陪伴，滿足溝通需求與歸屬感。
閑聊對(duì)話技術(shù)上面臨許多挑戰(zhàn)，比如用戶想要表達(dá)的意思太過(guò)廣泛；閑聊對(duì)話往往是多輪對(duì)話，要做好回復(fù)，需要對(duì)上下文有較好的理解等。為了解決這些難題，小米工程師構(gòu)建了規(guī)模過(guò)億的海量對(duì)話語(yǔ)料庫(kù)，從海量的數(shù)據(jù)中學(xué)習(xí)對(duì)話語(yǔ)義關(guān)系；采用了端到端的改寫算法，更為具體地判斷上下文語(yǔ)義。同時(shí)，賦予了小愛同學(xué)AI寫詩(shī)的創(chuàng)作能力，基于主題詞的自動(dòng)寫詩(shī)、以及寫藏頭、藏尾詩(shī)等等。在這里大膽爆料，今年春節(jié)小愛同學(xué)還將支持寫春聯(lián)的功能哦，敬請(qǐng)期待。閑聊對(duì)話是一個(gè)快速發(fā)展的領(lǐng)域，未來(lái)小愛同學(xué)的性格會(huì)更加多樣化，在對(duì)話過(guò)程中會(huì)更有趣更人性化，可以多多來(lái)找小愛同學(xué)聊天哦！相信大家都使用過(guò)小愛同學(xué)的翻譯功能，機(jī)器翻譯已經(jīng)成為人工智能助手的重要功能。隨著人們跨境出行以及移動(dòng)互聯(lián)網(wǎng)設(shè)備的普及，很多國(guó)家和場(chǎng)所并沒有穩(wěn)定的移動(dòng)網(wǎng)絡(luò)支持，因此，無(wú)需互聯(lián)網(wǎng)連接，即可實(shí)現(xiàn)高質(zhì)量低延遲的離線神經(jīng)網(wǎng)絡(luò)翻譯必不可少。小米通過(guò)技術(shù)探索，對(duì)現(xiàn)有主流的神經(jīng)機(jī)器翻譯模型進(jìn)行了優(yōu)化，在移動(dòng)端設(shè)備上實(shí)現(xiàn)了基于低計(jì)算能力CPU的高質(zhì)量低延時(shí)的離線翻譯。這一成果帶來(lái)的直接體現(xiàn)是在不影響用戶體驗(yàn)的基礎(chǔ)上，硬件成本大大降低，相對(duì)于市面上幾千元的翻譯機(jī)，購(gòu)買小愛老師這款產(chǎn)品只需499元。深度學(xué)習(xí)在小愛同學(xué)中的應(yīng)用如何讓小愛同學(xué)更懂你，更聰明智能？深度學(xué)習(xí)起到至關(guān)重要的作用。
近兩年以來(lái)隨著ELMO和BERT的誕生，基于深度學(xué)習(xí)的語(yǔ)言模型技術(shù)成為了NLP學(xué)界和工業(yè)界的一個(gè)現(xiàn)象級(jí)研究熱點(diǎn)。學(xué)界和工業(yè)界的研究和實(shí)踐已證明以ELMO和BERT為代表的語(yǔ)言模型技術(shù)能夠給各項(xiàng)NLP任務(wù)帶來(lái)突破性的性能提升。由此，小米工程師希望能將這項(xiàng)技術(shù)落地到小愛同學(xué)自然語(yǔ)言理解的應(yīng)用中去，讓小愛同學(xué)更加聰明智能。小愛同學(xué)有多個(gè)功能模塊，小米工程師希望提供一種通用的BERT模型和服務(wù)的解決方案，使得計(jì)算資源能夠最大化的得到利用。基于此，小米工程師創(chuàng)造性的提出一種多任務(wù)BERT模型架構(gòu)，自主研發(fā)NLU架構(gòu)提高BERT模型工作效率，幫助小愛同學(xué)變得越來(lái)越聰明。
語(yǔ)言總是博大精深，尤其是漢語(yǔ)，一個(gè)詞具有很多不一樣的意思，語(yǔ)義消歧是自然語(yǔ)言處理(NLP)任務(wù)中的一個(gè)核心與難點(diǎn)，影響了幾乎所有任務(wù)和應(yīng)用的性能，而在內(nèi)容領(lǐng)域（音樂，視頻，電臺(tái)）由于所接觸的詞語(yǔ)更新速度快，詞歧義度高，因此在消歧方面面臨的困難和挑戰(zhàn)尤其明顯。
傳統(tǒng)解決方案熱度更新不及時(shí)，缺少糾錯(cuò)能力，在尊重用戶隱私與安全的前提下，小愛同學(xué)通過(guò)對(duì)用戶數(shù)據(jù)反饋的歌曲和視頻15秒完聽率進(jìn)行分析，確保在用戶修正過(guò)一次之后，小愛同學(xué)可以理解用戶的真實(shí)需求。比如當(dāng)抖音帶火《芒種》（節(jié)氣）同名歌曲后，如果有用戶在后續(xù)修正說(shuō)“我要聽芒種”“播放芒種”時(shí)，小愛同學(xué)會(huì)及時(shí)調(diào)整推薦內(nèi)容，播放用戶真正想聽的歌曲。
知識(shí)圖譜在小愛同學(xué)中的應(yīng)用知識(shí)圖譜簡(jiǎn)單理解就是知識(shí)庫(kù)，包括小愛同學(xué)的問答、搜索、推薦等能力都有涉及。我們主要在知識(shí)類問答中應(yīng)用了小米圖譜，如何準(zhǔn)確地理解用戶問法的意圖并轉(zhuǎn)化到圖譜知識(shí)上，是問答技術(shù)的關(guān)鍵難點(diǎn)。為了解決這些技術(shù)難題，小米工程師在圖譜的構(gòu)建過(guò)程和質(zhì)檢流程中采用了一些新的方法，能夠顯著提升問答的準(zhǔn)確率，讓用戶得到滿意的答案，提升使用體驗(yàn)。小米圖譜規(guī)模在業(yè)界處于領(lǐng)先地位，在智能客服、開放域問答等領(lǐng)域發(fā)揮了重要作用，獲得了“2018-2019年度CCCS中國(guó)最佳客服智能機(jī)器人”、“2019世界人工智能大會(huì)卓越人工智能引領(lǐng)者獎(jiǎng)”、“2019數(shù)博會(huì)領(lǐng)先科技成果獎(jiǎng)”等2020年，將打造更自動(dòng)化的知識(shí)圖譜構(gòu)建技術(shù)、更智能化的知識(shí)表示和知識(shí)推理應(yīng)用、更開放化的知識(shí)圖譜社區(qū)、更特色化的知識(shí)內(nèi)容。語(yǔ)音交互中的全雙工連續(xù)對(duì)話能力，是目前業(yè)界比較關(guān)注的熱點(diǎn)。全雙工語(yǔ)音交互的特點(diǎn)是具備“邊說(shuō)邊聽，可隨時(shí)打斷”的能力。小愛同學(xué)是首個(gè)在手機(jī)上實(shí)現(xiàn)自然連續(xù)對(duì)話的智能語(yǔ)音助理。△小愛同學(xué)3.0功能演示視頻
在手機(jī)上實(shí)現(xiàn)全雙工連續(xù)對(duì)話，主要面臨的挑戰(zhàn)包括：回聲消除、無(wú)關(guān)人聲拒識(shí)、多輪對(duì)話能力和語(yǔ)義判不停能力。通過(guò)技術(shù)攻關(guān)，針對(duì)語(yǔ)音和語(yǔ)義特征聯(lián)合建模，解決用戶說(shuō)話時(shí)短暫停頓，導(dǎo)致聲音被截?cái)嗟膯栴}，小愛同學(xué)成功上線自然連續(xù)對(duì)話功能。后續(xù)會(huì)持續(xù)優(yōu)化連續(xù)對(duì)話和多輪任務(wù)的使用體驗(yàn)，在視覺攝像頭的延伸將進(jìn)行更多嘗試和突破。主動(dòng)認(rèn)知即根據(jù)用戶信息以及環(huán)境信息，預(yù)測(cè)用戶需求，及時(shí)主動(dòng)以合適的方式滿足用戶。比如：用戶: “再見”（晚上10點(diǎn)30），小愛同學(xué)回復(fù)：“晚安，臺(tái)燈還沒有關(guān)呢，要小愛幫你關(guān)上嗎？”精準(zhǔn)推薦是主動(dòng)認(rèn)知的重要體現(xiàn)，小愛同學(xué)根據(jù)用戶歷史交互數(shù)據(jù)進(jìn)行差異分析和針對(duì)性優(yōu)化，更精準(zhǔn)地滿足用戶需求。未來(lái)，在全面認(rèn)知、精準(zhǔn)觸達(dá)、多輪交互方面會(huì)持續(xù)優(yōu)化和加強(qiáng)，小愛同學(xué)將會(huì)更懂你，并與你建立更自然的交互。用戶和小愛同學(xué)的對(duì)話按照類別可以分為聊天型、任務(wù)型、問答型。任務(wù)型對(duì)話可以是“一句話的事”，但更多情況下是需要多輪交互才能完成的復(fù)雜任務(wù)。小愛同學(xué)要保持業(yè)內(nèi)的技術(shù)領(lǐng)先，需要具備復(fù)雜任務(wù)的處理能力。剛開始，小愛同學(xué)在大多數(shù)情況下只能處理“一句話的事”，后來(lái)小米工程師們創(chuàng)新引入了基于frame的會(huì)話狀態(tài)表示方案，能夠在多輪交互中完成用戶需求，并處理“打斷恢復(fù)”“目標(biāo)跳轉(zhuǎn)”“信息修改”等各種情況。這個(gè)技術(shù)方案也最終在語(yǔ)音訂餐功能中應(yīng)用，幫助大家完成訂餐、查詢等需求。未來(lái)，會(huì)持續(xù)探索新方案，更快地理解用戶的意圖，做好個(gè)性化語(yǔ)音交互，讓小愛同學(xué)更貼心。
