2019年4月26日，由意法半導體主辦的2019年STM32中***會在深圳舉行，出門問問工程VP李勤受邀出席大會AIoT沙龍，并在人工智能與計算分會場發(fā)表了演講，分享了出門問問在嵌入式系統(tǒng)上的智能語音交互方案和經(jīng)驗。

深耕萬億級的AIoT市場

在上午主會場的AIoT沙龍環(huán)節(jié)，李勤與微軟首席技術顧問管震、移遠通信高級副總裁張棟、意法半導體大中華暨南亞區(qū)AMS市場及應用高級總監(jiān)吳衛(wèi)東共同探討了對于人工智能物聯(lián)網(wǎng)的看法。

李勤表示，中國的AIoT市場是一個萬億級的市場。而其中，AI可穿戴將是重要的增長極，將在未來5年保持高速的增長態(tài)勢。按照公開數(shù)據(jù)，預計在未來5年內(nèi)，全球Wearable IoT的市場規(guī)模會達到424億美元，達到平均每年30%的復合增長率。

芯片、算法和傳感器的深度集成是AIoT核心的技術之一。未來，算法和芯片的深度融合是一大挑戰(zhàn)，即算法去為芯片優(yōu)化，芯片為算法優(yōu)化。這也是出門問問的優(yōu)勢所在，可以發(fā)揮全棧式的AI語音交互算法能力，以及芯片、算法、產(chǎn)品端的深度整合和系統(tǒng)集成能力，賦能給其他合作伙伴。

將芯片、傳感器和AI算法深度集成

在下午的人工智能與計算分會場上，李勤深入地分析了出門問問作為一家AI技術公司是如何做嵌入式系統(tǒng)上的智能語音交互方案的。

李勤指出，AI可穿戴技術的核心是人機交互的過程，而人機交互涉及到多種傳感器融合技術以及語音交互技術。多種傳感器融合技術包括拾音麥克風、運動傳感器(例如加速度器，陀螺儀)、骨傳導麥克風、心率傳感器、觸摸及反饋等，只有把多種傳感器融合在一起，才能給用戶提供更好的體驗。

而語音交互是所有人機交互方式中最重要的一個，在合適的場景下極為高效。它有著不可替代的優(yōu)勢，例如解放雙手和雙眼;指向明確，語義直達目標，縮短整個的使用路徑;自然語言交互，簡單人性化，學習成本低，不用記固定命令詞;對設備的大小沒有特別要求。但當然，語音交互也面臨一些挑戰(zhàn)，例如受環(huán)境影響比較大，前端信號處理的挑戰(zhàn)大，受硬件和結(jié)構(gòu)的限制，返回結(jié)果的展示形式單一等。

未來3年，AI可穿戴市場將迎來高速發(fā)展，整體規(guī)模預計達到10億設備量級，保持30%的高年均增長速度。相應的，未來市場對芯片和傳感器的需求都會大量增加。

在高速增長的過程中，AI可穿戴同樣面臨許多迭代技術挑戰(zhàn)，包括設備的小型化設計、低功耗優(yōu)化等等，在算法上需要大量針對性的優(yōu)化支持。例如，在地鐵嘈雜環(huán)境下使用耳機通話，要利用算法實現(xiàn)環(huán)境降噪處理;為實現(xiàn)設備更低功耗，需要提高代碼效率并對芯片進行優(yōu)化;協(xié)調(diào)運動、心率等大量傳感器為用戶提供有用的信息，也需要算法優(yōu)化來攻克。

發(fā)言中，李勤還指出AIoT的產(chǎn)品一定是設備端到云端的整體系統(tǒng)。而出門問問采用將芯片、傳感器和AI算法結(jié)合的整體戰(zhàn)略，發(fā)揮端到端的完整技術棧，將端上和云上的計算融合，以及產(chǎn)品和系統(tǒng)集成經(jīng)驗的競爭優(yōu)勢。另外，出門問問還在開展與芯片廠商的深度合作，實現(xiàn)算法根據(jù)使用場景做優(yōu)化，算法針對芯片的代碼優(yōu)化，結(jié)合系統(tǒng)集成和產(chǎn)品驗證，提供整套技術方案。這意味著產(chǎn)品廠商不用在算法開發(fā)和系統(tǒng)集成工作上消耗企業(yè)資源，可以集中精力定義和開發(fā)產(chǎn)品。

智能手表AI運動算法TicMotion

在TicWatch智能手表上，出門問問研發(fā)了AI運動算法TicMotion，自動識別和記錄用戶健走、跑步、騎行、游泳時的各項運動數(shù)據(jù)。該算法基于深度學習的算法架構(gòu)，支持手勢姿態(tài)識別、睡眠健康等功能，可運行在MCU、DSP或AP芯片上。在意法半導體的STM32F412芯片上，實現(xiàn)16MHz時鐘頻率下的0.13 MIPS執(zhí)行效率。

智能手表語音交互算法

針對智能手表的語音交互，出門問問研發(fā)了基于深度神經(jīng)網(wǎng)絡的AI語音算法，旗下的出門問問語音助手是谷歌Wear OS官方合作的中文語音助手。

出門問問在智能手表上，擁有單麥和雙麥的音頻降噪算法，語音信號壓縮和BLE語音傳輸，支持語音喚醒詞，支持直接命令詞的識別。這些算法也是基于深度學習，但卻是超低功耗的，只需要超低的內(nèi)存需求和計算力便可以運行。例如，喚醒詞和命令詞模型只有20KB，只需占用50KB左右的內(nèi)存，在意法半導體的STM32F469芯片上實現(xiàn)了36MIPS的執(zhí)行效率。

智能耳機交互算法TicHear

針對智能耳機的交互，出門問問自主研發(fā)了TicHear語音交互算法，能夠有效地屏蔽和抑制環(huán)境噪音和干擾，實現(xiàn)小型可穿戴設備語音喚醒及直接命令詞控制。

而之所以開發(fā)TicHear，是因為出門問問發(fā)現(xiàn)在TWS智能耳機上還有很多技術難點沒有解決。

一是耳機面向的是復雜的需求和使用場景。在需求上，人們需要用耳機聽音樂、打電話、做語音交互。在使用場景上，耳機的使用環(huán)境非常復雜多變，基本是走到哪兒戴到哪兒，即使是在地鐵、馬路邊、商場等嘈雜環(huán)境，耳機也要能夠穩(wěn)定可靠的工作。這些都對算法地性能提出了極高的要求。

二是耳機的快捷智能控制。對于智能耳機來說，需要有一些常用的直接語音控制命令，尤其在雙手都不方便的時候，能夠快捷地用語音來實現(xiàn)接聽電話、控制音量、切換下一首歌等功能。

三是如何對耳機“說”清楚。過去兩年，主動降噪耳機在市場上熱銷，但它解決的只是“聽”清楚的問題，在你聽音樂的時候/做飛機的時候，有效實現(xiàn)周圍環(huán)境噪音的屏蔽效果。但在實際的使用中，如何讓你打電話、做語音交互的時候，實現(xiàn)更清晰的聲音傳遞，還是一個有待解決地問題。

另外，智能耳機也面臨諸多的技術挑戰(zhàn)，例如佩戴舒適性、體積大小，與電池容量、待機時間之間不可調(diào)和的矛盾，對芯片和算法低功耗的要求高;系統(tǒng)集成、算法開發(fā)的高復雜度;內(nèi)存空間和算力的資源限制等。

面對用戶痛點和技術挑戰(zhàn)，出門問問選擇創(chuàng)造性的解決問題，采取將硬件結(jié)構(gòu)設計和算法設計相結(jié)合;與芯片、系統(tǒng)供應商深度合作;把核心算法的代碼用匯編重寫以提高運行效率等措施，給客戶提供一套完整的解決方案。

具體來說，在音頻信號處理上，TicHear算法進行了雙麥的波束成形，做定向拾音和降噪的深度優(yōu)化，可以抑制最高20dB的環(huán)境噪音，僅占用20KB的內(nèi)存，并在高通QCC5100系列芯片上實現(xiàn)15MIPS的執(zhí)行效率。

在語音交互算法上，TicHear支持語音喚醒詞，支持10個左右直接命令詞的識別，并且基于深度學習的算法，實現(xiàn)了超低功耗和超低內(nèi)存占用。將喚醒詞和命令詞做到大約20KB的模型大小和50KB總的內(nèi)存占用，在高通QCC5100系列芯片上實現(xiàn)10MIPS的執(zhí)行效率。同時，TicHear可和手機軟件配合開發(fā)，支持二次喚醒驗證、內(nèi)容和服務的查詢、喚醒詞和語音查詢一起說出等功能，提供更好的用戶體驗。

李勤向現(xiàn)場觀眾展示了出門問問雙麥信號處理算法，該算法能夠有效地屏蔽環(huán)境噪音和干擾，清晰采集語音信號。如圖所示，上方的聲音波形圖是在馬路邊場景所采集的原始聲音信號，下方的聲音波形圖是經(jīng)過出門問問雙麥信號處理算法處理后的聲音信號，可以清晰的看到已將環(huán)境噪音降低20db左右，幾乎可以忽略不計，經(jīng)過算法處理后的聲音信號，極大地提高了語音識別的準確率和喚醒率。