伴隨著5G、人工智能技術的發展，智能語音已經隨著各種智能終端產品滲透到人們的日常生活中，帶來了更多便捷和可能性。作為新興市場智能終端產品和移動互聯服務提供商，傳音聚焦人工智能領域持續創新，不斷推進AI語音技術的研究和應用，挖掘更多本地化用戶場景要求，為新興市場用戶帶來全場景智能交互體驗。

目前，傳音已經在語音識別、語義理解、語音合成、自然語言處理、知識圖譜等方面形成了的自身的AI語音底層技術能力，構建起小語種語音數據優勢，并在多語種語音助手、數字人、語音偽造檢測技術方面取得了重大突破。今年以來，傳音AI技術部成果不斷，接連在ICASSP 2023 SLU口語理解挑戰賽、IJCAI 2023 ADD 語音深度偽造檢測國際挑戰賽奪得佳績，并在國際多媒體旗艦學術會議ICME 2023上發表數字人多模態交互的相關學術論文。

多語種語音助手

構建本地語音交互內容生態

語音助手是智能手機的標配應用之一，其核心技術為語音交互和自然語言理解，旨在幫助用戶更快捷、高效地執行目標任務。面對新興市場本地語音交互的需求，傳音長期深耕多語種語音助手技術，著力洞察本地用戶需求，形成技術解決方案，在探索和研發過程中沉淀了深厚的技術能力和實踐經驗。

在語音技術領域國際頂級會議ICASSP（IEEE International Conference on Acoustics, Speech and Signal Processing）組織的2023口語理解挑戰賽SLU（Spoken Language Understanding）中，傳音AI技術部憑借在語音識別和語義理解方面的突出表現，以71.97%的準確率獲斬獲離線語音助手子賽道第一名。參賽論文“A Two-Stage System for Spoken Language Understanding”被IEEE電氣與電子工程師協會（Institute of Electrical and Electronics Engineers）收錄。

當前，語音助手主要面向主流語言，而對小眾語言、特定人群等細分領域覆蓋較少。傳音針對非洲、南亞等新興市場用戶的本地口音和小語種，依托海量手機用戶資源，建設了一套本地化低成本、高質量的語料數據生產體系，解決小語種語料匱乏、數據稀缺的問題。在此基礎上，傳音開發能適應新興市場本地用戶語言文化特點的多語種語音助手，幫助當地用戶更加便捷地使用本地語言與手機進行語音交互。目前，傳音的多語種語音助手技術已支持英語、法語、豪薩語、阿拉伯語、斯瓦西里語等語言的語音交互和自然語言理解能力，覆蓋聯系人通話、APP快速啟動、音樂播放、WhatsApp消息、閑聊等100多種使用場景。

面向本地用戶生活服務的訴求，傳音的多語種AI語音助手技術將不斷接入更多生活、出行、學習、工作等場景的生態服務，構建多領域跨語言的AI內容服務生態，讓智能化語音服務滲透到本地生活的方方面面，讓更多小語種的使用人群受益。

AI+數字人技術

賦能傳音多場景業務

隨著交互智能技術的加速發展，數字人正在從技術創新走向產業應用，在娛樂、教育、醫療等多個領域發揮作用。傳音積極擁抱AI發展機遇，提前布局數字人技術，建立了完備的全鏈路技術和工程化的自研能力。傳音數字人系統，包含2D真人和3D寫實數字人，擁有基于多語種的語音識別、語音合成、語音喚醒、自然語言理解和數字人等能力的數據資源，在多語種語音對話、人設和外觀、智能化場景交互等領域形成了自身的本地化特色和行業領先性。今年1月，傳音數字人系統獲得由中國信通院所頒發的數字人領域權威標準認證。這也是當前唯一通過中國信通院評測，以“交互對話”為核心的中國手機廠商數字人系統。

為了提高虛擬形象的仿真效果、合成出逼真且富有表現力的數字人視頻，傳音AI技術部自研端到端技術，在優化數字人視頻生成質量的過程中，基于Unet網絡提出了一種新的技術框架densely-connected Unet結構，同時引入了CLIP的encoder結構，利用文本語義信息提升數字人嘴部動畫效果。同時該技術提出人臉關鍵點技術的概率密度圖，增加了模型網絡的模態信息，提升了模型生成的質量。這一技術突破能夠讓數字人的面部形象更加真實、細膩，同時提升語音和唇形的一致性，其生成效果達到了學術上的領先水平。相關學術論文“CPNet: Exploiting CLIP-based Attention Condenser and Probability Map Guidance for High-fidelity Talking Face Generation”被國際多媒體旗艦學術會議ICME 2023（IEEE International Conference on Multimedia and Expo)成功錄用。

目前，傳音數字人系統已經深度應用于多業務場景，不僅落地海外手機門店，擔任智能導購員為用戶購買手機提供參考，還作為智能語音助手賦能多類智能終端產品，提升用戶體驗。下一步傳音將通過“AI+數字人”技術賦能多場景業務，積極探索數字人版語音助手和客服系統等新業務形態，為用戶帶來全新的智能交互體驗。

持續構建AI語音底層技術能力

在AI技術快速發展的現今，算法生成音頻和音頻偽造已經可以做到以假亂真，對于普通用戶來說辨別音頻真假非常困難。為了維護信息的可信性、保障社會安全，語音偽造檢測技術變得至關重要，已經成為人工智能領域的一個較新的研究方向。傳音圍繞智能終端產品業務場景，以本地用戶需求為導向，不斷延伸AI語音底層技術能力，布局新技術領域，在語音偽造檢測技術上取得了重大突破。

傳音AI技術部在國際人工智能聯合會議IJCAI 2023（The 32nd International Joint Conference on Artificial Intelligence）組織的第二屆語音深度偽造檢測國際挑戰賽ADD（The Second Audio Deepfake Detection Challenge)“篡改區域定位”（Manipulation Region Location）分賽道上奪得第二名。在比賽中，傳音AI技術部自研創新的AI模型算法和技術，能夠準確識別并定位音頻中語音的篡改行為，從而有效保障數字音頻的原始性和真實性，為AI應用及信息安全建設提供新思路。相關學術論文已成功發表在本屆IJCAI 2023 Workshop on Deepfake Audio Detection and Analysis (DADA 2023）會議上。

下一步，傳音AI技術部將繼續探索語音深度偽造檢測技術在傳音智能終端產品上的應用，如通話詐騙檢查保護用戶隱私安全等，不斷提升用戶使用體驗。

未來，傳音將繼續在AI語音多模態技術領域發力，圍繞“手機+移動互聯網服務+家電、數碼配件”核心業務需求，結合對新興市場和本地消費者的深刻洞察，為用戶提供適切其需求的智能生活體驗，形成本地化的AI內容服務生態，持續滿足多語種、多場景、個性化、智能化的應用需求。

審核編輯：劉清