點擊上方“LiveVideoStack”關(guān)注我們

策劃：Alex、包研

編輯：Alex

王晶

年終訪談

#007#

編者按：春節(jié)前夕的最后一次采訪，LiveVideoStack有幸邀請到了北京理工大學(xué)信息與電子學(xué)院副教授王晶。王教授目前在北京理工大學(xué)信息與電子學(xué)院通信技術(shù)研究所從事教學(xué)科研工作，講授本科生《數(shù)字通信網(wǎng)》和研究生《語音信號數(shù)字處理（全英文）》課程。在教學(xué)的同時，王教授還承擔(dān)有國家自然科學(xué)基金、國家重大科技專項、國際合作項目及與中國移動、華為等的企事業(yè)橫向科研項目。她長期參與信息技術(shù)領(lǐng)域標(biāo)準(zhǔn)化工作，目前為AVS中國數(shù)字音視頻編解碼標(biāo)準(zhǔn)組織成員，CCF語音對話與聽覺專委會委員。在此次與LiveVideoStack的對話中，王教授分享了過去幾年音頻領(lǐng)域的重要發(fā)展和創(chuàng)新、音頻編解碼器的獨(dú)特之處、AI與音頻編碼技術(shù)結(jié)合的突破以及目前音頻領(lǐng)域人才培養(yǎng)和輸出所面臨的困境等。

北京理工大學(xué)信息與電子學(xué)院副教授 王晶

LiveVideoStack:?王教授，您好，非常歡迎您參加LiveVideoStack的年終訪談，還請您跟我們的讀者介紹一下自己。

王晶：本人現(xiàn)在北京理工大學(xué)信息與電子學(xué)院通信技術(shù)研究所從事教學(xué)科研工作，講授本科生《數(shù)字通信網(wǎng)》和研究生《語音信號數(shù)字處理（全英文）》課程。博士期間研究課題為“低速率和變速率語音編碼”，并且對聲音質(zhì)量評價技術(shù)有近20年的研究積累，承擔(dān)ITU/3GPP/AVS等國內(nèi)外標(biāo)準(zhǔn)化組織和知名企事業(yè)單位委托的音質(zhì)評測任務(wù)。自進(jìn)入到實驗室工作便參與北京理工大學(xué)和瑞典愛立信公司國際合作項目，對2G/3G/4G/5G/B5G移動通信中語音和音頻關(guān)鍵技術(shù)進(jìn)行研究。所承擔(dān)的國家和省部級研究課題涉及音頻編碼、多媒體質(zhì)量評價、VoIP、語音增強(qiáng)、聲音事件檢測、空間音頻、虛擬現(xiàn)實等技術(shù)領(lǐng)域。當(dāng)前的主要研究興趣包括基于深度學(xué)習(xí)的聲音處理技術(shù)和沉浸式音視頻通信技術(shù)等。

LiveVideoStack:?據(jù)您觀察，過去幾年，音頻領(lǐng)域有哪些重要的發(fā)展和創(chuàng)新？目前的音頻技術(shù)研究主要有哪幾個方向？

王晶：音頻領(lǐng)域廣義上包含語音、音樂、環(huán)境聲等各類人耳可聞的聲音處理技術(shù)研究，涉及信號處理算法、計算機(jī)編程、聲學(xué)系統(tǒng)設(shè)計和底層芯片開發(fā)等一系列軟硬件技術(shù)。在過去幾年，聲音通信從單一的語音通信發(fā)展到語音和音樂混合，立體聲及多聲道音頻，三維音頻和虛擬現(xiàn)實音頻，逐步提升用戶的聽音體驗。自2012年以來，音頻領(lǐng)域和人工智能技術(shù)的結(jié)合使得聲音分析、理解和生成等研究獲得飛速發(fā)展和技術(shù)創(chuàng)新，基于深度學(xué)習(xí)的語音識別技術(shù)突破了傳統(tǒng)框架的限制，使得智能語音交互應(yīng)用更為廣泛；近年來神經(jīng)網(wǎng)絡(luò)模型嘗試用于語音壓縮編碼，使得沉寂許久的低速率聲音編碼技術(shù)引起業(yè)界關(guān)注；虛擬現(xiàn)實和通信網(wǎng)絡(luò)的發(fā)展使得全方位的空間音頻體驗成為可能。在硬件設(shè)計方面，陣列麥克、藍(lán)牙音頻傳輸，聲場定位、智能語音處理芯片等技術(shù)使得手機(jī)通訊、無線耳機(jī)、揚(yáng)聲器回放、車載環(huán)境等相關(guān)產(chǎn)品的音頻體驗有了極大的提升。

目前的音頻技術(shù)研究從技術(shù)差異角度來看主要包括智能語音交互、音頻壓縮編碼、空間音頻處理、聲音質(zhì)量評價、音樂計算、聽覺場景分析等方向，在不同應(yīng)用領(lǐng)域可能涉及與計算機(jī)、通信網(wǎng)絡(luò)、物理聲學(xué)、心理學(xué)、語言學(xué)、生物醫(yī)學(xué)、腦科學(xué)、藝術(shù)等交叉領(lǐng)域的研究問題。

LiveVideoStack:?和視頻編解碼器相比，音頻編解碼器有哪些獨(dú)有的特點？二者相比，哪一個更復(fù)雜？

王晶：音頻編碼和視頻編碼從理論上來看都屬于信源壓縮編碼，都是將一種格式的音頻/視頻文件/信號轉(zhuǎn)換為另一種格式，通過去除信號或數(shù)據(jù)冗余達(dá)到壓縮的目的。視頻編碼處理的是連續(xù)的二維或三維圖像序列，通常需要去除空間和時間上的冗余，并借助人眼感知特性去除感知冗余，典型的視頻壓縮技術(shù)主要使用幀內(nèi)壓縮、幀間壓縮和熵編碼等。音頻編解碼器從技術(shù)框架上來看與視頻編解碼有較大區(qū)別，其中從信源類型上又可分為偏語音類、偏音樂類、語音音樂混合類的編碼技術(shù)。音頻編碼處理的是一維的非平穩(wěn)語音或音頻信號，通常需要去除時間上的冗余，并借助人耳感知特性去除聽覺上的冗余，在三維音頻編碼場合對于多通道信號還需要去除通道間冗余。典型的音頻編碼技術(shù)可以使用線性預(yù)測、感知編碼、時頻分析、頻帶擴(kuò)展、熵編碼、聲道去相關(guān)等技術(shù)手段。

從技術(shù)原理上來看，音頻編碼由于涉及到非平穩(wěn)信號處理及復(fù)雜的人耳聽覺特性，需要考慮的技術(shù)模塊相對較多，往往需要通過主觀測試才能得到可靠的音質(zhì)評級；從硬件實現(xiàn)上來看，音頻編碼處理一維信號的復(fù)雜度比視頻編碼相對較小，所需要的硬件資源消耗也更少一些。

LiveVideoStack:?我們知道，數(shù)字音頻編碼又被分為語音編碼和音頻編碼，您能否給我們介紹一下，這兩種編碼技術(shù)在應(yīng)用領(lǐng)域和發(fā)展趨勢上有何不同？?

王晶：語音編碼通常用于語音通信和語音存儲場合，更關(guān)注人聲的編解碼效果。目前中高速率以上的編碼標(biāo)準(zhǔn)和算法已經(jīng)比較普遍，例如ITU-T的G.711、G.729等G.xxx系列，3GPP AMR、EVS系列，VoIP中的Opus編碼算法等都屬于語音編碼，并兼顧考慮對音樂信號的支持，但低速率語音編碼尤其是3kbps以下編碼的音質(zhì)還未達(dá)到通信級別的聽音要求，ITU-T在4kbps以下的低速率編碼標(biāo)準(zhǔn)化進(jìn)程也停滯了很久。

音頻編碼通常用于廣播、影視制作、流媒體等場合，更關(guān)注對音樂信號或者混合音頻信號的壓縮效果。國際上MPEG標(biāo)準(zhǔn)化組織相繼推出了MP3、AAC、MPEG-H等一系列的音頻編碼標(biāo)準(zhǔn)，國內(nèi)AVS標(biāo)準(zhǔn)工作組自2002年開始面向國內(nèi)需求研制適合我國數(shù)字音視頻產(chǎn)業(yè)的音頻編碼標(biāo)準(zhǔn)，此外杜比、DTS、Fraunhofer IIS等也都是國際上比較知名的音頻編碼研究機(jī)構(gòu)。當(dāng)前音頻編碼從單聲道、立體聲發(fā)展為多通道和三維音頻編解碼，并朝下一代沉浸音頻編碼方向發(fā)展。

另外，近年來谷歌公司推出的AI語音和音頻編碼器結(jié)合神經(jīng)網(wǎng)絡(luò)模型突破了傳統(tǒng)技術(shù)框架，尤其在低速率下體現(xiàn)出更為優(yōu)勢的聲音編碼質(zhì)量，成為業(yè)界關(guān)注的焦點。

LiveVideoStack:?去年谷歌推出了兩款基于AI的音頻編解碼器——Lyra和SoundStream，您認(rèn)為這兩款音頻編解碼器會給整個行業(yè)帶來什么樣的變化？在音頻編碼與AI的技術(shù)結(jié)合上，未來可能會有哪些突破？?

王晶：谷歌推出的AI編解碼器Lyra和SoundStream給沉寂已久的語音和音頻編碼研究領(lǐng)域注入了新的活力，尤其是SoundStream采用了端到端的神經(jīng)網(wǎng)絡(luò)模型，從數(shù)據(jù)驅(qū)動角度出發(fā)，不依賴于傳統(tǒng)的信號處理和編解碼框架，體現(xiàn)出比傳統(tǒng)編碼和上一代Lyra更新的技術(shù)特點和性能優(yōu)勢，例如壓縮效率更高，支持語音和音樂等多類型信號，同時可以兼顧壓縮和增強(qiáng)，尤其在低速率下性能表現(xiàn)更好，并在繼續(xù)推進(jìn)開發(fā)版本和工具的整合，以期在實際應(yīng)用中發(fā)揮作用。這兩款音頻編解碼器打破了行業(yè)許久以來對低速率編碼技術(shù)研究和應(yīng)用的沉寂，進(jìn)一步推動了AI編解碼器的發(fā)展，促進(jìn)了人工智能和編解碼器的深度融合，引起產(chǎn)業(yè)界和研究界的廣泛關(guān)注。在音頻編碼與AI技術(shù)的結(jié)合上，未來可能會在傳統(tǒng)信號處理和AI建模相結(jié)合的方式上進(jìn)行繼續(xù)探究，并由語音擴(kuò)展為音頻甚至多通道音頻的壓縮效率提升，進(jìn)一步可能通過引入新的AI模型及算法優(yōu)化策略在需要統(tǒng)一多類型信號編碼框架以及對速率要求較低的場合下實現(xiàn)技術(shù)應(yīng)用上的突破。

LiveVideoStack:?最近元宇宙是一個比較熱的話題。您認(rèn)為元宇宙的到來，音頻會在其中發(fā)揮什么樣的作用？

王晶：元宇宙Metaverse確實是當(dāng)下比較熱門的話題，從一開始概念的提出到后來飽受爭議，再到當(dāng)前成為廣泛關(guān)注的熱點，投資熱潮不斷追捧，甚至連Facebook都將公司名字改為Meta。2016年被稱作是虛擬現(xiàn)實VR元年，2022年有望成為元宇宙的元年，元宇宙和虛擬現(xiàn)實、數(shù)字孿生有密切的關(guān)聯(lián)性，但更多的是實現(xiàn)虛擬和現(xiàn)實的融合與交互，未來比較大的場景是將虛擬現(xiàn)實、人工智能、區(qū)塊鏈、下一代互聯(lián)網(wǎng)等技術(shù)融為一個大的體系。當(dāng)前元宇宙引發(fā)的數(shù)字資產(chǎn)（例如數(shù)字人）、數(shù)字孿生等研究熱點仍然是以計算機(jī)圖形圖像呈現(xiàn)技術(shù)為主，鮮有元宇宙音頻應(yīng)用場景的深入討論，大概因為音頻業(yè)界人士還在積極推進(jìn)全景音頻、沉浸音頻等技術(shù)的深入研究和應(yīng)用落地。

未來音頻技術(shù)將會是以虛實交互為主的元宇宙中不可或缺和非常重要的信息內(nèi)容，例如在元宇宙的世界里進(jìn)行語音和音頻交互時，人們將會更為關(guān)注聲音的真實感、空間感、沉浸感以及音視頻的時間、空間同步等體驗，VR音頻里6DoF技術(shù)也將會成為元宇宙音頻中的必備支撐技術(shù)之一。

LiveVideoStack:?王教授，您一直在參與信息技術(shù)領(lǐng)域標(biāo)準(zhǔn)化工作，同時也是AVS中國數(shù)字音視頻標(biāo)準(zhǔn)組織成員，您能否跟我們介紹一下我國音頻編碼標(biāo)準(zhǔn)的發(fā)展現(xiàn)狀？

王晶：AVS工作組在2002年6月由原信產(chǎn)部（現(xiàn)工信部）批準(zhǔn)成立，自成立以來就一直致力于我國數(shù)字音視頻編解碼技術(shù)的標(biāo)準(zhǔn)化工作，聯(lián)合國內(nèi)外相關(guān)企事業(yè)單位及高校進(jìn)行編解碼相關(guān)技術(shù)研發(fā)、知識產(chǎn)權(quán)管理以及產(chǎn)品開發(fā)和產(chǎn)業(yè)應(yīng)用推廣等。AVS音頻組迄今為止研制的音頻標(biāo)準(zhǔn)包括：

• AVS1-P3 《信息技術(shù) 先進(jìn)音視頻編解碼 第3部分：音頻》，支持雙聲道、5.1聲道，無損和有損編碼，于2009年提交標(biāo)準(zhǔn)報批稿；

• AVS1-P10《信息技術(shù) 先進(jìn)音視頻編解碼 第10部分：移動語音與音頻編碼》，主要面向移動通信業(yè)務(wù)支持低碼率下的寬帶語音和音頻編碼，于2013年12月頒布為國家標(biāo)準(zhǔn)（GB／T 20090.10-2013）；

• AVS2-P3《信息技術(shù)? 高效多媒體編碼 第3部分：音頻》，支持基于聲道、對象的三維音頻編解碼以及無損編碼，于2018年6月頒布為國家標(biāo)準(zhǔn)（GB／T 33475.3-2018）；

• AVS VR-P3音頻《信息技術(shù) 虛擬現(xiàn)實內(nèi)容表達(dá) 第3部分：音頻》自2016年開始制定，并于2021年確定國標(biāo)號（20214282-T-469），支持基于聲道、對象、場景等沉浸式音頻內(nèi)容的呈現(xiàn)，以及3DoF和6DoF等虛擬現(xiàn)實場景下音頻渲染技術(shù)等，目前處于WD標(biāo)準(zhǔn)工作草案階段。

自2021年初，AVS音頻組開始著手制定面向8k和5G等應(yīng)用場景的下一代音頻標(biāo)準(zhǔn)，目前AVS3-P3《信息技術(shù) 智能媒體編碼 第3部分：沉浸式音頻》的第一階段“端到端模式的沉浸音頻高效壓縮方法”于2022年1月形成標(biāo)準(zhǔn)報批稿。

LiveVideoStack:?與視頻相比，您認(rèn)為音頻有哪些無可替代的優(yōu)勢？

王晶：音頻和視頻都是多媒體內(nèi)容的重要組織部分，這兩種內(nèi)容的信號特點、感知特性以及技術(shù)處理手段有差異，從信息壓縮角度來看，視頻相比音頻需要更大的傳輸帶寬，但對于用戶體驗來講音視頻感受都同等重要。與視頻相比，音頻不受人眼視場角的影響，可以全方位地感受周圍的聲音信息。從認(rèn)知神經(jīng)的角度來看，聲音對聽覺記憶的影響因人而異，有很多關(guān)鍵的事件信息往往更容易通過音頻獲得。從應(yīng)用場景角度來看，除了影像照片這種只需要視覺呈現(xiàn)的場合，大多數(shù)應(yīng)用場景都需要音視頻的配合，例如影視播放、視頻會議、手機(jī)視訊等；某些應(yīng)用場景只需要音頻，例如音頻廣播、音樂播放、有聲讀物等；某些背景信息的震撼感則必須配以環(huán)境音效來更好的呈現(xiàn)。對于虛擬現(xiàn)實或者說未來元宇宙場景，沉浸音頻更顯得異常重要，當(dāng)用戶轉(zhuǎn)動頭部或移動身體的時候，周圍重現(xiàn)的聲音應(yīng)當(dāng)和實際中聽音的方位及空間感受保持一致，音頻相比視頻更能提供全方位的信息指引，這些都需要有更好的音頻技術(shù)作為支撐。我們無法想象，未來在一個沒有音頻或僅能發(fā)聲的“元宇宙”里人們保持交流或與周圍環(huán)境進(jìn)行交互就能達(dá)到和現(xiàn)實世界一樣的體驗。

LiveVideoStack:?感覺同視頻相比，音頻相對小眾，從事音頻相關(guān)工作的人不是很多，實際情況是這樣嗎？作為一名大學(xué)教授，您如何看待音頻人才的培養(yǎng)和輸出？

王晶：縱觀學(xué)術(shù)會議、標(biāo)準(zhǔn)組織、企業(yè)構(gòu)架、產(chǎn)品發(fā)布等有關(guān)信息，視頻領(lǐng)域的研究及從業(yè)人員相比音頻領(lǐng)域的人數(shù)顯得更多一些，這可能是因為視覺的沖擊感更容易讓人直觀地感受到，且視頻的信息量相比同步的音頻而言會更大一些，對于通信網(wǎng)絡(luò)、硬件資源的需求也更大。而音頻則會被誤以為只要能聽清就可以（實際上音頻對主觀測試的要求要更高，用戶的聽音體驗也是需要提升和普及的），相比視頻而言對于帶寬和復(fù)雜度的要求相對較低，這也造成了很多實際產(chǎn)品的關(guān)注焦點大多是視頻或者視覺特征。

尤其是國內(nèi)對音頻的技術(shù)研究和人才儲備遠(yuǎn)不如視頻多，往往是國際上一些知名企業(yè)推出新的音頻應(yīng)用之后，國內(nèi)企業(yè)才著手跟進(jìn)和開發(fā)，例如杜比公司推出的Atoms全景音頻體驗，蘋果近年來推出的TWS耳機(jī)附帶空間音頻功能，谷歌引發(fā)的AI編解碼器研究熱點等。實際上音頻技術(shù)相比視頻技術(shù)要復(fù)雜一些，需要更多的非平穩(wěn)信號處理和音頻聽覺感知基礎(chǔ)知識以及交叉學(xué)科的常識。對人才培養(yǎng)而言，語音和音頻處理能夠貫通從本科到研究生階段所涉及的信息學(xué)科、計算機(jī)學(xué)科等各種知識儲備，是一種非常典型的信號和信息處理場景，無論對于音頻領(lǐng)域還是其他信號處理場合的人才培養(yǎng)都很有借鑒意義。每年各大互聯(lián)網(wǎng)公司、信息技術(shù)領(lǐng)域的企業(yè)對語音和音頻相關(guān)應(yīng)聘崗位的需求量還是很大的，但從事音頻技術(shù)研究的人才培養(yǎng)還有所欠缺，尤其是高端人才有待加強(qiáng)，這對于提升我國數(shù)字音頻領(lǐng)域的自主技術(shù)研發(fā)能力和國際競爭力顯得異常重要。

LiveVideoStack:?對于未來想從事音頻工作的同學(xué)，您有哪些建議和意見？

王晶：相比計算機(jī)視覺、通信網(wǎng)絡(luò)、人工智能等概念較大的發(fā)展方向，目前專門從事音頻信號處理或者音頻相關(guān)技術(shù)的研究人員并不太多，但實際的工作崗位需求還是挺大的，尤其是高水平研究人員相對欠缺。事實上，從事音頻工作的人員由于對信號處理和計算機(jī)編程能力都需要兼顧，也很容易過渡到其他技術(shù)崗位。音頻領(lǐng)域（廣義上包括語音和音頻處理）當(dāng)前和計算機(jī)技術(shù)、通信網(wǎng)絡(luò)、人工智能、虛擬現(xiàn)實甚至生物醫(yī)學(xué)等結(jié)合都非常緊密，相比傳統(tǒng)單純從信號處理或計算機(jī)編程的角度來看，很多實際應(yīng)用問題的解決更傾向于需要交叉學(xué)科基礎(chǔ)。

對于未來想從事音頻工作的同學(xué)們，尤其是想在理論結(jié)合實踐上有技術(shù)突破，建議首先學(xué)習(xí)數(shù)字信號處理、信息論、計算機(jī)編程、通信網(wǎng)絡(luò)、人工智能等基礎(chǔ)知識，然后深入掌握音頻信號處理的各類常用算法和典型應(yīng)用場景，研究課題或者工作內(nèi)容的選擇可以針對實際應(yīng)用場景的需求開展具體研究。目前網(wǎng)絡(luò)上開源代碼和學(xué)習(xí)材料非常多，尤其是基于AI的聲音處理技術(shù)，建議同學(xué)們在系統(tǒng)學(xué)習(xí)基礎(chǔ)知識的同時多加編程實踐練習(xí)，以便更好地理解算法思路，至少應(yīng)當(dāng)獨(dú)立完成一到兩個案例的實現(xiàn)。進(jìn)入研究生學(xué)習(xí)階段的同學(xué)則需多關(guān)注領(lǐng)域內(nèi)的頂級會議和刊物，參加一些學(xué)術(shù)或者行業(yè)會議與同行進(jìn)行交流，善于發(fā)現(xiàn)研究中的問題，并利用所學(xué)知識進(jìn)行分析和解決。

---

掃描圖中二維碼或點擊閱讀原文

了解大會更多信息

喜歡我們的內(nèi)容就點個“在看”吧！

總結(jié)

以上是生活随笔為你收集整理的对话王晶：音频人才亟待培养，高水平研究人员尤其欠缺的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。