每周一期，縱覽音視頻技術領域的干貨。

新聞投稿：contribute@livevideostack.com。

小提示：鏈接跳轉僅支持公眾號相關鏈接

基于深度學習的實時噪聲抑制——深度學習落地移動端的范例

在實時通訊技術迅猛發展的今天，人們對通話時的降噪要求也不斷提高。深度學習也被應用于實時的噪聲抑制。本次LiveVideoStackCon 2021 上海站中，我們邀請到了聲網Agora音頻算法負責人馮建元老師為我們分享深度學習落地移動端的范例，遇到的問題和未來的展望。

當我們擴張時——技術商業策略圓桌第一彈

在 LiveVideoStackCon 2021 上海站當中，我們策劃了一個由三場圓桌組成的“技術商業策略”專題，并邀請到微幀科技的聯合創始人&CEO 朱政作為專題出品人，與來自工業界、學術界，甚至是投資領域的嘉賓聊了聊未來的多媒體技術、大廠們深耕與擴張的阻礙，以及音視頻新創的生存境遇。

AV1硬件采用及未來發展

在開放媒體聯盟（Alliance for Open Media,AOMedia,AOM）中，硬件和軟件開發人員共同創建了AV1標準規范。本次分享我們邀請來自谷歌的高級產品經理Roshan Baliga，他將從什么是AV1、AV1硬件的采用、AV1的開發以及商業測試、軟件解碼，以及其對AV1生態系統的重要性等方面來介紹AV1的硬件。

即構科技廖念波：構建產品矩陣，加快音視頻技術全面開花

音視頻技術在直播、語聊、游戲等泛娛樂領域早已有了大量深度應用，在互聯網教育領域也已成為標配，到金融行業的視頻雙錄、線上營業廳，保險行業的視頻開戶、用來開早會，隨著各行業信息化的不斷深入，音視頻技術的數字化程度越來越完善。LiveVideoStack特別采訪了即構科技技術副總裁廖念波，請他以后臺技術老兵的角度，講述了他對視頻云PaaS服務后臺架構、運營，以及音視頻行業的理解。

GB28181協議簡介及實踐

GB28181協議是視頻監控領域的國家標準，本文將解析如何在FFmpeg中增加對GB28181協議的支持，使其可以與支持GB28181協議的設備進行通信與控制，實現設備的注冊、?；钜约傲髅襟w的傳輸。

使?云函數和 Headless Chrome 進行實時渲染錄制合流

Chrome 不只是?個瀏覽器，還可以是?個渲染引擎和混流器，而 Headless ?Chrome 更是打開了瀏覽器在服務器中使?的場景，讓我們不僅可以把多個 WebRTC 的視頻畫?錄制下來，還可以把?板，各種動畫?起同步的錄制下來，完成?個所見即所得的頁面錄制合流?案。?

2021年15個流媒體直播趨勢

在這篇文章中，我們將談論在2021年掀起波瀾的15大流媒體直播趨勢，討論直播如何影響幾個不同的行業，以及直播技術如何演進。

音頻采集：Android 基于 OpenSL ES 的實現

這篇文章簡單介紹下移動端Android系統下利用OpenSL ES進行音頻采集方法。

深入淺出，Andorid 端屏幕采集技術實踐

隨著全球產業鏈線上化和數字化的加速，移動端實時屏幕共享在各行各業場景下都有了廣泛的應用，比如在線教育、視頻會議、遠程業務咨詢、手游直播。而屏幕采集則是實現實時屏幕共享流程中的第一步，本篇技術分享就來跟大家講講拍樂云在 Andorid 端屏幕采集的經驗實踐。

僅需2張圖，AI便可生成完整運動過程

先給一張側臉圖（關鍵幀1），再給一張正臉圖（關鍵幀2），然后僅僅根據這兩張圖片，AI處理了一下，便能生成整個運動過程。而且不只是簡單的那種，連在運動過程中的眨眼動作也“照顧”得很到位。效果一出，便在Reddit上引發了不少熱議。

TensorFlow 助力：AI 語音降噪打造 QQ 音視頻通話新體驗

本文基于 TensorFlow 平臺搭建了一個 AI 降噪與噪聲場景分類的并行訓練框架。借助 TensorFlow Lite 的量化功能減小模型尺寸，在模型的降噪效果基本不受影響的前提下，極大提升了性能優勢并成功部署到產品中上線。

WebRTC要不要從0開始？PION/ION閑述

作為在IT行業里搬磚的打工人，自始至終都持有一個疑問：別人造的輪子圓，還是自己造的輪子更圓？。大部分IT人正是在這種極度自卷的，違反人性的懷疑與自我懷疑中艱難度日，不斷地創造著屬于自己的輪子，并努力地分享出來，以求與別人家的輪子相比較，一爭高下。即便窮盡所有頭發，只為他人的一顆顆小星星。所以才有了GitHub這種對社會向前滾動進步有巨大促進意義的網站的存在。也間接促進了IT內卷人，跨國界的進行同性交友、比拼技術。

量化策略再思考，數據壓縮新技巧

在本文中，我們首先分析了之前常用于端到端訓練的三類量化方案所遇到的問題：加性均值噪聲會受到訓練測試不一致問題的影響，直接梯度回傳和從軟到硬的退火方案由于在訓練過程中缺少正則項，以及訓練會遇到例如偏移梯度或者不穩定梯度的影響，最終會削弱編碼網絡隱層空間的表達能力。

CSIG 3DV專委會 [成果速覽] 2021年第11期

上海交通大學發表在TPAMI2020上的論文從圖信號處理的角度出發，提出基于圖信號梯度特征的點云質量評價模型，其性能明顯優于現有基于點的質量評價模型。

視頻云系列 - 談談XR關鍵技術及VR/AR/MR/XR關系

虛擬現實（Virtual Reality，VR）、增強現實（Augmented Reality，AR）等業務以其三維化、自然交互、空間計算等完全不同于當前移動互聯網的特性，被認為將是下一代通用計算平臺。自 2012 年谷歌發布 AR 眼鏡 Google Glass, 2014 年 Facebook 收購 VR 頭顯廠商 Oculus 以來，VR/AR 行業歷經了 2015 年至 2017 年的創業和資本的狂熱，2018 年的行業退潮。隨著 2019 年底全球 5G 正式展開部署，VR/AR 作為 5G 核心的商業場景重新被認識和重視，行業重回升勢。

“意念打字”速度接近常人手機聊天，專家：這比馬斯克的“猴子玩游戲”難多了

5月12日，《Nature》發布最新一期封面研究：斯坦福大學的研究人員開發了一項新的腦機接口技術，能夠使癱瘓患者直接將腦海里的“想法”轉換為電腦屏幕上的手寫文字，“打字”速度突飛猛進！

AI應用，隔空打開-放大-關閉圖片

這是由外國小哥分享的項目，通過手勢打開圖片，將選擇區域放置在圖片上，切換手勢即可隔空將屏幕中的窗口打開-放大-關閉。

MPEG第134次會議進展

MPEG第134次會議于2021-04-26至2021-04-30在線舉行。MPEG視頻組批準了第一個用于多媒體應用的神經網絡壓縮國際標準。

聲網Agora 與 HTC 達成合作，賦能下一代 AR 與 XR 技術創新

全球實時互動云服務開創者和引領者聲網Agora（納斯達克股票代碼：API）宣布與 HTC 達成合作。作為 HTC VIVE?獨立軟件供應商（ISV）計劃的一部分，此次合作將加速在實時互動應用中實現 VR 技術的創新。HTC VIVE 持續打造領先的虛擬現實（VR）平臺與生態，致力于為企業和消費者創造身臨其境的沉浸式 VR 體驗。ISV 合作伙伴計劃能夠幫助開發者在 HTC VIVE 的 VR 和 XR 生態系統中創建應用程序和平臺，并無縫集成聲網Agora 的實時音視頻、實時消息、互動直播等技術。

插圖源自Pexels

總結

以上是生活随笔為你收集整理的音视频技术开发周刊 | 195的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。