每周一期，縱覽音視頻技術(shù)領(lǐng)域的干貨。

新聞投稿：contribute@livevideostack.com。

小提示：鏈接跳轉(zhuǎn)僅支持公眾號相關(guān)鏈接

穩(wěn)健、可靠全真即時(shí)通信網(wǎng)的架構(gòu)與應(yīng)用
支撐全真互聯(lián)網(wǎng)的基礎(chǔ)網(wǎng)絡(luò)包括實(shí)時(shí)音視頻通信網(wǎng)絡(luò)、即時(shí)通信網(wǎng)絡(luò)和流媒體分發(fā)網(wǎng)絡(luò)。隨著社會的進(jìn)步，人們對低延時(shí)即時(shí)通信的需求越來越高。本次LiveVideoStackCon 2021上海站大會邀請到了負(fù)責(zé)騰訊云千億級底層通信網(wǎng)絡(luò)的劉然，他為我們分享了穩(wěn)健、可靠的全真即時(shí)通信網(wǎng)的架構(gòu)與應(yīng)用實(shí)踐。

如何利用 AWS WebSocket API 進(jìn)行無服務(wù)器 Serverless WebRTC 信令
在本文中，Edward展示了他們?nèi)绾卫脽o服務(wù)器架構(gòu)來設(shè)置其WebRTC信號。他們使用AWS的API網(wǎng)關(guān)WebSocket API終止WebSocket并調(diào)用AWS無服務(wù)器Lambda函數(shù)。

https://webrtchacks.com/leverage-aws-websocket-api-for-webrtc-signaling/

詳解 WebRTC 高音質(zhì)低延時(shí)的背后 — AGC（自動增益控制）
本文將結(jié)合實(shí)例全面解析 WebRTC AGC 的基本框架，一起探索其基本原理、模式的差異、存在的問題以及優(yōu)化方向。

MPEG-DASH視頻流——完全指南
MPEG-DASH是最流行的視頻流協(xié)議之一，被廣泛用于通過視頻點(diǎn)播或直播來把媒體分發(fā)到各種終端用戶設(shè)備，包括智能手機(jī)、平板電腦、智能電視、游戲機(jī)等等。這篇文章將介紹MPEG-DASH的基本原理、它的歷史、最重要的特點(diǎn)等等。

網(wǎng)易云信視頻引擎技術(shù)
視頻引擎的應(yīng)用場景多為需要低延遲的實(shí)時(shí)通訊場景，比如視頻會議和娛樂直播。本次分享我們邀請到了網(wǎng)易云信的工程師韓慶瑞老師，為我們分享網(wǎng)易云信視頻引擎技術(shù)的特點(diǎn)和落地方案。

通過透視式顯示設(shè)備和光學(xué)設(shè)備進(jìn)行視覺增強(qiáng)
本文來自O(shè)SA的Imaging and Applied Optics Congress 2020， 講者是來自東京工業(yè)大學(xué)的助理教授Yuta Itoh，演講主題是關(guān)于通過透視式顯示設(shè)備和光學(xué)設(shè)備進(jìn)行視覺增強(qiáng)。

2021 最新視頻防抖論文+開源代碼匯總
今年三篇關(guān)于視頻防抖的文章，這三篇文章分布采用了不同的方法來解決視頻抖動的問題。
1、基于深度的三維視頻穩(wěn)定學(xué)習(xí)方法Deep3D穩(wěn)定器
2、融合運(yùn)動傳感器數(shù)據(jù)和光流，實(shí)現(xiàn)在線視頻穩(wěn)定
3、融合視頻中多個(gè)相鄰幀的信息，來呈現(xiàn)無需裁剪的完整穩(wěn)定視頻

喜馬拉雅：基于 WeNet 和 gRPC 的語音識別微服務(wù)架構(gòu)的設(shè)計(jì)和應(yīng)用
近日，喜馬拉雅語音團(tuán)隊(duì)在wenet中增加了基于gRPC的流式語音識別的支持。本文由喜馬拉雅語音團(tuán)隊(duì)撰寫，介紹wenet中的gRPC的設(shè)計(jì)和實(shí)現(xiàn)，并介紹喜馬拉雅基于wenet和gRPC的語音識別微服務(wù)架構(gòu)的設(shè)計(jì)和應(yīng)用。

Vonage 提高了現(xiàn)場互動的視頻質(zhì)量?
回想我們一年前的狀況真是不可思議。COVID-19挑戰(zhàn)了我們，改變了我們的工作，生活和彼此聯(lián)系的方式。視頻通信爆炸式增長以幫助我們適應(yīng)新的生活方式—去年2月至4月之間，Vonage視頻平臺上的視頻分鐘數(shù)增加了707％，而視頻總分鐘數(shù)仍然很高，2020年7月的使用率比2020年2月的使用率達(dá)到501％。

https://www.vonage.com/about-us/vonage-stories/video-quality-webrtc-live-interactions-post-covid1/

如果讓AI根據(jù)文字畫「抽象畫」，那得成什么樣？｜DeepMind新算法

根據(jù)文字生成圖片，AI早就會了。而如今，和以往的“寫實(shí)派”不同，AI要開始進(jìn)軍“抽象派”藝術(shù)了！

這些行業(yè)，將率先落地AI芯片
廣義上，所有面向AI應(yīng)用的芯片都可以稱為AI芯片。目前一般認(rèn)為是針對AI算法做了特殊加速設(shè)計(jì)的芯片。現(xiàn)階段，這些人工智能算法一般以深度學(xué)習(xí)算法為主，也可以包括其他淺層機(jī)器學(xué)習(xí)算法。

性能優(yōu)化：SRS為何能做到同類的三倍
性能無疑是服務(wù)器的核心能力，幾乎每個(gè)開源服務(wù)器的介紹都是”高性能XXX服務(wù)器“。視頻服務(wù)器由于業(yè)務(wù)的超復(fù)雜度，特別是WebRTC服務(wù)器，要做到高性能是非常有挑戰(zhàn)的難點(diǎn)。

Google新作 | 詳細(xì)解讀 Transformer那些有趣的特性（建議全文背誦）
本文發(fā)現(xiàn)了Transformer的一些重要特性，如Transformer對嚴(yán)重的遮擋，擾動和域偏移具有很高的魯棒性、與CNN相比，ViT更符合人類視覺系統(tǒng)，泛化性更強(qiáng)，等等…代碼即將開源！

實(shí)操教程｜使用圖像分割來做缺陷檢測的一個(gè)例子
什么是物體檢測？給定一張圖像，我們?nèi)祟惪梢宰R別圖像中的物體。例如，我們可以檢測圖像中是否有汽車，樹木，人等。如果我們可以分析圖像并檢測物體，我們可以教機(jī)器做同樣的事情嗎?答案是肯定的。隨著深度學(xué)習(xí)和計(jì)算機(jī)視覺的興起，我們可以實(shí)現(xiàn)目標(biāo)檢測的自動化。

微軟MR設(shè)計(jì)師：如何用視覺模擬彌補(bǔ)AR交互缺乏的體感反饋？
近期，為了進(jìn)一步優(yōu)化AR虛實(shí)融合的效果，微軟MR設(shè)計(jì)師Oscar Salandin開發(fā)了一種逼真的物理模擬AR demo。據(jù)悉，該應(yīng)用基于物理交互模擬和AR，乍一看只是一個(gè)可以自由交互的AR立方體，但它的獨(dú)特之處在于，可通過基于視覺的反饋來增強(qiáng)AR的逼真感，盡管沒有體感反饋，也能給體驗(yàn)者帶來足夠虛實(shí)結(jié)合的感受。

綜述：基于點(diǎn)云的自動駕駛3D目標(biāo)檢測和分類方法

本文基于現(xiàn)有的自動駕駛中利用3D點(diǎn)云數(shù)據(jù)進(jìn)行目標(biāo)檢測的文獻(xiàn),從數(shù)據(jù)特征提取和目標(biāo)檢測模型等方面對不同技術(shù)進(jìn)行比較。

無人駕駛“解救”礦山之困

當(dāng)社會還在熱議老齡化社會可能帶來的變化時(shí)，一些行業(yè)已經(jīng)為這個(gè)問題焦頭爛額了許久。作為礦山智能化體系中重要組成部分的無人駕駛，得益于此前多年的技術(shù)積累，更容易快速落地，形成智慧礦山的標(biāo)桿項(xiàng)目。

調(diào)查報(bào)告：全美成年人中有23%用過VR，Quest使用率占總體24%
自2012到2014年掀起一波VR風(fēng)口，至今已經(jīng)過去7年以上的時(shí)間。隨著前幾年VR一體機(jī)誕生，VR硬件和內(nèi)容市場得到了肉眼可見的發(fā)展和推動。那么時(shí)至今日，已經(jīng)有多少人用上了VR？VR在普通消費(fèi)群體的滲透率到底有多少？又有哪些難點(diǎn)阻止更多人接受VR呢？為了解答上述問題，Thrive Analytics和ARtillery Intelligence合作發(fā)布全新的VR用戶行為調(diào)查報(bào)告，報(bào)告中對4.6萬美國成年人進(jìn)行調(diào)查，結(jié)果發(fā)現(xiàn)……

廣播IP轉(zhuǎn)型報(bào)告：2021年廣播公司面臨的最大挑戰(zhàn)
在第一份關(guān)于IP和云應(yīng)用狀況的報(bào)告中，當(dāng)Haivision在2019年著手調(diào)查廣播公司時(shí)，我們很好奇是什么讓業(yè)內(nèi)人士夜不能寐，并要求受訪者按重要性排序他們的答案。我們想深入挖掘，真正了解我們的廣播客戶面臨的最大挑戰(zhàn)和障礙是什么。去年底，當(dāng)我們第二次進(jìn)行這項(xiàng)調(diào)查時(shí)，我們問了同樣的問題，看看這些挑戰(zhàn)有什么變化。

活動推薦

#?火山引擎 “全擎而進(jìn)” 品牌發(fā)布會

2021年6月10日，火山引擎“全擎而進(jìn)”品牌發(fā)布會將在北京舉行，首次對外展示企業(yè)服務(wù)產(chǎn)品和行業(yè)增長案例，揭秘字節(jié)跳動 9 年增長背后的技術(shù)原力，這也是火山引擎自去年對外服務(wù)以來的首個(gè)對外大會。整場活動以線下參會、線上直播兩種方式進(jìn)行。線下展區(qū)則被打造成了“增長引擎艙”，為來賓提供沉浸式商業(yè)體驗(yàn)，更有代入感地體驗(yàn)火山引擎產(chǎn)品技術(shù)帶來的增長成效。

https://www.livevideostack.cn/news/tech-for-growth-0610/

#?多媒體技術(shù)PI 第三期——網(wǎng)絡(luò)傳輸線上圓桌

掃描上方海報(bào)二維碼，關(guān)注 LiveVideoStack 視頻號預(yù)約 5月29日 上午10:30?的線上 /網(wǎng)絡(luò)傳輸/?主題圓桌直播你將看到WebRTC中的TURN的應(yīng)用、WebRTC網(wǎng)絡(luò)安全傳輸、實(shí)時(shí)流媒體傳輸技術(shù)在直播場景應(yīng)用實(shí)踐，以及如何提升直播體驗(yàn)和技術(shù)應(yīng)用背后的思考。

#?LiveVideoStackCon 2021?北京站大會門票7折優(yōu)惠倒計(jì)時(shí)

LiveVideoStackCon 2021 北京站（9月3-4日），將以“新技術(shù)，新機(jī)會”為主題，聚焦行業(yè)最新技術(shù)探索與應(yīng)用實(shí)踐，在這里不僅可以了解到業(yè)內(nèi)頂尖技術(shù)人、leader的技術(shù)探索、創(chuàng)新思考與思維碰撞，此外還可以看到多媒體生態(tài)內(nèi)部頂級玩家、大廠針對行業(yè)趨勢、存在挑戰(zhàn)，以及未來前景的全面解讀。

*LiveVideoStackCon 2021 北京站 ?大會門票7折優(yōu)惠截止 —?5月30日

https://bj2021.livevideostack.com/

總結(jié)

以上是生活随笔為你收集整理的音视频技术开发周刊 | 197的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。