音视频技术开发周刊 | 150
每周一期,縱覽音視頻技術領域的干貨和新聞投稿:contribute@livevideostack.com。
LiveVideoStackCon 2020線上峰會
內容整理
守得云開見日出——危機之下的音視頻技術驅動產品創新
在全球疫情的今天,大量線上服務短時間內誕生或極速擴張。身處在云計算的時代,如何用遠超以往的基礎音視頻云服務快速構建海量穩定的在線應用,以應對一場全人類的危機就顯得尤為重要。本次LiveVideoStackCon 2020線上峰會我們邀請到了騰訊云音視頻通信業務總經理李郁韜,他將從視頻會議、在線教育和在線娛樂等典型場景來看音視頻技術推動下的產品創新和機遇。
https://mp.weixin.qq.com/s/bcx7va2Xo-U2Xh6bk5_Oqg
架構
WebRTC:Android 上如何在多個設備上啟用硬件編碼
對于Badoo和Bumble應用程序上的視頻調用,我們使用帶有H.264編解碼器的WebRTC。根據相關文檔,您可能認為這個編解碼器應該在任何Android設備上無縫運行,從Android 5.0開始。然而,在實踐中,情況并非完全如此。本文介紹了在WebRTC中對H.264編解碼器進行硬件編碼的實現特性,以及在多種設備上啟用它的方法。
https://badootech.badoo.com/webrtc-on-android-how-to-enable-hardware-encoding-on-multiple-devices-5bd819c0ce5
錯誤懸賞報告 0x01 - WebRTC 版
你是否已經為你的 TURN 服務器打上了補丁??
https://www.rtcsec.com/2020/06/03-bug-bounty-bout-0x01-webrtc-edition/
傳輸網絡
低延遲仍是一個挑戰
本文來自streaming media的研討會,主題是:低延遲仍然是一個挑戰。主持人是流媒體視頻聯盟執行總監Jason Thibeault。
https://mp.weixin.qq.com/s/7sf3ogp15-fOV6QC5-0RTA
RTSP?不存在的 -> 前端實時流探索記
視頻有一個流的概念,所以稱流媒體。實時視頻的流很好理解,因為視頻是實時的,需要有一個地方不停地輸出視頻出來,所以整個視頻可以用流來稱呼。那么視頻可否直接輸出到前端頁面上呢?
https://juejin.im/post/5ef0c01851882565ac059689
自適應比特率ABR技術的發展
OTT 前端相比傳統前端有所不同,OTT在以太網上進行傳輸,并且編碼器可以以不同的profile進行編碼,輸出不同碼率,這時候就需要用到ABR技術對不同碼率的流進行選擇。
https://mp.weixin.qq.com/s/KKH3gkhHr3k2J4kRA7B2Gw
使用CNN對intra frame進行環路濾波
為了取代VVC環路濾波中的去方塊濾波(DBF)提出來一種下采樣的CNN濾波器。該CNN濾波器在降低神經網絡復雜度的同時能保持編碼效率。它是一個輕量級CNN網絡,能夠高效的控制CNN濾波強度以應對不同量化參數。只用于intra frame。
https://mp.weixin.qq.com/s/upr077HtA99TWgkonw6Uww
5G:直播視頻制作的未來
本次演講來自于MediaKind Webinar,演講者是MediaKind的首席技術人員Tony Jones,此次演講著眼于可以使用5G作為連接基礎架構中受益的應用領域。
https://mp.weixin.qq.com/s/e1LGZdPargEPscSnI5z1Qg
音視頻技術
WebRTC系列之音頻的那些事
WebRTC由語音引擎,視頻引擎和網絡傳輸三大模塊組成,其中語音引擎是WebRTC中最具價值的技術之一,實現了音頻數據的采集、前處理、編碼、發送、接受、解碼、混音、后處理、播放等一系列處理流程。
https://mp.weixin.qq.com/s/ajyo46Zqm6vRmKbPdntLXA
Zoho Meeting 推出多視頻源的視頻會議
提供25人的長廊視圖。
https://www.zoho.com/meeting/blog/zoho-meeting-introduces-video-conferencing-with-multiple-video-feeds.html
從瀏覽器中獲取實時視頻質量狀態
直接從瀏覽器發布實時流似乎是已經解決的問題之一。在瀏覽器中觀看直播視頻是如此普遍,以至于很難想象一個需要專有插件才能有機會工作的時代。由于有了WebRTC這樣的瀏覽器功能,現在甚至連視頻通信都顯得微不足道了。只有當你在同一臺機器上使用兩個瀏覽器窗口時,這個“瑣碎”的部分才是真的,但仍然是你在視頻上!兩次!
https://mux.com/blog/the-state-of-going-live-from-a-browser/
人物專訪
專訪快手傳輸算法負責人周超博士:LAS標準的推出離不開信念感
6月21日,快手正式對外發布基于流式的直播多碼率自適應標準LAS(Live Adaptive Streaming),用于提供低延遲、平滑、流暢的直播多碼率體驗。LAS的端到端解決方案同時開源,包括服務端、客戶端、業界領先的多碼率自適應算法等,從而幫助業界實現零門檻接入和使用LAS。
https://mp.weixin.qq.com/s/v5gcwwauf3EZn7oW8qHdUw
在線催稿:當一位高級視頻算法工程師接受采訪
講師專訪是每一屆LiveVideoStackCon舉辦前的固有“熱身”和傳統節目,我們夾帶著為大會做宣傳的私心(卻也并不為過),但更多的是希望幫助大家多熟悉、多了解這些在音視頻技術領域摸爬滾打多年的工程師、開發者,像朋友一樣真心接觸、平等交流。畢竟,技術的分享本就不應該居高臨下,他們也曾是你,或許有一天,你也將成為他們(大神們請忽略這句)。
https://mp.weixin.qq.com/s/KU8K3NqsuT2ngqY6oaUeIQ
AI智能
微軟上線語音評測功能:基于Azure云構建,賦能口語學習的教與學
近年來,隨著人工智能技術的不斷成熟,企業數字化轉型步伐的加快,AI的觸角逐漸深入到各個場景,使人類的生產生活變得更加智慧化。在聽覺方面,智能語音技術成為各大科技公司們攻堅的重要領域。
https://www.leiphone.com/news/202006/Ejz4oxCQpPehDnmd.html
「神經網絡就像任性的小孩」港中文MMLab博士揭開OpenSelfSup自監督學習的秘密
自然的場景理解是一項艱巨的任務。任務復雜多樣,不同方法各有各的專用訓練代碼,難以結合、復用和改進。評價方案不統一,不同的方法難以在公平環境下對比;動輒百萬千萬的訓練數據量,訓練效率是個大問題。港中文MMLab開源自監督表征學習代碼庫OpenSelfSup,號稱「一行命令跑評測」,并在各大Benchmark上驗證了復現結果。
https://mp.weixin.qq.com/s/6pXlAyQo99hUEiUOLc31pg
圖像
萬字長文帶你入門 GCN
CNN 在圖像識別等任務中具有重要作用,主要是因為 CNN 利用了圖片在其域中的平移不變性。由于圖結構不存在平移不變性,所以 CNN 無法直接在圖上進行卷積。
https://mp.weixin.qq.com/s/oV-VDswOiN8C9PQ2Alm0ow
資源推薦
OGB:圖機器學習的基準測試數據集
Open Graph Benchmark(以下簡稱 OGB)是斯坦福大學的同學開源的 Python 庫,其包含了圖機器學習(以下簡稱圖 ML)的基準數據集、數據加載器和評估器,目的在于促進可擴展的、健壯的、可復現的圖 ML 的研究。
https://mp.weixin.qq.com/s/28UmRuEUFZa44IjNNbM-qw
nginx-http-flv-module
基于nginx-rtmp-module的流媒體服務器
https://github.com/winshining/nginx-http-flv-module/blob/master/README.CN.md
總結
以上是生活随笔為你收集整理的音视频技术开发周刊 | 150的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 我们还有一些话想和你说
- 下一篇: LiveVideoStackCon 20