每周一期，縱覽音視頻技術(shù)領(lǐng)域的干貨和新聞投稿：contribute@livevideostack.com。

架構(gòu)

基于 TCP 的服務(wù)器 WebRTC 通道質(zhì)量指示器

看看 WebRTC 在 TCP 上是如何工作的吧。

WebRTC連接：一些關(guān)于NAT穿越的簡(jiǎn)要原理

或許你在前一段時(shí)間聽聞IPv4地址枯竭的新聞，IPv4地址只有32位長(zhǎng)，理論最多42.9億條。大概在94年時(shí)候，提出了IP網(wǎng)絡(luò)地址轉(zhuǎn)換NAT 的RFC規(guī)范，作為一個(gè)臨時(shí)方案來(lái)解決IPv4地址枯竭的問題。這個(gè)方案就是要把IP地址重用。在邊緣網(wǎng)絡(luò)引入NAT設(shè)備，由它來(lái)負(fù)責(zé)維護(hù)本地服務(wù)IP和端口的映射到公網(wǎng)IP和端口。NAT內(nèi)部的本地IP地址空間可以被許多不同的子網(wǎng)絡(luò)重用，從而解決地址耗盡的問題。

如何構(gòu)建一個(gè) AR 增強(qiáng)現(xiàn)實(shí)遠(yuǎn)程援助應(yīng)用程序

大多數(shù)遠(yuǎn)程協(xié)助都是通過(guò)基于音頻或文本的聊天完成的。這些解決方案對(duì)于可能難以描述問題或難以理解與故障排除相關(guān)的新概念和術(shù)語(yǔ)的用戶而言，可能會(huì)遇到麻煩。幸運(yùn)的是，技術(shù)已經(jīng)達(dá)到可以使用“視頻聊天”和“增強(qiáng)現(xiàn)實(shí)”輕松解決此問題的地步。在本指南中，我們將逐步介紹構(gòu)建一個(gè)利用ARKit和視頻聊天來(lái)創(chuàng)建交互式體驗(yàn)的iOS應(yīng)用所需的所有步驟。

WebRTC電話會(huì)議可能會(huì)出現(xiàn)什么問題

電話會(huì)議總是很復(fù)雜，WebRTC的加入可能會(huì)使它們變得更簡(jiǎn)單，但也確實(shí)帶來(lái)了一系列的麻煩。

傳輸網(wǎng)絡(luò)

網(wǎng)絡(luò)傳輸協(xié)議kcp原理解析

KCP是一個(gè)快速可靠協(xié)議，能以比 TCP浪費(fèi)10%-20%的帶寬的代價(jià)，換取平均延遲降低 30%-40%，且最大延遲降低三倍的傳輸效果。純算法實(shí)現(xiàn)，并不負(fù)責(zé)底層協(xié)議（如UDP）的收發(fā)，需要使用者自己定義下層數(shù)據(jù)包的發(fā)送方式，以 callback的方式提供給 KCP。連時(shí)鐘都需要外部傳遞進(jìn)來(lái)，內(nèi)部不會(huì)有任何一次系統(tǒng)調(diào)用。

通過(guò)QUIC 0-RTT建立更快的連接

本文主要探討TLS協(xié)議，看看它如何允許客戶機(jī)開始發(fā)送HTTP要求，并且無(wú)需等待TLS握手完成即可減少延遲、建立更快的連接。此外，之中會(huì)有一些風(fēng)險(xiǎn)如通過(guò)API端點(diǎn)發(fā)送HTTP請(qǐng)求間的bank API重放攻擊、Cloudware如何拒絕0-RTT請(qǐng)求并通過(guò)加密保護(hù)連接網(wǎng)絡(luò)。感謝學(xué)而思網(wǎng)校架構(gòu)師劉連響對(duì)本文的技術(shù)審校。

編解碼

將視頻編碼工具用到WebP圖片中

本文是來(lái)自Alliance for Open Media Research Symposium2019的演講，作者是來(lái)自Google的Pascal Massimino。他帶來(lái)的演講主題是：如何利用現(xiàn)有的視頻編碼工具，構(gòu)建一個(gè)更優(yōu)質(zhì)的新型圖片格式。

神經(jīng)網(wǎng)絡(luò)媒體壓縮的機(jī)遇

本文是來(lái)自AOMedia Symposium 2019的演講，講者是來(lái)自于Google公司的George Toderici。本次演講主要講述了使用神經(jīng)網(wǎng)絡(luò)做壓縮的終極目標(biāo)，現(xiàn)有SoTA神經(jīng)壓縮模型的綜述，以及未來(lái)的機(jī)遇。

Android音視頻硬編碼：生成一個(gè)MP4

本文將結(jié)合前面系列文中介紹的MediaCodec、OpenGL、EGL、FBO、MediaMuxer等知識(shí)，實(shí)現(xiàn)對(duì)一個(gè)視頻的解碼，編輯，編碼，最后保存為新視頻的流程。

視頻技術(shù)

視頻云下半場(chǎng) 向前走還是向“厚”走？

從2016年至今，流量的增長(zhǎng)基本進(jìn)入到了平穩(wěn)期，此時(shí)，面向產(chǎn)業(yè)界和開發(fā)者，我們?nèi)绾翁峁└唷⒏碌哪芰o到他們，提升平臺(tái)的用戶體驗(yàn)？本文來(lái)自騰訊云視頻業(yè)務(wù)產(chǎn)品總監(jiān)黃斌在LiveVideoStackCon 2019深圳站上的精彩分享，希望和業(yè)界一起探討視頻云下半場(chǎng)的方向與定位，也希望與產(chǎn)業(yè)界同仁一道，共建更好的大視頻生態(tài)。

Dana & AudioServer - 轉(zhuǎn)錄

多年來(lái)，我們一直在要求Asterisk中的一項(xiàng)新功能，該功能使我們能夠以一種可用的形式從Asterisk中獲取原始音頻流，從而使我們能夠?qū)⒄Z(yǔ)音與文本引擎，機(jī)器人平臺(tái)等集成在一起，這成為了可能在Asterisk 16.6版中。

福克斯體育 1 臺(tái)啟用視頻呼叫中心擴(kuò)容了包括 The Herd with Colin Cowherd 在內(nèi)的熱門節(jié)目的覆蓋范圍

喜歡它全面使用視頻服務(wù)的方式，而不僅僅是他們自己實(shí)現(xiàn)了 WebRTC。

Demuxed 2019 演講視頻選

WebRTC/傳統(tǒng)的內(nèi)容分銷

• 第一場(chǎng)演講的演講者是來(lái)自Comcast的Bryan Meissner。

  演講者首先介紹了WebRTC，WebRTC是用于低延遲流傳輸?shù)某錾珔f(xié)議，但是僅支持少數(shù)編碼器。

  以安全攝像機(jī)為例，它出現(xiàn)在H.264之前，因此他們提出了一種與WebRTC對(duì)等的支持H.264內(nèi)容的方式。

• 第二場(chǎng)演講的演講者是來(lái)自Google的Ty Bekiares，演講者首先介紹了傳統(tǒng)的內(nèi)容分銷模式，然后介紹了他們提出的邊緣轉(zhuǎn)碼模型，并陳述了邊緣轉(zhuǎn)碼的優(yōu)缺點(diǎn)。

  接著講了他們?cè)趂fmepg和QuickSync上做的一些測(cè)試。

  然后詳細(xì)介紹了基于最小可接受質(zhì)量的視頻質(zhì)量指標(biāo)，最后介紹了一些仍需考慮的問題。

CMAF and DASH-IF/日本字幕/MPEG-5第2部分LCEVC的編解碼過(guò)程

• 第一場(chǎng)演講的演講者是來(lái)自Unified Streaming的Rufael Mekuria，演講者首先闡明了提出DASH-IF實(shí)時(shí)攝取協(xié)議的原因，然后介紹了它的兩個(gè)接口：

  CMAF攝取和DASH/HLS攝取，并介紹了該協(xié)議的一些好處。

  最后，詳細(xì)介紹了他們提供的CMAF開源實(shí)現(xiàn)，并介紹了下一步的工作。

• 第二場(chǎng)演講的演講者是來(lái)自Brightcove的Gary Katsevman，演講主題是”，演講者首先對(duì)字幕的使用情況做了簡(jiǎn)要說(shuō)明，然后對(duì)日本的字幕做了詳細(xì)的闡述，共介紹了日本字幕的5個(gè)特點(diǎn)，以及諸如IMSC和WebVTT這些字幕標(biāo)準(zhǔn)對(duì)這些功能的支持。

• 第三場(chǎng)演講的演講者是來(lái)自V-Nova的Guido Meardi，演講者首先解釋了低復(fù)雜度視頻編碼標(biāo)準(zhǔn)的必要性，然后講解了MPEG-5第2部分LCEVC的編解碼過(guò)程，然后對(duì)比了LCEVC和x264，x265在一些測(cè)試序列上的性能，最后介紹了LCEVC的下一步的工作。

AI智能

SDR2HDR及視頻增強(qiáng)的AI技術(shù)研究

宋利教授從超高清及SDR2HDR概要、視頻增強(qiáng)AI技術(shù)發(fā)展和HDR視頻的主客觀評(píng)價(jià)三個(gè)方面講解了SDR2HDR及視頻增強(qiáng)的AI技術(shù)研究。

北理工&阿里文娛：結(jié)合常識(shí)與推理，更好地理解視頻并生成描述

人工智能頂級(jí)會(huì)議 AAAI 2020 將于 2 月 7 日-2 月 12 日在美國(guó)紐約舉辦，不久之前，AAAI 2020 公布論文介紹結(jié)果：今年最終收到 8800 篇提交論文，評(píng)審了 7737 篇，接收 1591 篇，接收率 20.6%。本文對(duì)北京理工大學(xué)、阿里文娛摩酷實(shí)驗(yàn)室合作的論文《Joint Commonsense and Relation Reasoning for Image and Video Captioning》進(jìn)行解讀。

圖像

感知優(yōu)化深度圖像壓縮

本文是來(lái)自alliance for open media research symposium2019的演講，作者是來(lái)自于UT Austin的PhD，Li-Heng Chen。本次演講主要講述如何在感知上優(yōu)化深度圖像壓縮。

通過(guò)替代文本描述使LinkedIn媒體更具包容性

作為我們?yōu)槿騿T工的每一位成員提供經(jīng)濟(jì)機(jī)會(huì)的愿景的一部分，LinkedIn為會(huì)員們創(chuàng)造了一個(gè)獨(dú)特的環(huán)境，使會(huì)員們可以聯(lián)網(wǎng)、學(xué)習(xí)、共享知識(shí)，并找到工作。在很多方面，LinkedInfeed已經(jīng)成為這項(xiàng)工作的核心，它是我們?cè)诰W(wǎng)站上分享信息和參與對(duì)話的卓越方式。除了文本之外，富媒體也已經(jīng)成為了feed的重要組成部分。

資源推薦

純前端實(shí)現(xiàn)人臉識(shí)別自動(dòng)佩戴圣誕帽

Tensorflow.js 是Google 推出的第一個(gè)基于 TensorFlow 的前端深度學(xué)習(xí)框架。它允許你在瀏覽器上訓(xùn)練模型，或以推斷模式運(yùn)行預(yù)訓(xùn)練的模型。TensorFlow.js 不僅可以提供低級(jí)的機(jī)器學(xué)習(xí)構(gòu)建模塊，還可以提供高級(jí)的類似 Keras 的 API 來(lái)構(gòu)建神經(jīng)網(wǎng)絡(luò)。

點(diǎn)擊“閱讀原文”可查看更多詳細(xì)信息，請(qǐng)大家科學(xué)上網(wǎng)。

總結(jié)

以上是生活随笔為你收集整理的音视频技术开发周刊（第126期）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。