『音視頻技術(shù)開發(fā)周刊』由LiveVideoStack團(tuán)隊(duì)出品，專注在音視頻技術(shù)領(lǐng)域，縱覽相關(guān)技術(shù)領(lǐng)域的干貨和新聞投稿，每周一期。點(diǎn)擊『閱讀原文』，瀏覽第75期內(nèi)容，祝您閱讀愉快。

架構(gòu)

Netflix媒體數(shù)據(jù)庫(kù)：媒體時(shí)間線數(shù)據(jù)模型

如何設(shè)計(jì)高效的視頻數(shù)據(jù)庫(kù)，Netflix的NMDB給出了答案。本文是系列文章的第二篇，感謝Hulu的小伙伴們的技術(shù)審校。

教育場(chǎng)景下的實(shí)時(shí)音頻解決方案

本文來(lái)自網(wǎng)易云信 資深音頻算法工程師 李備在LiveVideoStackCon 2018講師熱身分享，并由LiveVideoStack整理而成。在分享中李備詳細(xì)分析了在線教育的音頻需求，以及一般軟件音頻框架，和行業(yè)的挑戰(zhàn)。

WebRTC中音頻相關(guān)的netEQ（五）：DSP處理

MCU發(fā)給DSP的主要的控制命令有正常播放（normal）、加速播放（accelerate）、減速播放（preemptive expand）、丟包補(bǔ)償（PLC,代碼中叫expand）、融合（merge）等。

精致前處理，精準(zhǔn)碼控 — 極致視覺效果

編碼時(shí)采用精準(zhǔn)碼控，在碼率受限的情況下，將有限的資源合理分配，提高整體畫質(zhì)；編碼前，對(duì)圖像進(jìn)行精致的前處理，營(yíng)造更加極致的視覺效果，提升畫質(zhì)。本文來(lái)自騰訊視頻 視頻編碼團(tuán)隊(duì)負(fù)責(zé)人汪亮在LiveVideoStackCon 2018大會(huì)上的分享，并由LiveVideoStack整理而成。

WebRTC 點(diǎn)對(duì)點(diǎn)會(huì)話建立過(guò)程分析

關(guān)于 WebRTC 建立點(diǎn)對(duì)點(diǎn)連接的文章很多，其中都提到了如何利用 STUN 服務(wù)器獲取本機(jī)的公網(wǎng)地址，本文側(cè)重局域網(wǎng)(兩臺(tái)設(shè)備之間可以直接ping通)下WebRTC點(diǎn)對(duì)點(diǎn)連接建立問(wèn)題分析。

WebRTC 的 CreateOffer 過(guò)程分析

通過(guò) WebRTC 點(diǎn)對(duì)點(diǎn)會(huì)話建立過(guò)程分析可以知道 CreateOffer 的具體實(shí)現(xiàn)位置在 src\third_party\webrtc\pc\mediasession.cc ，但是 CreateOffer 執(zhí)行過(guò)程中具體經(jīng)歷了什么，還沒有進(jìn)行介紹，接下來(lái)將介紹 CreateOffer 究竟創(chuàng)建了什么內(nèi)容。

《周四橄欖球之夜》流媒體視頻拆解：Twitch VS Amazon Prime

最近，亞馬遜開始在Prime Video和Twitch上直播大型體育賽事。流媒體專家Phil Cluff從編解碼器、包裝格式、DRM策略及CDN等方面對(duì)兩種平臺(tái)的流媒體架構(gòu)進(jìn)行了分析、推測(cè)。LiveVideoStack對(duì)原文進(jìn)行了翻譯。

音頻/視頻技術(shù)

基于HLS格式的低延時(shí)互動(dòng)直播技術(shù)

在不犧牲服務(wù)質(zhì)量（卡頓率、畫面清晰度）的前提下，越低的延時(shí)能帶來(lái)越好的互動(dòng)性用戶體驗(yàn)。為達(dá)成可擴(kuò)展性、服務(wù)質(zhì)量、互動(dòng)性的三贏，Twitch團(tuán)隊(duì)研發(fā)了基于HLS格式的低延時(shí)互動(dòng)直播技術(shù)。本文來(lái)自Twitch Principal Research Engineer沈悅時(shí)在LiveVideoStackCon 2018大會(huì)上的分享，并由LiveVideoStack整理而成。

SRT : 開源的視頻傳輸協(xié)議

SRT（Secure Reliable Transport）是新一代低延遲視頻傳輸協(xié)議，是一種開源、免費(fèi)和應(yīng)用靈活的規(guī)范，它的性能與專用的協(xié)議一樣優(yōu)秀，同時(shí)能夠在不同制造商生產(chǎn)的產(chǎn)品之間工作。本文主要參考Haivision的SRT白皮書，概述了SRT的一些關(guān)鍵特性，并將SRT與常見傳輸格式及新一代傳輸協(xié)議QUIC進(jìn)行比較，最后簡(jiǎn)述SRT的發(fā)展現(xiàn)狀。

WebRTC：音頻QoS中的前向糾錯(cuò) (FEC) 技術(shù)解析

WebRTC語(yǔ)音傳輸中保證傳輸質(zhì)量的主要措施分為丟包重傳 (NACK) 和前向糾錯(cuò) (FEC)，其中NACK主要是接收端在檢測(cè)到數(shù)據(jù)包RTP序列號(hào)不連續(xù)的時(shí)候，發(fā)送重傳請(qǐng)求，發(fā)送端接收到重傳請(qǐng)求后重新向接收端發(fā)送丟失的數(shù)據(jù)。

直播首屏耗時(shí)400ms以下的優(yōu)化實(shí)踐

直播行業(yè)的競(jìng)爭(zhēng)越來(lái)越激烈，進(jìn)過(guò)18年這波洗牌后，已經(jīng)度過(guò)了蠻荒暴力期，剩下的都是在不斷追求體驗(yàn)。最近在幫做直播優(yōu)化首開，通過(guò)多種方案并行，把首開降到500ms以下，希望能對(duì)大家有借鑒。

阿里云邊緣節(jié)點(diǎn)ENS助力淘寶構(gòu)建音視頻通信網(wǎng)絡(luò)

淘寶的音視頻通訊基礎(chǔ)團(tuán)隊(duì)與阿里云邊緣計(jì)算技術(shù)團(tuán)隊(duì)合作，通過(guò)邊緣節(jié)點(diǎn)收流、合流、構(gòu)建低延時(shí)音視頻通信鏈路，完美地解決由于地域分布廣泛、網(wǎng)絡(luò)質(zhì)量不穩(wěn)定帶來(lái)的體驗(yàn)問(wèn)題和延時(shí)問(wèn)題。

編解碼

語(yǔ)音編解碼技術(shù)演進(jìn)和應(yīng)用選型

本文來(lái)自現(xiàn)網(wǎng)易云音樂(lè)音視頻實(shí)驗(yàn)室負(fù)責(zé)人劉華平在LiveVideoStackCon 2017大會(huì)上的分享，并由LiveVideoStack整理而成。分享中劉華平以時(shí)間為主線，講述了語(yǔ)音編解碼技術(shù)的演進(jìn)路線及實(shí)際應(yīng)用中的技術(shù)選型。

基于機(jī)器學(xué)習(xí)技術(shù)的非迭代內(nèi)容自適應(yīng)分布式編碼

分布式編碼是縮短內(nèi)容準(zhǔn)備云工作流程的周轉(zhuǎn)時(shí)間的一種有效方法。本文提出了一種非迭代的代碼同義方法，它采用機(jī)器學(xué)習(xí)技術(shù)來(lái)實(shí)現(xiàn)平均比特率的節(jié)省，同時(shí)保證目標(biāo)質(zhì)量。

幀間預(yù)測(cè)相關(guān)信息獲取

獲取幀間編碼模式 調(diào)用getPartitionSize(UInt uiIdx)，uiIdx=0表示當(dāng)前深度CU eg.如果編碼塊是Inter2Nx2N模式，即遍歷xCheckRDCostInter( rpcBestCU, rpcTempCU, SIZE_2Nx2N DEBUG_STRING_...

AV1解碼器dav1d性能提升100%

11月21日，VideoLAN的主席Jean-Baptiste Kempf在其博客上透露了AV1解碼器dav1d的最新進(jìn)展，和libaom相比，dav1d性能普遍提升100%，最高提升400%。

AI智能

中國(guó)團(tuán)隊(duì)“霸屏”全球權(quán)威人臉識(shí)別競(jìng)賽，依圖奪冠！

美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）剛剛公布了有工業(yè)界“黃金標(biāo)準(zhǔn)”之稱的全球人臉識(shí)別算法測(cè)試（FRVT）結(jié)果，依圖科技以千萬(wàn)分之一誤報(bào)下的識(shí)別準(zhǔn)確率超過(guò)99%，繼續(xù)保持全球人臉識(shí)別競(jìng)賽冠軍，中國(guó)公司商湯科技摘得第三名和第四名。

NR V2X最新總結(jié)，快來(lái)一起看看吧~

3GPP工作組在2018年6月RAN#80全會(huì)上啟動(dòng)了NR V2X技術(shù)研究，在之后的RAN1 94/94b/95次會(huì)議中工作組成員針對(duì)V2X課題進(jìn)行了大量的討論。

利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)座頭鯨進(jìn)行聲學(xué)探測(cè)

在過(guò)去幾年中，Google AI Perception 團(tuán)隊(duì)開發(fā)出音頻事件分析技術(shù)，并將其應(yīng)用于 YouTube 上的非語(yǔ)言字幕、視頻分類和檢索。此外，為了進(jìn)一步推動(dòng)社區(qū)中的研究，我們還發(fā)布了 AudioSet 評(píng)估集，并開源了部分模型代碼。

人臉識(shí)別|人證比對(duì)《DocFace+: ID Document to Selfie Matching》論文解讀（附代碼）

本文中，我們提出了DocFace++來(lái)解決這問(wèn)題。我們首先展示了基于梯度的優(yōu)化方法在每個(gè)類別只有很少樣本的時(shí)候，收斂的很慢。為了克服這個(gè)缺點(diǎn)，我們提出了一種方法，叫做動(dòng)態(tài)權(quán)值imprint（不知道怎么該翻譯這個(gè)imprint），來(lái)更新分類的權(quán)值，這樣可以收斂的更快，特征表達(dá)更加的泛化。

圖像

Android開發(fā)之圖像處理那點(diǎn)事——濾鏡

在 Android 開發(fā)中，一般對(duì)圖像的處理就是 Bitmap（位圖），它包含了圖像的全部數(shù)據(jù)，即點(diǎn)陣和顏色值，點(diǎn)陣就是包含像素點(diǎn)的矩陣，而顏色值就是ARGB，分別代表透明、紅色、綠色、藍(lán)色通道，它們共同決定了像素點(diǎn)的顏色，今天我們來(lái)講講關(guān)于改變圖像顏色的相關(guān)知識(shí)點(diǎn)。

總結(jié)

以上是生活随笔為你收集整理的音视频技术开发周刊 75期的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。