『音視頻技術開發周刊』由LiveVideoStack團隊出品，專注在音視頻技術領域，縱覽相關技術領域的干貨和新聞投稿，每周一期。點擊『閱讀原文』，瀏覽第83期內容，祝您閱讀愉快。

架構

基于視頻流傳輸 — 在線教育白板技術

在線教育不同于線下教育， 內容需要經過電子白板展現給用戶，如何做出優秀的在線教育白板成為研究的重點。本文來自學而思網校客戶端架構負責人趙文杰在LiveVideoStackCon 2018大會上的分享，并由LiveVideoStack整理而成。

基于WebRTC的互動直播實踐

互動直播已經逐漸成為直播的主要形式。映客直播資深音視頻工程師葉峰峰在LiveVideoStackCon 2018大會的演講中詳細介紹了INKE自研連麥整體設計思路、如何基于WebRTC搭建互動直播SDK以及針對用戶體驗進行優化。本文由LiveVideoStack整理而成。

熊謝剛：AI和5G讓容聯·云通訊彎道超車

經過5年多的發展，容聯·云通訊已經從通訊PaaS服務，演變成為融合通信運營商與互聯網音視頻能力的通訊云平臺。未來，容聯·云通訊還要在5G、AI和物聯網方面突破。日前，LiveVideoStack對容聯·云通訊CPO熊謝剛進行了專訪，暢談了多媒體云服務的未來。

LinkedIn：用數據提高視頻性能

LinkedIn通過在視頻播放過程中收集的大量數據，對多種視頻指標進行實驗以提高視頻性能，改善用戶體驗。本文來自LinkedIn工程博客，LiveVideoStack對文章進行了翻譯。

QUIC的那些事 | 幀類型及格式

QUIC的幀包是基于幀的。幀有1個字節的幀類型字段，類型字段后是與類型相關的幀頭信息。所有的幀都被包含在單個的QUIC包中，沒有幀可以跨越QUIC包的邊界。

移動端IM/推送系統的協議選型：UDP還是TCP？

從PC時代的IM開始，IM開發者就在為數據傳輸協議的選型爭論不休（比如：《為什么QQ用的是UDP協議而不是TCP協議？》這樣的問題，隔一段時間就能在社區里看到）。到了移動互聯網時代，鑒于移動網絡的不可靠性等特點，再加上手機的省電策略、流量壓縮等，為這個問題的回答增了更多的不確定因素。

音頻/視頻技術

安卓音視頻播放-總體架構

安卓上我們經常會使用MediaPlayer這個類去播放音頻和視頻,這篇筆記便從MediaPlayer著手,一層層分析安卓的音視頻播放框架。

Stanford CS224n 第十二講：語音處理的端對端模型

本文是對端到端的語音處理方法的概述，主要內容包括 1.傳統的語音識別系統；2. 使用端到端（end-to-end）系統的原因；3. Connectionist Temporal Classification（CTC）；4. Listen Attend and Spell（LAS）；5. LAS的一些改進方法...

自適應流媒體傳輸（五）——正確認識碼率切換

在這篇文章中，我們來探討幾個問題：什么時候需要進行碼率切換，碼率切換的幅度應該怎么設計，以及碼率切換會對觀眾的感知有什么影響。相信大家看完之后會對碼率切換有一個更加正確的認識。

利用MediaMuxer從視頻中提取視頻音頻文件和合并視頻，音頻文件

前面利用MediaExtractor提取的AAC和H264文件不經過處理沒辦法播放，這次利用MediaExtractor和MediaMuxer配合提取合并生成可以播放的文件，PS：AAC文件和.H264需要首先利用MediaMuxer生成MP4文件，才能進行合并。

編解碼

Android音視頻學習： MediaCodec 硬編解碼

MediaCodec 是做硬件（GPU，充分利用GPU 的并行處理能力）編解碼的。（通常結合 MediaExtractor、MediaSync、MediaMuxer、MediaCrypto、MediaDrm、Image、Surface、AudioTrack 使用）

FFmpeg視頻解碼,保存原始YUV數據(使用最新FFmpeg4.1)

本文基于FFmpeg4.1，FFmpeg視頻解碼,保存原始YUV數據，沒有使用任何棄用的API。

自適應流媒體傳輸（四）——深入理解MPD

在這篇文章中，我們從更細節的角度，深入來看一下DASH系統中的MPD結構。

AI智能

6D目標姿態估計，李飛飛夫婦等提出DenseFusion

根據 RGB-D 圖像進行 6D 目標姿態估計的一個主要技術挑戰是如何充分利用兩個互補數據源——顏色和深度。為此，李飛飛夫婦等研究者提出了 DenseFusion——一種可單獨處理兩個數據源的異質架構。

Mars 算法實踐——人臉識別

Mars 是一個基于矩陣的統一分布式計算框架，在之前的文章中已經介紹了 Mars 是什么， 以及 Mars 分布式執行 ，而且 Mars 已經在 GitHub 中開源。當你看完 Mars 的介紹可能會問它能做什么，這幾乎取決于你想做什么，因為 Mars 作為底層運算庫，實現了 numpy 70% 的常用接口。這篇文章將會介紹如何使用 Mars 完成你想做的事情。

一文帶你讀懂 WaveNet：谷歌助手的聲音合成器

機器合成擬人化語音（文語轉換）的想法已經存在很長時間了。在深度學習出現之前，存在兩種主流的建立語音合成系統的方式，即波音拼接合成和參數合成。

FaceBoxes—官方開源CPU實時高精度人臉檢測器

FaceBoxes是中科院自動化所在IJCB2017上提出的面向CPU實時的高精度人臉檢測算法，論文中指出其比大家所熟知的MTCNN在速度和精度上都更優秀。

圖像

曠視等提出GIF2Video：首個深度學習GIF質量提升方法

本文提出了 GIF2Video，首個基于深度學習提升自然場景下 GIF 成像質量的方法，其主要任務有兩個：顏色反量化和幀插值。針對第一個任務，本文給出一個組合性網絡架構 CCDNet，并通過綜合損失函數訓練它，顏色反量化被嵌入于 CCDNet 以指導網絡學習和推理。對于第二個任務，本文采用 SuperSlomo 進行變長多幀插值以提升輸入 GIF 的時序分辨率。

總結

以上是生活随笔為你收集整理的音视频技术开发周刊 83期的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。