『音視頻技術開發周刊』由LiveVideoStack團隊出品，專注在音視頻技術領域，縱覽相關技術領域的干貨和新聞投稿，每周一期。點擊『閱讀原文』，瀏覽第78期內容，祝您閱讀愉快。

架構

HDR視頻生態系統縱覽

Flatpanels作者Yoeri Geutskens對HDR視頻生態系統進行了調查并以圖表的形式展示。HDR視頻圖表根據公司業務類型進行分類并通過所使用HDR的格式進行了更詳細的劃分。LiveVideoStack對描述文章進行了翻譯。

跨國實時網絡調度系統設計

跨國應用場景下網絡的復雜性、不穩定和高丟包率對網絡的實時性和流暢性提出了更高的挑戰。本文是即構科技技術副總裁冼牛在LiveVideoStackCon 2018大會上的分享，深入探討了實時網絡調度系統的部署、架構設計、挑戰和應對策略。由LiveVdeoStack整理而成。

Netflix數據庫架構變革：縮放時間序列的數據存儲

Netflix分析了其數據集的訪問模式，對查看數據存儲架構進行了重新設計，并采用群集分片的數據分類方式，實時和壓縮數據并行的讀取模式。以尋求滿足更多的獨特需求與成本，效率的改進。本文來自Netflix技術博客，LiveVideoStack對文章進行了翻譯。

WebSocket 和 DWR 做 Web 端即時通信

WebSocket是HTML5出的東西（協議），也就是說HTTP協議沒有變化，或者說沒關系，但HTTP是不支持持久連接的（長連接，循環連接的不算）。

GPU和FPGA優缺點的對比

從峰值性能來說，GPU（10Tflops)遠遠高于FPGA(<1TFlops)。GPU上面成千上萬個core同時跑在GHz的頻率上還是非常壯觀的，最新的GPU峰值性能可達10TFlops以上。

音頻/視頻技術

短視頻秒播優化實踐（一）

在短視頻的體驗中，起播速度無疑是最影響體驗的指標之一，因為短視頻很短，十幾秒到幾分鐘不等，如果一個十幾秒的視頻，加載時間都要3秒，肯定是一個很壞的體驗；所以在產品定義之初，起播速度就設定了控制在1秒左右，大部分在1秒內，也就是業內說的“秒播”，這需要對播放流程進行優化。

短視頻秒播優化實踐（二）

之前我們介紹了在線短視頻秒播優化的方方面面，從服務器，cdn部署接入，數據連接/獲取，客戶端緩存，出幀策略，到視頻文件I幀位置等。本文從視頻文件格式的另外一個角度介紹，MP4文件的box排列順序是如何影響，在線短視頻的播放以及秒播優化的。

播放器技術分享（3）：音畫同步

第一期文章要推出的內容主要涉及到播放器比較核心的幾個技術點，本篇是系列文章的第三篇，主要聊一聊播放器的音畫同步。

pydub庫---語音增強

最近使用Python調用百度的REST API實現語音識別，但是百度要求音頻文件的壓縮方式只能是pcm（不壓縮）、wav、opus、speex、amr，這里面也就wav還常見一點，但是一般設備錄音得到的文件都是mp3，這就要把mp3轉換為wav。

基于Web Audio API實現音頻可視化效果

網頁音頻接口最有趣的特性之一它就是可以獲取頻率、波形和其它來自聲源的數據，這些數據可以被用作音頻可視化。這篇文章將解釋如何做到可視化，并提供了一些基礎使用案例。

遠場語音技術簡介

遠場語音是一種人與機器間的交互方式，相對與近場語音來說，區別是它的作用距離通常會在1米到10米之間，主要的技術難點在于對于多徑反射、混響效應及背景噪音干擾的處理。

編解碼

基于QoE的實時視頻編碼優化：低功耗，低延時，高質量

在實時通信領域，只有當Codec的優化適應了當前的網絡狀況，設備平臺及應用場景，用戶才能得到最佳的體驗。在LiveVideoStackCon2018大會中聲網Agora視頻工程師吳曉然詳細介紹了如何設計與實現基于QoE的實時視頻編碼優化。本文由LiveVideoStack整理而成。

HEVC CABAC解碼

解碼slice segment data過程中，每碰到1個syntax element需要解析時，需參考Table 9-48等表格組合解析，整理整個流程解碼如下。

Android MediaCodec圖片合成視頻

利用MediaCodec可以錄制視頻，可是可以將圖片合成視頻嗎？之前使用FFmpeg來實現。但是，FFmpeg卻是c++寫的，而且非常占用內存，雖然它是非常棒的音視頻處理庫，但是殺雞焉用牛刀，所以今天就講一下：如何利用Android API中的MediaCodec來實現圖片合成視頻。

FAAD解碼AAC音頻

在使用FAAD解碼前我們首先導入faad庫，相關庫及源碼可從https://www.audiocoding.com/faad2.html下載。使用FAAD解碼AAC數據為PCM時，主要分為4個步驟：1、創建解碼器；2、配置解碼器；3、解碼AAC數據為PCM數據；4、解碼完畢，關閉解碼器

AI智能

快慢結合效果好：FAIR何愷明等人提出視頻識別SlowFast網絡

在本文中，FAIR與何愷明等人介紹了用于視頻識別的 SlowFast 網絡，提出要分開處理空間結構和時間事件。該模型在視頻動作分類及檢測方面性能強大：在沒有使用任何預訓練的情況下，在 Kinetics 數據集上實現了當前最佳水平；在 AVA 動作檢測數據集上也實現了 28.3 mAP 的當前最佳水準。

對象檢測（object detection）算法圖解

本文簡要介紹圖像檢測中常用的深度學習方法——RCNN家族系列算法，以圖像講解形式，便于理解。

視頻語義分割介紹

隨著深度學習的發展，圖像語義分割任務取得了很大的突破，然而視頻語義分割仍然是一個十分具有挑戰性的任務，本文將會介紹視頻語義分割最近幾年頂會上的一些工作。

語音合成的速度如何提升400％？或許你可以了解下深度前饋序列記憶網絡（附帶英文論文）

循環神經網絡雖然具有很強的建模能力，但是其訓練通常采用 BPTT 算法，存在訓練速度緩慢和梯度消失問題。我們之前的工作，提出了一種新穎的非遞歸的網絡結構，稱之為前饋序列記憶神經網絡（feedforward sequential memory networks， FSMN），可以有效的對信號中的長時相關性進行建模。相比于循環神經網絡，FSMN 訓練更加高效，而且可以獲得更好的性能。?

圖像

K-Means聚類進行圖像處理實戰

在K-Means聚類算法原理中，我們對K-Means的原理做了總結，本文我們就來討論用scikit-learn來學習K-Means聚類。重點講述如何選擇合適的k值。

圖像灰度拉伸

圖像灰度拉伸是改變圖像對比度的一種方法，通過灰度映射，將原圖中某一區段中的灰度值映射到另一灰度值，從而拉伸或壓縮整個圖像的灰度分布范圍。

總結

以上是生活随笔為你收集整理的音视频技术开发周刊 78期的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。