每周一期，縱覽音視頻技術(shù)領(lǐng)域的干貨和新聞投稿：contribute@livevideostack.com。

內(nèi)容推薦

美攝云非編系統(tǒng)——網(wǎng)頁端實(shí)時(shí)編輯渲染方案

美攝云非編是一款新型網(wǎng)頁端非線性編輯工具，應(yīng)用WebAssembly技術(shù)實(shí)現(xiàn)網(wǎng)頁端直接渲染圖像。本次LiveVideoStackCon 2020線上峰會(huì)我們邀請(qǐng)到了北京美攝網(wǎng)絡(luò)科技有限公司的研發(fā)總監(jiān)黃裔來做分享，對(duì)網(wǎng)頁端編輯、WebAssembly技術(shù)有興趣的聽眾可以從中了解到整個(gè)架構(gòu)的搭建、技術(shù)實(shí)施、注意事項(xiàng)以及一些常見問題的處理等。

https://mp.weixin.qq.com/s/BtFSK9X0CetIqISFfoq6xw

網(wǎng)易云信流媒體服務(wù)端架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)

實(shí)時(shí)音視頻通話作為高效便捷的溝通手段在許多場(chǎng)景下得到應(yīng)用。隨著5G商用元年的真正到來，實(shí)時(shí)音視頻通話將會(huì)得到更加蓬勃的發(fā)展。本次LiveVideoStackCon 2020線上峰會(huì)我們邀請(qǐng)到了網(wǎng)易云信資深音視頻服務(wù)端開發(fā)工程師魯林俊，他將結(jié)合網(wǎng)易云信流媒體服務(wù)搭建的實(shí)戰(zhàn)經(jīng)驗(yàn)，進(jìn)行一些深入的分享。

https://mp.weixin.qq.com/s/u8srSTw_uoI4k2PD6lRxjQ

架構(gòu)

WebRTC 瀏覽器和移動(dòng)設(shè)備上的支持情況

點(diǎn)擊了解詳情。

https://bloggeek.me/webrtc-browser-support/

傳輸網(wǎng)絡(luò)

TCP協(xié)議相關(guān)知識(shí)點(diǎn)（流量/擁塞控制）

傳輸控制協(xié)議 （TCP，Transimission Control Protocol）：特點(diǎn)是面向連接、可靠性、面向字節(jié)流。

https://juejin.im/post/5efc15f0e51d4534bb1495e6#heading-15

實(shí)時(shí)低延遲流式傳輸

實(shí)時(shí)流媒體的低延遲是指事件內(nèi)容在媒體交付鏈的一端被捕獲并在另一端向用戶播放之間的時(shí)間延遲。考慮一個(gè)在足球比賽中進(jìn)球的進(jìn)球：實(shí)時(shí)等待時(shí)間是指從進(jìn)球打入并由攝像機(jī)捕獲到觀看者在自己的設(shè)備上看到該進(jìn)球之間的時(shí)間延遲。

https://mp.weixin.qq.com/s/PveJbv7f3uIWO-5Fn4YDrA

編解碼

【重磅】AVS3開源編碼器速度再翻倍

AVS3開源編碼器項(xiàng)目“天樞”（uAVS3e）不斷迭代，自3月份以來又迭代了70余次。AVS互聯(lián)網(wǎng)生態(tài)推進(jìn)組測(cè)試小組近日對(duì)最新版本的AVS3開源編碼器uAVS3e進(jìn)行了性能評(píng)測(cè)，測(cè)試結(jié)果表明：相比于2020年3月份的版本，uAVS3e編碼速度接近翻倍，相比于AVS3標(biāo)準(zhǔn)參考軟件（HPM4.0）速度快近50倍，同時(shí)綜合編碼效率提升近5%。

https://mp.weixin.qq.com/s/xWQK1iy0pufmz1L1qXGfmg

FFmpeg獲取視頻首幀轉(zhuǎn)封面圖Bitmap

本博客主要是使用ffmpeg獲取本地視頻文件的第一幀數(shù)據(jù)轉(zhuǎn)換為Bitmap，然后拋給上層ImageView顯示。

https://juejin.im/post/5f02ec8b6fb9a07e753c8a03

音視頻前沿：新一代 AV1 視頻標(biāo)準(zhǔn)究竟是怎樣一種存在？

AV1是開放媒體聯(lián)盟Alliance for Open Media (AOM) 開發(fā)的第一代視頻編碼標(biāo)準(zhǔn)，自推出以來獲得了產(chǎn)業(yè)界巨大關(guān)注和支持。騰訊多媒體實(shí)驗(yàn)室也加入進(jìn)來和其他公司團(tuán)隊(duì)一同積極推動(dòng)AV1編碼器的優(yōu)化和落地，為客戶提供高性能和高效率的云端編碼服務(wù)。

https://mp.weixin.qq.com/s/TmnKY78ZQbvfQeBqdDv-qQ

內(nèi)容感知編碼可能是8K交付的關(guān)鍵

本文來自the broadcast bridge，由AMGMedia的Michael Grotticelli編輯，文章主要內(nèi)容是“內(nèi)容感知編碼可能是成本效益高的8K交付的關(guān)鍵”。

https://mp.weixin.qq.com/s/neYUAmSHzsxykJgedhIkVw

音視頻技術(shù)

Open WebRTC Toolkit實(shí)時(shí)視頻分析系統(tǒng)

隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展，實(shí)時(shí)視頻分析技術(shù)已應(yīng)用于智能物聯(lián)網(wǎng)的各個(gè)領(lǐng)域。英特爾基于與GStreamer以及OpenVINO構(gòu)建了整套實(shí)時(shí)視頻分析方案，為用戶提供更加靈活、便捷的實(shí)時(shí)視頻分析服務(wù)。本文由英特爾高級(jí)軟件工程師 吳秋嬌在LiveVideoStack線上分享內(nèi)容整理而成。

https://mp.weixin.qq.com/s/2W6sEZN4xTnYAANAl3eRsA

你有沒有想過，錄屏軟件是怎么獲取到屏幕內(nèi)容的？

前段時(shí)間 Android R 發(fā)布了 Beta 版本，同時(shí)帶來原生用戶心心念念的功能——錄屏，雖然這個(gè)功能在別的 Android 定制 ROM，像 MIUI，在好幾年前已經(jīng)就有了。是錄屏這個(gè)功能是很難實(shí)現(xiàn)嗎？為什么谷歌遲遲不肯在 Android 上這個(gè)功能呢？

https://mp.weixin.qq.com/s/HM41Ep__3PCObiElb9MZFQ

在 Javascript 中使用綠屏和 Vonage 視頻

創(chuàng)建Vonage Video發(fā)布者時(shí)，可以直接從用戶攝像機(jī)，<video>元素或HTML <canvas>元素中獲取流。一旦像素被繪制到畫布上，就可以在將其用于Video API會(huì)話之前輕松對(duì)其進(jìn)行操作。在本教程中，您將學(xué)習(xí)如何刪除綠屏并將其替換為可包含在視頻通話中的新的自定義圖像。

https://www.nexmo.com/blog/2020/06/24/use-a-green-screen-in-javascript-with-vonage-video

使用 Jitsi 的 getDisplayMedia 進(jìn)行本地音頻錄制

本文很好地概述了 getDisplayMedia 和 MediaRecorder。

https://webrtchacks.com/jitsi-recording-getdisplaymedia-audio/

AI智能

通過人工智能技術(shù)還原《隱秘的角落》被修改的臺(tái)詞

前兩天，我一口氣看完了電視劇《隱秘的角落》，劇情相當(dāng)精彩。美中不足的是，劇組為了讓片子過審， 導(dǎo)致11集，12集的剪輯順序被打亂，甚至臺(tái)詞被修改，以至于片中有幾個(gè)處演員口型與臺(tái)詞對(duì)不上，劇情也有點(diǎn)讓人摸不到頭腦。因此我嘗試通過人工智能技術(shù)還原了被修改的臺(tái)詞，從而還原了一部分原本的劇情，一個(gè)更加黑暗的真相。

https://juejin.im/post/5f0284d05188252e703ab888

情感語音合成技術(shù)難點(diǎn)突破與未來展望

語音技術(shù)的進(jìn)步，讓機(jī)器合成的聲音不再頓挫、冰冷，在自然度和可懂度等方面取得了不錯(cuò)的成績(jī)，但當(dāng)前合成效果在合成音的表現(xiàn)力上，特別是語氣和情感方面，還存在不足。聲音如果缺少情感，何談表現(xiàn)力 ，又如何能提高用戶交互的意愿？

https://mp.weixin.qq.com/s/26eySnJMECT_g3fvPMD2VQ

未來社會(huì)臨場(chǎng)感中的計(jì)算機(jī)視覺

本文來自Fourth Workshop on ComputerVision for AR/VR 2020的一篇演講，演講者是來自Facebook Reality Labs的科學(xué)家Michael Abrash。他主要介紹了AR/VR趨勢(shì)的必然性，以及其中必不可少的CV技術(shù)。

https://mp.weixin.qq.com/s/pmdcHShXlEQV7E7-DVRHtg

圖像

Google Pixel 相機(jī)解密(3) 基于人像的局部畸變矯正

使用手機(jī)拍攝時(shí)我們都會(huì)注意到一個(gè)問題就是越近的物體或者越靠近邊緣的物體就會(huì)被拉伸的很大,這個(gè)現(xiàn)象在廣角攝像頭上更為嚴(yán)重，例如下面兩個(gè)圖像，因此廣角鏡的拓展形變的效果經(jīng)常被攝影師利用，創(chuàng)作一些具有戲劇張力的作品：

https://mp.weixin.qq.com/s/SVD_badekd89fN8i5XNZcw

資源推薦

ShuffleNet V1

神經(jīng)網(wǎng)絡(luò)的精度越來越高，而推理性能也在逐漸變慢，在實(shí)際應(yīng)用中不得不在性能與準(zhǔn)確率間進(jìn)行折中。為此，論文對(duì)小網(wǎng)絡(luò)的耗時(shí)進(jìn)行分析，提出了ShuffleNet。論文首先介紹了ShuffleNet的核心操作Channel Shuffle以及Group Convolutions，然后再介紹Shuffle unit的結(jié)構(gòu)，最后介紹ShuffleNet的架構(gòu)。

https://juejin.im/post/5f028ca15188252e654414e9

自制抖音短視頻國(guó)際版Tik Tok源碼

https://github.com/18380438200/Tiktok

它來了！它來了！數(shù)十家技術(shù)社區(qū)聯(lián)名推薦的 GeekOnline 正式上線了！

由通信云技術(shù)領(lǐng)導(dǎo)者融云推出的開發(fā)者社區(qū) GeekOnline 正式與全球極客們見面啦！崇尚科技、自由和創(chuàng)造力的極客精神，GeekOnline 致力于成為一個(gè)創(chuàng)意與價(jià)值兼?zhèn)洹⑴d趣和溫度并存的技術(shù)社區(qū)。

https://www.livevideostack.cn/news/geekonline

總結(jié)

以上是生活随笔為你收集整理的音视频技术开发周刊 | 152的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。