音视频技术开发周刊 | 225
每周一期，縱覽音視頻技術(shù)領(lǐng)域的干貨。
新聞投稿：contribute@livevideostack.com。
李松南：智能全真時代的多媒體技術(shù)——關(guān)于8K、沉浸式和人工智能的思考
視覺體驗在全真時代顯得越發(fā)重要，如何提高用戶的視覺體驗？更好的編碼標準帶來的低碼率高畫質(zhì)、超分等視頻處理手段帶來的畫質(zhì)提升、三維視頻帶來深度感知、任意視點視頻或者VR360視頻帶來的用戶交互、擴展現(xiàn)實與虛擬現(xiàn)實帶來的超現(xiàn)實感；另一方面，智能時代革新了音視頻技術(shù)，通過音視頻分析更好的理解數(shù)據(jù)與連接用戶、通過輔助創(chuàng)作讓音視頻內(nèi)容極大豐富。LiveVideoStack2021北京站邀請到騰訊多媒體實驗室視頻技術(shù)總監(jiān)—李松南，帶領(lǐng)我們一起發(fā)掘在全真時代與智能時代里多媒體技術(shù)的無限可能。
使用 MediaCodec 進行視頻的編碼和解碼
在Android中播放視頻很簡單，只要創(chuàng)建一個MediaPlayer實例，然后設置上DataSource和SurfaceView就可以了。但是播放視頻還有一種方式就是使用Android提供的MediaCodec，它可以用于編碼和解碼。另外如果要播放使用Android Widevine加密的視頻則必須使用MediaCodec來完成解密和解碼的過程。
不僅僅是大量傳感器和攝像頭，谷歌Starline 3D視頻方案解析
近期，谷歌實驗室公布了該項目背后的技術(shù)細節(jié)，包括采用的攝像頭、紅外傳感器等硬件，以及如何在測試過程中，通過精準的視覺模擬來欺騙用戶的觀感。簡單來講，Starline可以看做是一種專為面對面會議設計的雙向3D電話亭，它可以實時掃描使用者的3D形象，然后在另一端的光場顯示器上實時呈現(xiàn)立體的視頻圖像，這種立體視頻裸眼可觀看，無需額外的頭顯。此外，聲音也以3D空間音頻形式呈現(xiàn)，通話者的注視點也會實時追蹤和更新，看起來足夠真實。
使用 JPEG XS 和 AWS CDI 的云端實時視頻
本次演講主題為使用 JPEG XS 和 AWS CDI 的云端實時視頻，主講人為來自亞馬遜云科技專門從事廣播的首席解決方案架構(gòu)師 Thomas Edwards。他從 JPEG XS 和 AWS CDI 兩個方法分別進行了介紹。
從直播硬件出發(fā)，淺析直播技術(shù)到物聯(lián)網(wǎng)設備的智能化趨勢
直播有個人直播（泛娛樂直播）和企業(yè)直播（商業(yè)&商務直播）之分；個人直播的投入成本低，一部手機便可以隨時隨地開播，且各直播App有足夠多的直播輔助工具來協(xié)助開播，對增值服務需求不高；企業(yè)直播講究規(guī)范，有專門的直播間，投入的人力物力很大，直播影響面廣泛，對專業(yè)的直播硬件，PaaS，SaaS等軟件服務以及運營指導，售后服務等多種增值服務都有明確訴求，故本次分析基于TO B的企業(yè)直播業(yè)務展開。
視頻直播關(guān)鍵技術(shù)和趨勢
移動互聯(lián)網(wǎng)的興起為人類信息傳播帶來了更便捷的通道、更立體的視角和更豐富的選擇。視頻直播等多媒體通信技術(shù)在新的時代背景下逐漸嶄露頭角并不斷滲入到人們的日常生活中，以提高人們的信息傳輸效率、降低信息傳輸成本。
無線聲學傳感網(wǎng)絡中的采樣率失配問題怎么辦？
無線聲學傳感器網(wǎng)絡是一個集信息提供、感知、傳送和處理為一體的有機整體，通常包括多個聲學傳感器節(jié)點。其中，每一個傳感節(jié)點都是具有一定感知、計算和無線通信能力的設備。這些節(jié)點通過自組織的形式形成無線聲學網(wǎng)絡系統(tǒng)，協(xié)作收集數(shù)據(jù)并進行處理。相比于我們熟知的傳統(tǒng)麥克風陣列，無線聲學傳感網(wǎng)絡的麥克風節(jié)點可以放置到更加靈活的位置，這也增加了聲源附近有多個麥克風存在的概率，可以收集到更高質(zhì)量的信號。而且由于所有具有收發(fā)功能的記錄設備（如個人手機，電腦等）都可以作為記錄節(jié)點，因此無線聲學傳感網(wǎng)絡的搭建相當容易，它在音頻采集和處理領(lǐng)域有著很好的應用前景。
技術(shù)實戰(zhàn) —— 快速實現(xiàn)語聊房搭建
語音相比文字圖片更豐富，比視頻又更簡便，是天然的社交工具。以95后為代表的Z世代用戶，在微信、QQ、微博等主流社交工具以外，更愿意嘗試基于不同興趣相對小眾的社交工具。ZEGO 即構(gòu)科技推出語聊房解決方案，幫助客戶快速搭建語聊房。本次分享，我們邀請到了 即構(gòu)科技交付解決方案專家 JIN 。他向我們分享了線上社交以及語聊房的發(fā)展、玩法，并詳細解析如何快速搭建語聊房，提供穩(wěn)定、低延時，高品質(zhì)的線上互動體驗。
MIT、哈佛新研究：提速15000倍，借助光場實現(xiàn)3D場景超高速渲染
在一篇 NeurIPS 2021 論文中，來自哈佛大學、麻省理工學院的研究人員提出了一種新方法，使從圖像中表征 3D 場景比已有模型約快 15000 倍。該研究提出的光場網(wǎng)絡 (LFN) 可以在僅對圖像進行一次觀看后重建光場，并且能夠以實時幀率渲染 3D 場景。
視頻精修一幀要花2小時？美圖影像研究院的AI只要5.3毫秒！
圍繞用戶更具個性化的「變美」 需求，美圖影像研究院（MT Lab）自研基于深度學習的實時視頻美容方案。通過設計輕量的神經(jīng)網(wǎng)絡生成式模型，結(jié)合強大的美圖AI推理框架（Manis）和千萬級人像圖庫訓練優(yōu)勢，實現(xiàn)對動態(tài)視頻人臉的瑕疵修復與暗沉祛除，同時最大程度地保留了皮膚的真實紋理細節(jié)。
人類駕駛，交通事故的最大Bug | 產(chǎn)學研聯(lián)合發(fā)布自動駕駛汽車交通安全白皮書
商業(yè)落地，這是今年自動駕駛行的關(guān)鍵詞。年末曬成績之際，百度、中汽中心、同濟大學卻聯(lián)合公布了這樣一份報告：《自動駕駛汽車交通安全白皮書》。這份聚焦自動駕駛道路交通安全的報告，還是產(chǎn)學研聯(lián)合出品，有車，有路，也有政策和技術(shù)。今年，自動駕駛公司各顯神通，商業(yè)化落地進展迅速。此時強調(diào)自動駕駛的安全，又有何深意？普通人對于自動駕駛最大的擔憂，《自動駕駛汽車交通安全白皮書》（下稱《白皮書》）又給出了哪些解答？
閱讀推薦
什么是閉合GOP和開放GOP?
在本文中，我們將了解閉合GOP和開放GOP的概念。這兩種類型的GOP在視頻流化中非常常見，并會影響視頻壓縮效率、錯誤恢復以及ABR的切換能力。
為什么直播時要用CDN?
你在直播時遇到緩沖、延遲、視頻中斷或其他故障嗎？想要確保這些問題不會發(fā)生，使用CDN絕對是一個好方法。CDN已經(jīng)存在有一段時間了，隨著時間的推移，CDN會變得更加流行，對于直播也會更加重要。在本文中，我們將會討論：你為什么應該在下一場直播中使用CDN，以及它是如何影響終端用戶體驗的。
2021 Bitmovin 視頻開發(fā)者報告
本文譯自 "2021 Bitmovin Video Developer Report"，報告了 2021 年 Bitmovin 的調(diào)查結(jié)果，反映了音視頻行業(yè)的發(fā)展情況。
活動推薦
【城市沙龍】LiveVideoStack Meet | 南京：
互聯(lián)網(wǎng)沙漠的音視頻發(fā)展
2021年LiveVideoStack Meet已成功在北京、蘇州、杭州、成都、西安、合肥與上海落地。這一路我們分享對于行業(yè)內(nèi)卷的看法，探討技術(shù)發(fā)展方向，也了解到更多二線城市的音視頻環(huán)境。2022年第一站，將于1月8日在南京與大家見面，本次分享內(nèi)容涵蓋人工智能、實時音視頻、直播全鏈路監(jiān)控、云游戲?qū)嵺`等多方面，快來現(xiàn)場與嘉賓面對面交流吧。
活動時間：2022.01.08 14:00-16:00
活動地點：南京市雨花臺區(qū)鳳信路6號 南京金證科技園3棟1樓路演廳
報名地址：
https://8392623630544.huodongxing.com/event/5628086056100
插圖源自Pexels
總結(jié)
以上是生活随笔為你收集整理的音视频技术开发周刊 | 225的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 技术实战 —— 快速实现语聊房搭建
- 下一篇： 从体验出发构建以增长为目标的视频服务体系