音视频技术开发周刊 | 217
每周一期,縱覽音視頻技術(shù)領(lǐng)域的干貨。
新聞投稿:contribute@livevideostack.com。
小提示:點擊標(biāo)題即可跳轉(zhuǎn)到相應(yīng)文章
鏈接跳轉(zhuǎn)僅支持公眾號相關(guān)鏈接
即構(gòu)科技:解決行業(yè)痛點,以MSDN為基礎(chǔ)構(gòu)建全球?qū)崟r音視頻通信云
近日,LiveVideoStack很榮幸地采訪到了即構(gòu)科技RTC后臺技術(shù)總監(jiān)——肖瀟。在訪談中我們了解到即構(gòu)科技在構(gòu)建全球?qū)崟r音視頻通信云的過程中,針對海內(nèi)外出現(xiàn)的不同情況,依托其自研的MSDN基礎(chǔ)網(wǎng)絡(luò),采取層級式的內(nèi)容分發(fā)架構(gòu),去適配海外各個地方的差異;并且會把每個國家/地區(qū)的當(dāng)?shù)匦姓^(qū)域劃分、當(dāng)?shù)剡\營商等情況進行詳細(xì)地研究;另外,端側(cè)靈活的云控能力也是不可或缺的。
華為云網(wǎng)絡(luò)覆蓋全球2500+站點,打造高品質(zhì)、低成本接入體驗
9月23日,華為云舉辦了線上華為全聯(lián)接大會,今年的全聯(lián)接大會以“深耕數(shù)字化”為主題,探討了各行各業(yè)如何通過打造云技術(shù)、構(gòu)筑云生態(tài),積極實現(xiàn)數(shù)字化轉(zhuǎn)型。LiveVideoStack近期也采訪了華為云媒體服務(wù)資深產(chǎn)品專家盧志航,和他一起討論了華為云RTC技術(shù)、5G與RTC的技術(shù)結(jié)合,華為云最新發(fā)布的SparkRTC實時音視頻服務(wù),以及RTC未來應(yīng)用場景等話題。
對話RTP作者Ron Frederick: 我非常期待QUIC的發(fā)展
RTP和RTCP是處理所有多媒體傳輸?shù)闹匾獏f(xié)議,于1996年1 月在RFC 1889中定義。最近,LiveVideoStack郵件采訪了RTP的作者之一Ron Frederick。在訪談中,他向我們講述了RTP是如何創(chuàng)造出來的,并分享了他對當(dāng)下流行的WebRTC和QUIC的看法。Ron還回憶了1992~2000年他在施樂PARC工作時的美好時光。
ICCV-2021 Oral | AdaFocus:利用空間冗余性實現(xiàn)高效視頻識別
現(xiàn)有高效視頻識別算法往往關(guān)注于降低視頻的時間冗余性(即將計算集中于視頻的部分關(guān)鍵幀),如圖1 (b)。本文則發(fā)現(xiàn),降低視頻的空間冗余性(即尋找和重點處理視頻幀中最關(guān)鍵的圖像區(qū)域),如圖1 (c),同樣是一種效果顯著、值得探索的方法;且后者與前者有效互補(即完全可以同時建模時空冗余性,例如關(guān)注于關(guān)鍵幀中的關(guān)鍵區(qū)域),如圖1 (d)。在方法上,本文提出了一個通用于大多數(shù)網(wǎng)絡(luò)的AdaFocus框架,在同等精度的條件下,相較AR-Net (ECCV-2020)將計算開銷降低了2.1-3.2倍,將TSM的GPU實測推理速度加快了1.4倍。
揭開“視頻超分”黑科技的神秘面紗
在看電影時,有一幕大家應(yīng)該都非常熟悉,警察從證據(jù)圖片中選取一塊區(qū)域放大,再放大,直到一個很小的目標(biāo)變得清晰可見,從而發(fā)現(xiàn)重要的線索。現(xiàn)實中是不是真的有這樣的技術(shù),可以把模糊的小圖變得清晰?答案是,一定程度上可以,這項黑科技就是超分辨率技術(shù),從低分辨率圖像恢復(fù)高分辨率圖像,提高圖像的質(zhì)量,從而獲得更加清晰的圖片。超分辨率技術(shù)具有廣泛的實際應(yīng)用,如醫(yī)學(xué)圖像重建、人臉圖像重建、遠程傳感、全景視頻、無人機監(jiān)控、超高清電視等。同樣道理,實時視頻也可以進行超分辨率處理,將模糊的小分辨率視頻變成高清超高清視頻,本篇干貨分享就來揭開這項黑科技的神秘面紗。
白話解讀 WebRTC 音頻 NetEQ 及優(yōu)化實踐
NetEQ 是 WebRTC 音視頻核心技術(shù)之一,對于提高 VoIP 質(zhì)量有明顯的效果,本文將從更為宏觀的視角,用通俗白話介紹 WebRTC 中音頻 NetEQ 的相關(guān)概念背景和框架原理,以及相關(guān)的優(yōu)化實踐。
中央廣播電視總臺北京冬奧會轉(zhuǎn)播技術(shù)資源概述
2022年,北京冬奧會將利用最新的媒體技術(shù)進行賽事轉(zhuǎn)播。對于奧運會持權(quán)轉(zhuǎn)播商來說,轉(zhuǎn)播技術(shù)資源的規(guī)劃和配置是籌備工作的重點,也是賽時轉(zhuǎn)播系統(tǒng)運行的基礎(chǔ)。本文介紹了北京冬奧會主轉(zhuǎn)播機構(gòu)奧林匹克轉(zhuǎn)播服務(wù)公司的國際公共信號制作標(biāo)準(zhǔn)、新技術(shù)新服務(wù),以及總臺轉(zhuǎn)播資源規(guī)劃及技術(shù)預(yù)定概況。
在Windows Server上大規(guī)模部署HTTP/3
Windows Server 2022 已于上月發(fā)布。從那時起,通過與Microsoft 365團隊的合作,我們已經(jīng)開始在全球的Exchange Online服務(wù)前門服務(wù)器上部署最新的Windows Server,主要目標(biāo)是在https://outlook.office.com中添加對HTTP/3的支持。到目前為止,我們只將部署規(guī)模擴大到前端服務(wù)器容量的20%,但我們得到的數(shù)據(jù)看起來很棒!
https://techcommunity.microsoft.com/t5/networking-blog/deploying-http-3-on-windows-server-at-scale/ba-p/2839394
針對非塊架構(gòu)的幀間預(yù)測可伸縮運動模型
本次演講主題為針對非塊架構(gòu)的幀間預(yù)測可伸縮運動模型(Switchable Motion Models For Non-Block-Based Inter Prediction in Learning-Based Video Coding),在進行幀間預(yù)測時,同時使用Affine運動模型和平動運動模型,得到兩個候選圖像,通過兩者之間的差異圖像進行分割,為每一個區(qū)域判斷使用那種運動模型,綜合利用Affine運動模型和平動運動模型兩者的優(yōu)點,帶來主觀和客觀的性能增益。
基于 CNN 的 VVenC 編碼加速
這篇文章主要介紹了基于學(xué)習(xí)的編碼算法與 VVenC 相結(jié)合之后的實驗性能,結(jié)果表明將這些基于 CNN 的算法遷移到 VVenC 上對于實驗性能提升也是十分有效的。
StyleGAN3問世,等變性perfect!皮膚、毛發(fā)不再粘屏幕,還能360度旋轉(zhuǎn) | 終于開源了
StyleGAN生成式對抗網(wǎng)絡(luò)是一種最先進的高分辨率圖像合成方法,從最初的GAN到StyleGAN2變體,其圖像合成能力一直在突破人類的想象,而這次升級版StyleGAN3的對生成細(xì)節(jié)的把控更是令人驚嘆!
智能座艙架構(gòu)與功能開發(fā)流程詳解
智能汽車座艙發(fā)展主要經(jīng)歷了四個階段:包括電子座艙階段、智能助理階段、人機共駕階段、第三生活空間。當(dāng)前隨著智能汽車在AI算法、智能駕駛上的不斷發(fā)展進入了L3級自動駕駛的“人機共駕階段”。在智能座艙的表現(xiàn)形式為該階段包含對語音控制和手勢控制技術(shù)突破,車內(nèi)軟硬件一體化聚合,實現(xiàn)車輛感知精細(xì)化,車輛可在上車-行駛-下車的整個用車周期中,為駕乘人主動提供場景化的服務(wù),實現(xiàn)機器自主/半自主決策。AI座艙核心價值將表現(xiàn)為基于場景的主動化交互和服務(wù),很多也被稱之為SOA的智能車服務(wù)。
MPAI正式啟動端到端的AI編碼標(biāo)準(zhǔn)
近期,MPAI創(chuàng)始人、MPEG前主席Leonardo Chiariglione在他的博客上宣布MPAI正式啟動端到端的AI編碼標(biāo)準(zhǔn)。Leonardo表示,在各方編解碼器競爭激烈的態(tài)勢下,MPAI將保持更加清醒的態(tài)度,積極致力于基于AI的視頻編解碼方法。
09 / LiveVideoStack主編觀察:有趣的靈魂是一面鏡子
過去一段時間,與幾位技術(shù)人的直播聊天讓我收獲不少。把自己當(dāng)做產(chǎn)品。不僅僅是工作輸出如此,人與人之間的關(guān)系,leader對團隊的管理,都可以用產(chǎn)品來類比。此時,自己就是交付給別人或團隊的產(chǎn)品,要考慮用戶需求(換位思考)、場景、接口(溝通能力)、體驗優(yōu)化。
韋東奕陳杲同獲達摩院青橙獎,90后數(shù)學(xué)新星光彩奪目,卻說「沒有黃金一代」
一個是被田剛院士贊許——“完全有可能成為國際著名數(shù)學(xué)家”的北大掃地僧。一個是26歲攻破世界級難題、成果登上世界數(shù)學(xué)四大刊之一《數(shù)學(xué)新進展》的中科大特任教授。此番又雙雙在國內(nèi)頗具分量的公益性學(xué)術(shù)評選中亮相,難怪外界會有這樣的看法:新數(shù)學(xué)黃金一代風(fēng)頭正勁。但身處聚光燈中心的人們,卻表達出了沒有黃金一代,只有一代更比一代強的意思。
2021年中國基礎(chǔ)云服務(wù)行業(yè)數(shù)據(jù)報告
中國整體云計算市場規(guī)模再創(chuàng)新高,市場規(guī)模達到2256.1億元,未來有望迎來新一波增長機遇。在服務(wù)形態(tài)上:當(dāng)前中國云計算市場,仍以云資源(IaaS)需求為主,但云能力(PaaS)已逐漸成為驅(qū)動中國云計算市場持續(xù)擴張的重要增量因素。在部署模式上:公有云仍然占據(jù)主導(dǎo)地位,非公有云通過多種形態(tài),將云能力向公有云領(lǐng)域延伸。
元宇宙的七個挑戰(zhàn)
新事物會帶來機會而挑戰(zhàn)也是伴隨而來。然而現(xiàn)實卻是人們還沒準(zhǔn)備好克服元宇宙將帶來的挑戰(zhàn)。當(dāng)中包括了知識產(chǎn)權(quán)的糾紛,數(shù)據(jù)保護和隱私問題,法律問題,貨幣和支付系統(tǒng)問題,科技上的限制和民眾接受度仍然低等等挑戰(zhàn)。除了上述之外,高資本投入以及元宇宙是否成為壟斷性極強的產(chǎn)業(yè)也是一個挑戰(zhàn)。
活動推薦
【免費參與】全真互聯(lián)網(wǎng)下音視頻技術(shù)創(chuàng)新應(yīng)用
騰訊云音視頻基于在音視頻領(lǐng)域21年的積累,構(gòu)建了全球領(lǐng)先的RT-ONE?音視頻通信基礎(chǔ)網(wǎng)絡(luò)、完整的音視頻PaaS平臺及終端SDK產(chǎn)品矩陣,10月29日 | 北京,LiveVideoStack聯(lián)合騰訊云共邀5位技術(shù)大牛,將為大家?guī)砣耡ll in one終端引擎、跨平臺能力、海外直播技術(shù)、云渲染技術(shù)、多媒體處理等技術(shù)的最新動向。
? 活動時間:2021/10/29 14:00-18:00
🚀 參與方式:線下參與(免費)
🎉?福利領(lǐng)取:
成功報名活動,掃碼進群即可獲得品牌優(yōu)質(zhì)內(nèi)容匯總
參與專場互動環(huán)節(jié)還有機會獲得精美禮品↓↓↓
掃碼?👆🏻👆🏻👆🏻立即報名
🌟現(xiàn)場互動🌟
除了技術(shù)干貨分享,您還將在現(xiàn)場參與更多有趣和充實的互動環(huán)節(jié),我們也準(zhǔn)備了精美禮品等著你:
問答有禮:講師分享結(jié)束后,您將有機會就技術(shù)困惑向?qū)<姨釂枴?/p>
產(chǎn)品體驗:活動現(xiàn)場專門設(shè)有騰訊云展臺,您可以前往親身體驗技術(shù)落地實踐。
(精美禮品)
報名鏈接:
http://livevideostack.mikecrm.com/quIpQ6k
LiveVideoStack Meet | 蘇州:視頻會議研發(fā)中心一日游
LiveVideoStack Meet第二站將于10月24日在蘇州舉行,這一次我們帶會大家體驗“視頻會議研發(fā)中心一日游”。和眾多技術(shù)大拿一起,聊聊實時音視頻技術(shù)、后疫情時代視頻會議的演進方向、智能會議助理解決方案與服務(wù),暢談視頻會議的下一個十年……
報名鏈接:
https://8392623630544.huodongxing.com/event/4617715336600
插圖源自Pexels
超強干貨來襲 云風(fēng)專訪:近40年碼齡,通宵達旦的技術(shù)人生總結(jié)
以上是生活随笔為你收集整理的音视频技术开发周刊 | 217的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 华为云网络覆盖全球2500+站点,打造高
- 下一篇: 大话ion系列(二)