音视频技术开发周刊 | 206
每周一期,縱覽音視頻技術領域的干貨。
新聞投稿:contribute@livevideostack.com。
小提示:鏈接跳轉僅支持公眾號相關鏈接
準確評估音畫質量,七牛云將發布音視頻質量分析系統——對話七牛云陳輝
近些年來,隨著音視頻的不斷普及,終端用戶對于音視頻的質量要求越來越高:從最初的通話、觀看流暢,到現在對音視頻畫質的高清需求及節省流量訴求。日益高漲的用戶需求,將給音視頻技術領域帶來哪些挑戰?如何更加客觀、準確地評估音視頻音畫質量?未來音視頻領域還會發生哪些大的變化?LiveVideoStack近期采訪了七牛云直播與實時互動技術總監陳輝,和他一起討論了七牛云視頻質量分析的具體情況、優勢與挑戰,音視頻的未來發展等問題。
賦能普通用戶,面向專業級的視頻內容制作技術
隨著人們對視頻的依賴程度日益增長,對專業級視頻內容的制作要求、批量制作視頻的需求也在不斷提高。在制作視頻中,如何即保證效率,又保證效果;即有模板支持,又能自由化的搭配設計。對此,LiveVideoStack采訪了視杏科技CEO——李志強(節子),一同聊一聊在視頻設計中視杏科技為用戶提供了哪些賦能方案。
淘寶直播低延遲架構演進和實踐
本文根據楊寬(阿里巴巴淘系技術 音視頻技術專家)于 2021 年 6 月 26 日舉辦的 ECUG Meetup 第 1 期 | 2021 音視頻技術最佳實踐·杭州站上的分享整理而成。本文將從傳統直播技術痛點、低延遲架構演進、互動體驗升級和關鍵技術四個方向展開。
ICME2021:基于VVC的角度加權預測
加權預測是視頻編碼的重要技術,但是傳統的固定權重無法滿足兩個物體斜邊的處理。現存的方法計算逐像素的權重需要大量計算,它要為每個像素計算它到分界線的距離。本文利用角度預測生產每個像素的權重,復用了幀內預測的邏輯來簡化計算。
DVB 為先進的 4K 和 8K 廣播和寬帶電視鋪平道路
DVB初步確定的三個下一代候選商業視頻編解碼器為先進4K、8K廣播寬帶電視做準備,分別是AV1、AVS3、VVC。目前將開始評估候選視頻編解碼器的技術合規性以及制定 DVB 規范草案的工作。
直播時代的下一個江湖
1993年6月24日,一個由施樂公司的科學家和工程師組成的樂隊Severe Tire Damage向互聯網直播了他們的演出。他們成為第一個通過互聯網直播表演的樂隊,而這次演出正是通過施樂公司研發的MBone網絡發布的。
基于 Nginx 和 FFmpeg 搭建流媒體服務器
實時流式傳輸可以解決順序流式傳輸無法快進的問題,它與Http流式傳輸不同,它必須使用流媒體服務器并 且使用流媒體協議來傳輸視頻,它比Http流式傳輸復雜。常見的實時流式傳輸協議有RTSP、RTMP、RSVP 等。
論文推介:語音合成中可見和不可見語音風格的遷移
論文提出了一種新的針對訓練數據中見過的和未見過的語音風格遷移方法,利用不相交的多風格數據可以有效地實現見過的和未見過的風格的風格遷移。
直播時各種背景是怎么實現的?聊一聊虛擬背景背后的技術
2020 年一場突如其來的疫情闖進了我們的生活,上網課、在家辦公逐漸成為了一種常態,為了更好地保護用戶隱私、提升用戶體驗,各大在線辦公軟件相繼推出了虛擬背景功能,營造學習、辦公氛圍的同時,又能避免家中環境不夠正式的窘境。那么今天我們就來說道說道虛擬背景的相關技術。
高光譜成像技術的介紹
高光譜成像技術的應用價值已在一些非民用領域得到了證明,但仍存在一些限制其推廣進入更多領域的困難,主要有:1)高光譜相機系統復雜、成本高;2)體積大重量沉;3)使用體驗是否便捷。
ICCV 2021 | Vision Transformer中的相對位置編碼
相對位置編碼(RelativePosition Encoding)能夠顯式地對Transformer輸入序列中,任意兩個Tokens的位置關系進行建模。近來,中山大學與微軟亞洲研究院的研究人員回顧了先前相對位置編碼的相關工作,針對Vision Transformer,提出了簡單且輕量的二維相對位置編碼。
基于深度學習的圖異常檢測技術綜述
本文首先對圖上的異常定義做了全面的分析, 然后詳細介紹了基于深度神經網絡的圖表示學習方法, 接著從靜態圖和動態圖的角度出發,對現有基于深度學習的圖異常檢測方法進行系統地總結和歸 類,并討論相關方法的局限性。
支持動態變焦,劍橋大學基于LiDAR的全息HUD方案解析
為了進一步提升AR HUD的體驗感,由劍橋大學、牛津大學、倫敦大學學院的科研人員組成的團隊研發了一種,基于LiDAR和全息技術的AR HUD方案。據悉,該方案并未采用向前擋風玻璃投影的形式,而是將AR圖像直接投影到人眼中,好處是視場角更大,支持動態變焦,不過需要對人眼的位置進行校正。
淺談自動駕駛中的行為風險識別(一)
我們可以通過一個比喻來解釋什么是行為風險識別:自動駕駛的機器大腦在參加一場考試,他遇到一道難題,在兩個答案之間猶豫不決。盡管這道難題他不會做,但我們可以通過許多方式得知他“拿不準”這件事本身,例如題目描述的場景復雜或者之前不熟悉,并進一步針對這道題目請求“人類教練”的幫助。
IROS 2021最新開源!深度學習三維激光雷達動態物體分割
本文介紹的是德國波恩大學在讀博士陳謝沅澧的最新工作。該方法的論文,代碼,數據集以及視頻都已經公開。
用于自動駕駛三維目標檢測的從二維提升到三維的學習方法
文章解決了自動駕駛場景中從二維單目圖像中提取三維目標的問題,提出使用基于學習的神經網絡將二維圖像提升到三維表示,并直接利用現有工作在三維上的神經網絡來執行三維目標檢測和定位。
SSC:基于點云語義上下文的大規模激光SLAM的位置識別方法
本文提出了一個新的全局描述子,點云語義上下文信息,它可以更有效地挖掘語義信息來表示場景,本文還提出了一種兩步全局語義ICP算法來獲得三維姿態(x,y,yaw),用于點云的對齊以提高匹配性能,我們在KITTI數據集上的實驗表明,我們的方法比現有的方法有很大的優勢。
推薦閱讀
W3C Web 中文興趣組 · 沉浸式 Web 線上研討會
本次線上研討會對WebXR相關的工作進行了一個比較深入的討論,從新的內容呈現形式、內容制作的方式到產品硬件的一系列設計考量,包括跨平臺的一些考慮,從工業界到學術界都進行了一些深入的研討,碰撞出一些新的想法和潛在的標準機會。
https://www.w3.org/2021/07/chinese-ig-xr/minutes.html
專訪扎克伯格:萬字解讀Facebook為何將轉型為元宇宙公司
六月末,Facebook CEO馬克·扎克伯格向員工介紹了一項雄心勃勃的新計劃。根據這項計劃,該公司的業務范疇將遠遠超出當前的一系列社交應用以及相關的硬件項目。他說,Facebook將打造一套包羅萬象、互聯互通的科幻體驗集合,簡言之,即打造一個被稱為元宇宙的世界。
活動推薦
【免費報名】挑戰與機遇同在,大步邁進全真互聯網時代
隨著云計算的普及與高速發展,5G網絡、VR技術的日益成熟,我們正向著全真互聯網時代大步邁進。伴隨著新時代的到來,“元宇宙”、“沉浸式”等概念橫空出世,挑戰與機遇同在,我們不得不思考,哪些行業、產品和商業模式將最早受到全真互聯網的影響?
騰訊云音視頻基于在音視頻領域21年的積累,構建了全球領先的RT-ONE?音視頻通信基礎網絡、完整的音視頻PaaS平臺及終端SDK產品矩陣,9月3日 | 北京,LiveVideoStack聯合騰訊云共邀5位技術大牛,將為大家帶來全新all in one終端引擎、跨平臺能力、海外直播技術、云渲染技術、多媒體處理等技術的最新動向。
? 活動時間:2021/09/03 14:00-18:00
???? 參與方式:線下參與 (掃描上圖二維碼,立即免費報名~)
【免費報名】從多維度出發 保障&提升實時音視頻質量
9月4日 | 北京 LiveVideoStack將攜手七牛云共邀4位技術大咖,圍繞著實時音視頻場景下,七牛云如何從多個維度來保障和提升音畫質量展開。我們所理解的音畫質量,不僅包括最基礎的服務質量,還包括我們的觀感體驗,本場將會從服務端、客戶端、編解碼等多個領域展開,對保障和提升音視頻質量相關的經驗進行分享。
此外,我們還會發布七牛云音視頻質量分析系統,更客觀專業得對音畫質量進行評測和優化。
? 活動時間:2021/09/04 9:30-12:00
???? 參與方式:線下參與 (掃描上圖二維碼,立即免費報名~)
插圖源自Pexels
總結
以上是生活随笔為你收集整理的音视频技术开发周刊 | 206的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 眺望全真互联时代!TVP音视频技术闭门会
- 下一篇: 【线上分享】WebRTC传输与服务质量