點(diǎn)擊上方“LiveVideoStack”關(guān)注我們

一款編碼器的成功，不僅需要大量的金錢，還需要耐心。AV1定稿三年后，是時(shí)候?yàn)樗鼞c祝了。

文 | 包研

不知不覺(jué)，距離AV1完成定稿已經(jīng)過(guò)去了三年多，這個(gè)新的視頻編碼標(biāo)準(zhǔn)已經(jīng)獲得了工業(yè)界認(rèn)可，換句話說(shuō)：AV1成功了。

?

?

截止到2021年8月27日的AOMedia成員名單（圖片來(lái)自AOMedia官網(wǎng)）

?

2018年3月28日，AOMedia（簡(jiǎn)稱AOM）在其官網(wǎng)上發(fā)布消息，AV1完成定稿，并開(kāi)放了相關(guān)規(guī)格和參考代碼。一個(gè)時(shí)代開(kāi)始了。在過(guò)去三年間，AOMedia不斷迎來(lái)新會(huì)員加入，其中不乏重量級(jí)的國(guó)內(nèi)企業(yè)；AV1算法不斷優(yōu)化，大幅度降低了計(jì)算復(fù)雜度，包括點(diǎn)播場(chǎng)景和實(shí)時(shí)場(chǎng)景都可在生產(chǎn)環(huán)境中應(yīng)用，我們也看到如Netflix、Facebook、Google、微軟等巨頭不斷在內(nèi)部部署AV1；一年一度的MSU視頻編碼大賽從在2017年開(kāi)始也引入了AV1標(biāo)準(zhǔn)，MSU編碼大賽被認(rèn)為是最權(quán)威的視頻編碼器評(píng)測(cè)機(jī)構(gòu)。種種跡象表明，AV1已經(jīng)成為重要的編碼器之一。

?

AV1的成功，要得益于HEVC混亂的專利授權(quán)機(jī)制，并且很好的抓住了VVC成熟之前的時(shí)間窗口。相比于HEVC，AV1打出了開(kāi)源、免專利費(fèi)的殺手锏。盡管存在一定的專利爭(zhēng)議，比如Sisvel就宣布建立了AV1專利池并開(kāi)始收費(fèi)。但在Google和眾多巨頭組成的AOMedia擁有越來(lái)越強(qiáng)的談判籌碼，目前沒(méi)有因AV1專利引起的訴訟的公開(kāi)報(bào)道。LiveVideoStack曾經(jīng)詢問(wèn)過(guò)關(guān)于AV1專利的爭(zhēng)議，一名Google多媒體組的工程師告訴LiveVideoStack：所有與專利相關(guān)的詢問(wèn)都將由法務(wù)團(tuán)隊(duì)回復(fù)。

? ? ?突破

相對(duì)于單純的提升編碼效率（壓縮率），提供低延時(shí)、高壓縮率的編碼能力要困難的多。回顧AV1的發(fā)展歷史，最先應(yīng)用AV1的是在點(diǎn)播場(chǎng)景下的視頻壓縮，Netflix和Intel在2019年共同宣布了SVT-AV1計(jì)劃，通過(guò)在服務(wù)端大量并行的CPU來(lái)加速AV1編碼，Netflix也被認(rèn)為是最早的應(yīng)用AV1的長(zhǎng)視頻平臺(tái)，他們?cè)?016年就宣布擁抱AV1，并在2020年再Android平臺(tái)上部署AV1。YouTube、Facebook、Vimeo、愛(ài)奇藝先后宣布支持AV1。Twitch計(jì)劃在2022年或2023年讓最火爆的視頻支持AV1，全面支持AV1將于2024-2025年實(shí)現(xiàn)。

YouTube AV1視頻的觀看時(shí)長(zhǎng)趨勢(shì)（圖片來(lái)自Matt Frost在AOM Summit 2021上的分享）

?

云平臺(tái)方面，阿里云、騰訊云、AWS等云平臺(tái)先后在2019年至2020年推出了AV1的視頻轉(zhuǎn)碼方案，當(dāng)然這些服務(wù)都僅能實(shí)現(xiàn)離線轉(zhuǎn)碼服務(wù)，不能用于實(shí)時(shí)視頻應(yīng)用。

?

第一則關(guān)于AV1實(shí)時(shí)編碼成果來(lái)自思科，2019年6月舉行的Big Apple Video大會(huì)上，Cisco演示了通過(guò)AV1編碼的Webex視頻會(huì)議，可以實(shí)現(xiàn)720p@30fps和1080p@30fps。但根據(jù)Cisco的另一篇博客顯示，直到2021年早些時(shí)候AV1才會(huì)部署在生產(chǎn)環(huán)境中。這凸顯了一款新的視頻編碼器冷啟動(dòng)的難度。

?

同時(shí)，商用編碼器也在取得突破，“微幀團(tuán)隊(duì)在2019年推出了全自研 Aurora AV1 編碼器”，微幀科技聯(lián)合創(chuàng)始人&首席科學(xué)家Zoe Liu告訴LiveVideoStack。

?

2021年5月，NETINT發(fā)布了一款用于數(shù)據(jù)中心的AV1編碼實(shí)時(shí)加速卡。NETINT采用了ASIC芯片方案，這從一個(gè)側(cè)面印證了AV1的成熟度與市場(chǎng)前景。

圖：在碼率為30kbps情況下，左圖是AV1編解碼技術(shù)處理效果，右圖是Duo目前所使用的編解碼技術(shù)的處理效果（圖片來(lái)自Google產(chǎn)品博客）

?

首次將AV1用于實(shí)時(shí)編碼大規(guī)模生產(chǎn)環(huán)境的是Google的 Duo，Duo是一款實(shí)時(shí)視頻通話產(chǎn)品。在2020年4月21日，Google產(chǎn)品博客公布了這一消息。

?巨人的肩膀

AV1生態(tài)的繁榮離不開(kāi)背后巨頭的投入，libaom AV1是其中最重要的項(xiàng)目，主要由Google來(lái)維護(hù)。從AV1定稿以來(lái)，保持了每年一個(gè)大版本更新。尤其在2021年，libaom AV1的3.0版更新格外頻繁。Google將Duo上實(shí)時(shí)AV1編碼能力通過(guò)libaom AV1開(kāi)放給社區(qū)，并在不斷優(yōu)化中。“過(guò)去半年我們的主要工作方向在提高實(shí)時(shí)編碼器運(yùn)行速度，提高壓縮性能，特別是主觀壓縮質(zhì)量方向。同時(shí)我們也是2-4線程下的實(shí)時(shí)編碼器算法進(jìn)行優(yōu)化，提高多線程效率。這些工作方向在未來(lái)的一段時(shí)間還會(huì)繼續(xù)展開(kāi)”，Google Senior Staff Engineer韓敬寧告訴LiveVideoStack。

?

dav1d是最成熟的AV1開(kāi)源解碼器，2018年由VideoLAN、VLC和FFmpeg共同開(kāi)發(fā)，由AOMedia提供資助。VideoLAN的president，Jean-Baptiste Kempf在博客上透露：“most of the work for the optimizations are done”，盡管未來(lái)dav1d還會(huì)做一些優(yōu)化工作，但主要的工作已經(jīng)完成。

?

libaom AV1 + dav1d讓AV1的生態(tài)達(dá)成了非常理想的狀態(tài)，尤其是用于終端的硬件解碼器還未普及的情況下，軟件方案也可以很好的享受AV1帶來(lái)的收益。

?WebRTC加速器

今年1月20日，IETF RTCWEB草案最終都成為標(biāo)準(zhǔn)并獲得了一個(gè)RFC編號(hào)，一周后WebRTC 1.0版發(fā)布。盡管此前WebRTC已經(jīng)廣泛應(yīng)用各種瀏覽器、Android客戶端中。毫無(wú)疑問(wèn)，WebRTC定稿將更好的促進(jìn)各種瀏覽器和系統(tǒng)之間兼容與協(xié)作。1月21日，Google宣布在Chrome中支持AV1 SVC實(shí)時(shí)編碼。SVC提供了從單個(gè)編碼器在單個(gè)比特流中生成多層次分辨率的能力。換言之，SVC是對(duì)服務(wù)器端轉(zhuǎn)碼和ABR的替代方案。在提供海量視頻通信的場(chǎng)景下，SVC能夠節(jié)省巨大的服務(wù)器算力開(kāi)銷。

?

借助WebRTC，AV1駛?cè)肓薘TC的快車道。

?

“近幾年, AV1編解碼器的開(kāi)發(fā)已經(jīng)有了長(zhǎng)足的進(jìn)步。很快，各家都會(huì)推出AV1實(shí)時(shí)編碼的產(chǎn)品或者基于AV1的RTC產(chǎn)品”，拍樂(lè)云創(chuàng)始人&CEO趙加雨告訴LiveVideoStack，“Google的Duo及Cisco的Webex都已經(jīng)成功將AV1應(yīng)用于RTC產(chǎn)品，增加了產(chǎn)業(yè)界的信心。”本月，拍樂(lè)云發(fā)布了Pano Venus，一款基于AV1的實(shí)時(shí)視頻通話引擎，也是一套實(shí)時(shí)視頻SDK服務(wù)Solution。趙加雨透露，Venus支持視頻會(huì)議、社交娛樂(lè)、云游戲、泛教育等各行業(yè)實(shí)時(shí)場(chǎng)景，未來(lái)也將會(huì)服務(wù)于4K/8K、全景、VR等下一代實(shí)時(shí)視頻通信產(chǎn)品形態(tài)，一些頭部教育客戶已經(jīng)找到我們體驗(yàn)產(chǎn)品。

?

“開(kāi)源的AOM Encoder已經(jīng)可以在性能好的終端上實(shí)時(shí)運(yùn)行，此外開(kāi)源的AV1解碼器dav1d的進(jìn)展也非常迅速，它早就支持在PC或者移動(dòng)終端的實(shí)時(shí)解碼”，拍樂(lè)云首席科學(xué)家&合伙人章琦表示，“目前主流的i5/i7的CPU上均可以支持Pano Venus，主流的iOS和Android手機(jī)上也可以支持Pano Venus，支持的最大分辨率為1080p@30fps。”

?

“從我們?cè)趇Phone 12 Pro的測(cè)試情況看，在720p@30fps和相同的主觀質(zhì)量條件下，運(yùn)行 AV1 SDK設(shè)備的溫度比運(yùn)行H.264 SDK增加2攝氏度, ?電量消耗增加電池容量的1%，內(nèi)存和CPU消耗相近”，章琦對(duì)AV1充滿了信心。

? ? ?未來(lái)

?

“對(duì)于開(kāi)發(fā)商和制造商來(lái)說(shuō)，使用新的視頻編解碼器是一場(chǎng)既費(fèi)時(shí)又費(fèi)錢的博弈”，Matt Frost（Chair of the board, AOMedia）在演講中直言不諱的表示。在AV1漸入佳境之時(shí)，AOMedia已經(jīng)啟動(dòng)了AV2的開(kāi)發(fā)工作。AV1不僅要面臨來(lái)自HEVC、VVC的挑戰(zhàn)，還要和AV2同場(chǎng)競(jìng)技。

?

“我認(rèn)為AV1的核心壓縮能力還有很大的空間沒(méi)有發(fā)揮出來(lái)。更好的核心壓縮能力也會(huì)帶來(lái)新的速度和性能的平衡點(diǎn)。所以我個(gè)人預(yù)期AV1在未來(lái)的一年內(nèi)會(huì)帶來(lái)更高的壓縮性能，同時(shí)運(yùn)算復(fù)雜度會(huì)進(jìn)一步降低，”韓敬寧告訴LiveVideoStack，“AOM也在推進(jìn)AV2的研發(fā)工作。目前的主要工作重心依然是在壓縮性能方向。”

?

據(jù)了解，AV2將在標(biāo)準(zhǔn)層面，針對(duì)實(shí)時(shí)編碼場(chǎng)景做優(yōu)化。包括聲網(wǎng)在內(nèi)的企業(yè)正在參與相關(guān)工作。

?

在采訪最后，韓敬寧強(qiáng)調(diào)：libaom是一個(gè)面向全球的開(kāi)源項(xiàng)目，我們歡迎更多的同行加入我們，一同提升AV1的性能，服務(wù)全球的生態(tài)系統(tǒng)。

?

“Venus的發(fā)布是拍樂(lè)云音視頻技術(shù)上一個(gè)非常重要的里程碑，代表著AV1在實(shí)時(shí)通信領(lǐng)域的應(yīng)用走向成熟。我們希望可以為AV1生態(tài)的進(jìn)一步發(fā)展添磚加瓦，盡一份心力”，趙加雨表示。他還透露，拍樂(lè)云有計(jì)劃加入AOMedia。

?

HEVC被認(rèn)為是被專利毀掉的標(biāo)準(zhǔn)，相比而言，VVC的專利池清晰了許多。“HEVC由于其高昂且不明晰的專利政策，在其定稿后的多年，都未得到真正大規(guī)模應(yīng)用，特別是在RTC領(lǐng)域。VVC作為業(yè)界最新標(biāo)準(zhǔn)，擁有較高的編碼效率和較高的編碼復(fù)雜度，在RTC領(lǐng)域，還有一段路要走，特別是RTC生態(tài)的建立。如果其能打破知識(shí)產(chǎn)權(quán)方面的壁壘，或許未來(lái)可期，”談到HEVC與VVC的前景，趙加雨表示。

?

談到Pano Venus的未來(lái)，章琦表示：“首先，提升主觀質(zhì)量。第二，增加覆蓋到的設(shè)備種類， 在盡可能多的設(shè)備上支持運(yùn)行AV1的編碼和解碼。”據(jù)了解，當(dāng)Pano Venus發(fā)現(xiàn)設(shè)備無(wú)法支持AV1編解碼的情況下，系統(tǒng)將自動(dòng)切換到H.264視頻流。Cisco Webex也采用了相似的策略。

---

參考

騰訊云直播+點(diǎn)播全線產(chǎn)品支持AV1，帶來(lái)極致視頻體驗(yàn)?

許耀武：有趣有挑戰(zhàn)的二十年

AOM聯(lián)盟：AV1完成1.0版定稿

Sisvel宣布成立AV1專利池 1050項(xiàng)專利許可面臨收費(fèi)

9家專利擁有者退出MPEG LA HEVC 華為加入HEVC Advance

Netflix與英特爾共同發(fā)布開(kāi)源編解碼器SVT-AV1

Netflix在安卓移動(dòng)啟用AV1格式 較VP9編碼效率提升20%

W3C與IETF共同定義WebRTC未來(lái)6大應(yīng)用方向

實(shí)時(shí)AV1 SVC——釋放WebRTC的真正力量

AV1和開(kāi)放媒體聯(lián)盟(AOM)的發(fā)展、成果與未來(lái)

AV1的實(shí)時(shí)模式

重新定義實(shí)時(shí)視頻時(shí)代，拍樂(lè)云發(fā)布國(guó)內(nèi)首個(gè) AV1 編碼引擎 Pano Venus

阿里云視頻云正式支持AV1編碼格式 為視頻編碼服務(wù)降本提效?

https://developer.aliyun.com/article/738081

AV1 在 RTC 應(yīng)用實(shí)踐中的現(xiàn)狀與展望?

https://www.infoq.cn/article/2x8BYoYzoeuBk9K21suY

https://en.wikipedia.org/wiki/AV1

https://www.chromestatus.com/feature/6206321818861568

https://trac.ffmpeg.org/wiki/Encode/AV1

https://blog.webex.com/engineering/the-av1-video-codec-comes-to-webex/

https://www.blog.google/products/duo/4-new-google-duo-features-help-you-stay-connected/

https://aomedia.googlesource.com/aom/

http://webrtcbydralex.com/index.php/2019/07/09/real-time-av1-in-webrtc-is-now-production-ready/

https://blogs.cisco.com/collaboration/cisco-leap-frogs-h-264-video-collaboration-with-real-time-av1-codec

https://blog.webex.com/engineering/the-av1-video-codec-comes-to-webex/

http://www.compression.ru/index_en.htm

https://aws.amazon.com/cn/about-aws/whats-new/2020/03/av1-encoding-now-available-with-aws-elemental-mediaconvert/

https://caniuse.com/?search=av1

https://code.videolan.org/videolan/dav1d

http://www.jbkempf.com/blog/post/2021/dav1d-0.9.1-a-ton-of-asm

https://www.prnewswire.com/news-releases/netint-announces-the-worlds-first-commercially-available-hardware-av1-video-encoder-for-the-data-center-301247855.html

---

掃描圖中二維碼或點(diǎn)擊閱讀原文

了解大會(huì)更多信息

喜歡我們的內(nèi)容就點(diǎn)個(gè)“在看”吧！

總結(jié)

以上是生活随笔為你收集整理的AV1，实时编码READY的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。