視音頻技術(shù)零基礎(chǔ)學(xué)習(xí)方法

?(2014-06-16 23:59:24) 轉(zhuǎn)載▼

標(biāo)簽：? it

?

一直想把視音頻編解碼技術(shù)做一個簡單的總結(jié)，可是苦于時間不充裕，一直沒能完成。今天有著很大的空閑，終于可以總結(jié)一個有關(guān)視音頻技術(shù)的入門教程， 可以方便更多的人學(xué)習(xí)從零開始學(xué)習(xí)視音頻技術(shù)。需要注意的是，本文所說的視音頻技術(shù)，指的是理論層面的視音頻技術(shù)，并不涉及到編程相關(guān)的東西。

?

0.?????生活中的視音頻技術(shù)

平時我們打開電腦中自己存電影的目錄的話，一般都會如下圖所示，一大堆五花八門的電影。（其實(shí)專業(yè)的影視愛好者一概會把影視文件分門別類的，但我比較懶，一股腦把電影放在了一起）

因?yàn)橄螺d的來源不同，這些電影文件有不同的格式，用不同的后綴表示：avi，rmvb，mp4，flv，mkv等等（當(dāng)然也使用不同的圖標(biāo)）。在這里需要注意的是，這些格式代表的是封裝格式。何為封裝格式？就是把視頻數(shù)據(jù)和音頻數(shù)據(jù)打包成一個文件的規(guī)范。僅僅靠看文件的后綴，很難能看出具體使用了什么視音頻編碼標(biāo)準(zhǔn)。總的來說，不同的封裝格式之間差距不大，各有優(yōu)劣。

注：有些封裝格式支持的視音頻編碼標(biāo)準(zhǔn)十分廣泛，應(yīng)該算比較優(yōu)秀的封裝格式，比如MKV；而有些封裝格式支持的視音頻編碼標(biāo)準(zhǔn)很少，應(yīng)該屬于落后的封裝格式，比如RMVB。

?

下面演示一下如何使用視頻播放器查看一個視頻文件采用的視音頻技術(shù)：

注：在這里使用Media Player Classic作為演示，實(shí)際上暴風(fēng)影音，KMplayer這些操作都差不太多。

1.打開一個視頻文件

2.在視頻畫面上右鍵單擊，選擇屬性。

3.在彈出的“屬性”對話框的“MediaInfo”選項(xiàng)卡中，就可以查看該視頻文件采用的視音頻技術(shù)了。如下圖所示，“變形金剛預(yù)告片_h1080p.mov”采用MPEG4的QuickTime封裝格式（MOV），采用了H.264（AVC）的壓縮編碼標(biāo)準(zhǔn)。

在這里用到了一個查看媒體信息的工具：MediaInfo。MediaInfo是一個專門查看視音頻格式的工具，軟件的詳細(xì)使用可參考：

MediaInfo使用簡介（新版本支持HEVC）

源代碼分析可參考：

MediaInfo源代碼分析?1：整體結(jié)構(gòu)[系列文章]

生活中的視音頻技術(shù)到此為止，下面介紹一下具體的視音頻技術(shù)。

?

1.?????視頻播放器原理

視音頻技術(shù)主要包含以下幾點(diǎn)：封裝技術(shù)，視頻壓縮編碼技術(shù)以及音頻壓縮編碼技術(shù)。如果考慮到網(wǎng)絡(luò)傳輸?shù)脑?#xff0c;還包括流媒體協(xié)議技術(shù)。

視頻播放器的源代碼詳細(xì)解析（Media Player Classic - HC，Mplayer，FFplay，XBMC）可以參考系列文章：

Media Player Classic：Media Player Classic - HC源代碼分析?1：整體結(jié)構(gòu)[系列文章]

Mplayer：MPlayer源代碼分析

FFplay：?FFplay源代碼分析：整體流程圖

XBMC：?XBMC源代碼分析?1：整體結(jié)構(gòu)以及編譯方法[系列文章]

在這里不細(xì)說了，僅簡要說明一下視頻播放器的原理。

視頻播放器播放一個互聯(lián)網(wǎng)上的視頻文件，需要經(jīng)過以下幾個步驟：解協(xié)議，解封裝，解碼視音頻，視音頻同步。如果播放本地文件則不需要解協(xié)議，為以下幾個步驟：解封裝，解碼視音頻，視音頻同步。他們的過程如圖所示。

?

解協(xié)議的 作用，就是將流媒體協(xié)議的數(shù)據(jù)，解析為標(biāo)準(zhǔn)的相應(yīng)的封裝格式數(shù)據(jù)。視音頻在網(wǎng)絡(luò)上傳播的時候，常常采用各種流媒體協(xié)議，例如HTTP，RTMP，或是 MMS等等。這些協(xié)議在傳輸視音頻數(shù)據(jù)的同時，也會傳輸一些信令數(shù)據(jù)。這些信令數(shù)據(jù)包括對播放的控制（播放，暫停，停止），或者對網(wǎng)絡(luò)狀態(tài)的描述等。解協(xié) 議的過程中會去除掉信令數(shù)據(jù)而只保留視音頻數(shù)據(jù)。例如，采用RTMP協(xié)議傳輸?shù)臄?shù)據(jù)，經(jīng)過解協(xié)議操作后，輸出FLV格式的數(shù)據(jù)。

解封裝的 作用，就是將輸入的封裝格式的數(shù)據(jù)，分離成為音頻流壓縮編碼數(shù)據(jù)和視頻流壓縮編碼數(shù)據(jù)。封裝格式種類很多，例如 MP4，MKV，RMVB，TS，FLV，AVI等等，它的作用就是將已經(jīng)壓縮編碼的視頻數(shù)據(jù)和音頻數(shù)據(jù)按照一定的格式放到一起。例如，FLV格式的數(shù) 據(jù)，經(jīng)過解封裝操作后，輸出H.264編碼的視頻碼流和AAC編碼的音頻碼流。

解碼的作用，就是將視頻 /音頻壓縮編碼數(shù)據(jù)，解碼成為非壓縮的視頻/音頻原始數(shù)據(jù)。音頻的壓縮編碼標(biāo)準(zhǔn)包含AAC，MP3，AC-3等等，視頻的壓縮編碼標(biāo)準(zhǔn)則包含 H.264，MPEG2，VC-1等等。解碼是整個系統(tǒng)中最重要也是最復(fù)雜的一個環(huán)節(jié)。通過解碼，壓縮編碼的視頻數(shù)據(jù)輸出成為非壓縮的顏色數(shù)據(jù)，例如 YUV420P，RGB等等；壓縮編碼的音頻數(shù)據(jù)輸出成為非壓縮的音頻抽樣數(shù)據(jù)，例如PCM數(shù)據(jù)。

視音頻同步的作用，就是根據(jù)解封裝模塊處理過程中獲取到的參數(shù)信息，同步解碼出來的視頻和音頻數(shù)據(jù)，并將視頻音頻數(shù)據(jù)送至系統(tǒng)的顯卡和聲卡播放出來。

接下來的幾節(jié)我們將會列出主要的流媒體協(xié)議，封裝格式，以及視音頻編碼標(biāo)準(zhǔn)。更詳細(xì)的比較可以參考：

視頻參數(shù)（流媒體系統(tǒng)，封裝格式，視頻編碼，音頻編碼，播放器）對比

2.?????流媒體協(xié)議

流媒體協(xié)議是服務(wù)器與客戶端之間通信遵循的規(guī)定。當(dāng)前網(wǎng)絡(luò)上主要的流媒體協(xié)議如表所示。

主要流媒體協(xié)議一覽

名稱	推出機(jī)構(gòu)	傳輸層協(xié)議	客戶端	目前使用領(lǐng)域
RTSP+RTP	IETF	TCP+UDP	VLC, WMP	IPTV
RTMP	Adobe Inc.	TCP	Flash	互聯(lián)網(wǎng)直播
RTMFP	Adobe Inc.	UDP	Flash	互聯(lián)網(wǎng)直播
MMS	Microsoft Inc.	TCP/UDP	WMP	互聯(lián)網(wǎng)直播+點(diǎn)播
HTTP	WWW+IETF	TCP	Flash	互聯(lián)網(wǎng)點(diǎn)播

RTSP+RTP經(jīng)常用于IPTV領(lǐng)域。因?yàn)槠洳捎肬DP傳輸視音頻，支持組播，效率較高。但其缺點(diǎn)是網(wǎng)絡(luò)不好的情況下可能會丟包，影響視頻觀看質(zhì)量。因而圍繞IPTV的視頻質(zhì)量的研究還是挺多的。

RTSP規(guī)范可參考：RTSP協(xié)議學(xué)習(xí)筆記

RTSP+RTP系統(tǒng)中衡量服務(wù)質(zhì)量可參考：網(wǎng)絡(luò)視頻傳輸?shù)姆?wù)質(zhì)量（QoS）

上海IPTV碼流分析結(jié)果可參考：IPTV視頻碼流分析

因 為互聯(lián)網(wǎng)網(wǎng)絡(luò)環(huán)境的不穩(wěn)定性，RTSP+RTP較少用于互聯(lián)網(wǎng)視音頻傳輸。互聯(lián)網(wǎng)視頻服務(wù)通常采用TCP作為其流媒體的傳輸層協(xié)議，因而像 RTMP，MMS，HTTP這類的協(xié)議廣泛用于互聯(lián)網(wǎng)視音頻服務(wù)之中。這類協(xié)議不會發(fā)生丟包，因而保證了視頻的質(zhì)量，但是傳輸?shù)男蕰鄬Φ鸵恍?/p>

此外RTMFP是一種比較新的流媒體協(xié)議，特點(diǎn)是支持P2P。

RTMP我做的研究相對多一些：比如RTMP規(guī)范簡單分析，或者RTMP流媒體播放過程

相關(guān)工具的源代碼分析：RTMPdump源代碼分析?1：?main()函數(shù)[系列文章]

RTMP協(xié)議學(xué)習(xí)：RTMP流媒體技術(shù)零基礎(chǔ)學(xué)習(xí)方法

3.?????封裝格式

封裝格式的主要作用是把視頻碼流和音頻碼流按照一定的格式存儲在一個文件中。現(xiàn)如今流行的封裝格式如下表所示：

主要封裝格式一覽

名稱	推出機(jī)構(gòu)	流媒體	支持的視頻編碼	支持的音頻編碼	目前使用領(lǐng)域
AVI	Microsoft Inc.	不支持	幾乎所有格式	幾乎所有格式	BT下載影視
MP4	MPEG	支持	MPEG-2, MPEG-4, H.264, H.263等	AAC, MPEG-1 Layers I, II, III, AC-3等	互聯(lián)網(wǎng)視頻網(wǎng)站
TS	MPEG	支持	MPEG-1, MPEG-2, MPEG-4, H.264	MPEG-1 Layers I, II, III, AAC,	IPTV，數(shù)字電視
FLV	Adobe Inc.	支持	Sorenson, VP6, H.264	MP3, ADPCM, Linear PCM, AAC等	互聯(lián)網(wǎng)視頻網(wǎng)站
MKV	CoreCodec Inc.	支持	幾乎所有格式	幾乎所有格式	互聯(lián)網(wǎng)視頻網(wǎng)站
RMVB	Real Networks Inc.	支持	RealVideo 8, 9, 10	AAC, Cook Codec, RealAudio Lossless	BT下載影視

由表可見，除了AVI之外，其他封裝格式都支持流媒體，即可以“邊下邊播”。有些格式更“萬能”一些，支持的視音頻編碼標(biāo)準(zhǔn)多一些，比如MKV。而有些格式則支持的相對比較少，比如說RMVB。

這些封裝格式都有相關(guān)的文檔，在這里就不一一例舉了。

我自己也做過輔助學(xué)習(xí)的小項(xiàng)目：

TS封裝格式分析器

FLV封裝格式分析器

?

4.?????視頻編碼

視 頻編碼的主要作用是將視頻像素?cái)?shù)據(jù)（RGB，YUV等）壓縮成為視頻碼流，從而降低視頻的數(shù)據(jù)量。如果視頻不經(jīng)過壓縮編碼的話，體積通常是非常大的，一部 電影可能就要上百G的空間。視頻編碼是視音頻技術(shù)中最重要的技術(shù)之一。視頻碼流的數(shù)據(jù)量占了視音頻總數(shù)據(jù)量的絕大部分。高效率的視頻編碼在同等的碼率下， 可以獲得更高的視頻質(zhì)量。

視頻編碼的簡單原理可以參考：視頻壓縮編碼和音頻壓縮編碼的基本原理

注：視頻編碼技術(shù)在整個視音頻技術(shù)中應(yīng)該是最復(fù)雜的技術(shù)。如果沒有基礎(chǔ)的話，可以先買一些書看一下原理，比如說《現(xiàn)代電視原理》《數(shù)字電視廣播原理與應(yīng)用》（本科的課本）中的部分章節(jié)。

主要視頻編碼一覽

名稱	推出機(jī)構(gòu)	推出時間	目前使用領(lǐng)域
HEVC(H.265)	MPEG/ITU-T	2013	研發(fā)中
H.264	MPEG/ITU-T	2003	各個領(lǐng)域
MPEG4	MPEG	2001	不溫不火
MPEG2	MPEG	1994	數(shù)字電視
VP9	Google	2013	研發(fā)中
VP8	Google	2008	不普及
VC-1	Microsoft Inc.	2006	微軟平臺

由表可見，有兩種視頻編碼方案是最新推出的：VP9和HEVC。目前這兩種方案都處于研發(fā)階段，還沒有到達(dá)實(shí)用的程度。當(dāng)前使用最多的視頻編碼方案就是H.264。

4.1 主流編碼標(biāo)準(zhǔn)

H.264僅僅是一個編碼標(biāo)準(zhǔn)，而不是一個具體的編碼器，H.264只是給編碼器的實(shí)現(xiàn)提供參照用的。

基于H.264標(biāo)準(zhǔn)的編碼器還是很多的，究竟孰優(yōu)孰劣？可參考：MSU出品的?H.264編碼器比較（2011.5）

在學(xué)習(xí)視頻編碼的時候，可能會用到各種編碼器（實(shí)際上就是一個exe文件），他們常用的編碼命令可以參考：各種視頻編碼器的命令行格式

學(xué)習(xí)H.264最標(biāo)準(zhǔn)的源代碼，就是其官方標(biāo)準(zhǔn)JM了。但是要注意，JM速度非常的慢，是無法用于實(shí)際的：H.264參考軟件JM12.2RC代碼詳細(xì)流程

實(shí)際中使用最多的就是x264了，性能強(qiáng)悍（超過了很多商業(yè)編碼器），而且開源。其基本教程網(wǎng)上極多，不再贅述。編碼時候可參考：x264編碼指南——碼率控制。編碼后統(tǒng)計(jì)值的含義：X264輸出的統(tǒng)計(jì)值的含義（X264 Stats Output）

Google推出的VP8屬于和H.264同一時代的標(biāo)準(zhǔn)。總體而言，VP8比H.264要稍微差一點(diǎn)。有一篇寫的很好的VP8的介紹文章：深入了解?VP8。除了在技術(shù)領(lǐng)域，VP8和H.264在專利等方面也是打的不可開交，可參考文章：WebM(VP8) vs H.264

此外，我國還推出了自己的國產(chǎn)標(biāo)準(zhǔn)AVS，性能也不錯，但目前比H.264還是要稍微遜色一點(diǎn)。不過感覺我國在視頻編解碼領(lǐng)域還算比較先進(jìn)的，可參考：視頻編碼國家標(biāo)準(zhǔn)AVS與H.264的比較（節(jié)選）

近期又推出了AVS新一代的版本AVS+，具體的性能測試還沒看過。不過據(jù)說AVS+得到了國家政策上非常強(qiáng)力的支持。

4.2 下一代編碼標(biāo)準(zhǔn)

下一代的編解碼標(biāo)準(zhǔn)就要數(shù)HEVC和VP9了。VP9是Google繼VP8之后推出的新一代標(biāo)準(zhǔn)。VP9和HEVC相比，要稍微遜色一些。它們的對比可參考：（1）HEVC與VP9編碼效率對比?（2）HEVC，VP9，x264性能對比

HEVC在未來擁有很多大的優(yōu)勢，可參考：HEVC將會取代H.264的原因

學(xué)習(xí)HEVC最標(biāo)準(zhǔn)的源代碼，就是其官方標(biāo)準(zhǔn)HM了。其速度比H.264的官方標(biāo)準(zhǔn)代碼又慢了一大截，使用可參考：HEVC學(xué)習(xí)——?HM的使用

未來實(shí)際使用的HEVC開源編碼器很有可能是x265，目前該項(xiàng)目還處于發(fā)展階段，可參考：x265(HEVC編碼器，基于x264)介紹。x265的使用可以參考：HEVC（H.265）標(biāo)準(zhǔn)的編碼器（x265，DivX265）試用

主流以及下一代編碼標(biāo)準(zhǔn)之間的比較可以參考文章：視頻編碼方案之間的比較（HEVC，H.264，MPEG2等）

此外，在碼率一定的情況下，幾種編碼標(biāo)準(zhǔn)的比較可參考：限制碼率的視頻編碼標(biāo)準(zhǔn)比較（包括MPEG-2，H.263，?MPEG-4，以及?H.264）

結(jié)果大致是這樣的：

HEVC > VP9 > H.264> VP8 > MPEG4 > H.263 > MPEG2。

截了一些圖，可以比較直觀的了解各種編碼標(biāo)準(zhǔn)：

HEVC碼流簡析：HEVC碼流簡單分析

H.264碼流簡析：H.264簡單碼流分析

MPEG2碼流簡析：MPEG2簡單碼流分析

以上簡析使用的工具：視頻碼流分析工具

我自己做的小工具：??H.264碼流分析器

5.?????音頻編碼

音 頻編碼的主要作用是將音頻采樣數(shù)據(jù)（PCM等）壓縮成為音頻碼流，從而降低音頻的數(shù)據(jù)量。音頻編碼也是互聯(lián)網(wǎng)視音頻技術(shù)中一個重要的技術(shù)。但是一般情況下 音頻的數(shù)據(jù)量要遠(yuǎn)小于視頻的數(shù)據(jù)量，因而即使使用稍微落后的音頻編碼標(biāo)準(zhǔn)，而導(dǎo)致音頻數(shù)據(jù)量有所增加，也不會對視音頻的總數(shù)據(jù)量產(chǎn)生太大的影響。高效率的 音頻編碼在同等的碼率下，可以獲得更高的音質(zhì)。

音頻編碼的簡單原理可以參考：視頻壓縮編碼和音頻壓縮編碼的基本原理

主要音頻編碼一覽

名稱	推出機(jī)構(gòu)	推出時間	目前使用領(lǐng)域
AAC	MPEG	1997	各個領(lǐng)域（新）
AC-3	Dolby Inc.	1992	電影
MP3	MPEG	1993	各個領(lǐng)域（舊）
WMA	Microsoft Inc.	1999	微軟平臺

由表可見，近年來并未推出全新的音頻編碼方案，可見音頻編碼技術(shù)已經(jīng)基本可以滿足人們的需要。音頻編碼技術(shù)近期絕大部分的改動都是在MP3的繼任者——AAC的基礎(chǔ)上完成的。

這些編碼標(biāo)準(zhǔn)之間的比較可以參考文章：音頻編碼方案之間音質(zhì)比較（AAC，MP3，WMA等）

結(jié)果大致是這樣的：

AAC+ > MP3PRO > AAC> RealAudio > WMA > MP3

AAC格式的介紹：AAC格式簡介

AAC幾種不同版本之間的對比：AAC規(guī)格（LC，HE，HEv2）及性能對比

AAC專利方面的介紹：AAC專利介紹

此外杜比數(shù)字的編碼標(biāo)準(zhǔn)也比較流行，但是貌似比最新的AAC稍為遜色：AC-3技術(shù)綜述

我自己做的小工具：?AAC格式分析器

6. ????現(xiàn)有網(wǎng)絡(luò)視音頻平臺對比

現(xiàn) 有的網(wǎng)絡(luò)視音頻服務(wù)主要包括兩種方式：點(diǎn)播和直播。點(diǎn)播意即根據(jù)用戶的需要播放相應(yīng)的視頻節(jié)目，這是互聯(lián)網(wǎng)視音頻服務(wù)最主要的方式。絕大部分視頻網(wǎng)站都提 供了點(diǎn)播服務(wù)。直播意即互聯(lián)網(wǎng)視音頻平臺直接將視頻內(nèi)容實(shí)時發(fā)送給用戶，目前還處于發(fā)展階段。直播在網(wǎng)絡(luò)電視臺，社交視頻網(wǎng)站較為常見。

6.1 直播平臺參數(shù)對比

主流互聯(lián)網(wǎng)視音頻平臺直播服務(wù)的參數(shù)對比如表所示：

現(xiàn)有網(wǎng)絡(luò)視音頻平臺參數(shù)對比

名稱	協(xié)議	封裝	視頻編碼	音頻編碼	播放器
CNTV	私有
華數(shù)TV	RTMP	FLV	H.264	AAC	Flash
六間房	RTMP	FLV	H.264	AAC	Flash
中國教育電視臺	RTMP	FLV	H.264	AAC	Flash
北廣傳媒移動電視	RTMP	FLV	H.264	AAC	Flash
上海IPTV	RTSP+RTP	TS	H.264	MP2	機(jī)頂盒

可 以看出，直播服務(wù)普遍采用了RTMP作為流媒體協(xié)議，FLV作為封裝格式，H.264作為視頻編碼格式，AAC作為音頻編碼格式。采用RTMP作為直播協(xié) 議的好處在于其被Flash播放器支持。而Flash播放器如今已經(jīng)安裝在全球99%的電腦上，并且與瀏覽器結(jié)合的很好。因此這種流媒體直播平臺可以實(shí)現(xiàn) “無插件直播”，極大的簡化了客戶端的操作。封裝格式，視頻編碼，音頻編碼方面，無一例外的使用了FLV + H.264 + AAC的組合。FLV是RTMP使用的封裝格式，H.264是當(dāng)今實(shí)際應(yīng)用中編碼效率最高的視頻編碼標(biāo)準(zhǔn)，AAC則是當(dāng)今實(shí)際應(yīng)用中編碼效率最高的音頻編 碼標(biāo)準(zhǔn)。視頻播放器方面，都使用了Flash播放器。

6.2　點(diǎn)播平臺參數(shù)對比

主流網(wǎng)絡(luò)視音頻平臺點(diǎn)播服務(wù)的參數(shù)對比如表所示：

現(xiàn)有互聯(lián)網(wǎng)視音頻平臺參數(shù)對比

名稱	協(xié)議	封裝	視頻編碼	音頻編碼	播放器
CNTV	HTTP	MP4	H.264	AAC	Flash
CNTV（部分）	RTMP	FLV	H.264	AAC	Flash
華數(shù)TV	HTTP	MP4	H.264	AAC	Flash
優(yōu)酷網(wǎng)	HTTP	FLV	H.264	AAC	Flash
土豆網(wǎng)	HTTP	F4V	H.264	AAC	Flash
56網(wǎng)	HTTP	FLV	H.264	AAC	Flash
音悅臺	HTTP	MP4	H.264	AAC	Flash
樂視網(wǎng)	HTTP	FLV	H.264	AAC	Flash
新浪視頻	HTTP	FLV	H.264	AAC	Flash

可 以看出，點(diǎn)播服務(wù)普遍采用了HTTP作為流媒體協(xié)議，H.264作為視頻編碼格式，AAC作為音頻編碼格式。采用HTTP作為點(diǎn)播協(xié)議有以下兩點(diǎn)優(yōu)勢：一 方面，HTTP是基于TCP協(xié)議的應(yīng)用層協(xié)議，媒體傳輸過程中不會出現(xiàn)丟包等現(xiàn)象，從而保證了視頻的質(zhì)量；另一方面，HTTP被絕大部分的Web服務(wù)器支 持，因而流媒體服務(wù)機(jī)構(gòu)不必投資購買額外的流媒體服務(wù)器，從而節(jié)約了開支。點(diǎn)播服務(wù)采用的封裝格式有多種：MP4，FLV，F4V等，它們之間的區(qū)別不是 很大。視頻編碼標(biāo)準(zhǔn)和音頻編碼標(biāo)準(zhǔn)是H.264和AAC。這兩種標(biāo)準(zhǔn)分別是當(dāng)今實(shí)際應(yīng)用中編碼效率最高的視頻標(biāo)準(zhǔn)和音頻標(biāo)準(zhǔn)。視頻播放器方面，無一例外的 都使用了Flash播放器。

總結(jié)

以上是生活随笔為你收集整理的视音频技术零基础学习方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。