视音频数据处理入门
視音頻數(shù)據(jù)處理入門
目錄
轉(zhuǎn)載自:CSDN博主「雷霄驊」
原文鏈接:https://blog.csdn.net/leixiaohua1020/article/details/18893769
1. 視頻播放器原理
視頻播放器播放一個互聯(lián)網(wǎng)上的視頻文件,需要經(jīng)過以下幾個步驟:解協(xié)議,解封裝,解碼視音頻,視音頻同步。
如果播放本地文件則不需要解協(xié)議,為以下幾個步驟:解封裝,解碼視音頻,視音頻同步。它們的過程如圖所示。
解協(xié)議的作用,就是將流媒體協(xié)議的數(shù)據(jù),解析為標準的相應(yīng)的封裝格式數(shù)據(jù)。音視頻在網(wǎng)絡(luò)上傳播的時候,常常采用各種流媒體協(xié)議,例如HTTP,TRMP,或是MMS等等。這些協(xié)議在傳輸視音頻數(shù)據(jù)的同時,也會傳輸一些信令數(shù)據(jù)。這些信令數(shù)據(jù)包括對播放的控制(播放,暫停,停止),或者對網(wǎng)絡(luò)狀態(tài)的描述等。解協(xié)議的過程中會去除信令數(shù)據(jù)而只保留視音頻數(shù)據(jù)。例如,采用TRMP協(xié)議傳輸?shù)臄?shù)據(jù),經(jīng)過解協(xié)議操作后,輸出FLV格式的數(shù)據(jù)。
解封裝的作用,就是將輸入的封裝格式的數(shù)據(jù),分離稱為音頻流壓縮編碼數(shù)據(jù)和視頻流壓縮編碼數(shù)據(jù)。封裝格式種類很多,例如MP4,MKV,RMVB,TS,FLV,AVI等等,它的作用就是將已經(jīng)壓縮編碼的視頻數(shù)據(jù)和音頻數(shù)據(jù)按照一定的格式放到一起。例如,FLV格式的數(shù)據(jù),經(jīng)過解封裝操作后,輸出H.264編碼的視頻碼流和AAC編碼的音頻碼流。
解碼的作用,就是將視頻/音頻壓縮編碼數(shù)據(jù),解碼成為非壓縮的視頻/音頻原始數(shù)據(jù)。音頻壓縮編碼標準包含AAC,MP3,AC-3等等,視頻的壓縮編碼標準包含H.264,MPEG2,VC-1等等。解碼是整個系統(tǒng)中最重要也是最復(fù)雜的一個環(huán)節(jié)。通過解碼,壓縮編碼的視頻數(shù)據(jù)輸出成為非壓縮的顏色數(shù)據(jù),例如YUV420P,RGB等等。壓縮編碼的音頻數(shù)據(jù)輸出為非壓縮的音頻抽樣數(shù)據(jù),例如PCM數(shù)據(jù)。
視音頻同步的作用,就是根據(jù)解封裝模塊處理過程中獲取到的參數(shù)信息,同步解碼出來的視頻和音頻數(shù)據(jù),并將視頻音頻數(shù)據(jù)送至系統(tǒng)的顯卡和聲卡播放出來。
接下來對設(shè)計到的協(xié)議數(shù)據(jù),封裝格式數(shù)據(jù),視頻編碼數(shù)據(jù),音頻編碼數(shù)據(jù),視頻像素數(shù)據(jù),音頻采樣數(shù)據(jù)進行分析。
2. RGB、YUV像素數(shù)據(jù)處理
RGB、YUV像素數(shù)據(jù)處理
3. PCM音頻采樣數(shù)據(jù)處理
PCM音頻采樣數(shù)據(jù)處理
4. H.264視頻碼流解析
H.264視頻碼流解析
5. AAC音頻碼流解析
AAC音頻碼流解析
6. FLV封裝格式解析
FLV封裝格式解析
7. UDP-RTP協(xié)議解析
UDP-RTP協(xié)議解析
超強干貨來襲 云風(fēng)專訪:近40年碼齡,通宵達旦的技術(shù)人生總結(jié)
- 上一篇: Go操作etcd
- 下一篇: RGB、YUV像素基础知识及处理数据