原地址：http://www.jianshu.com/p/27279255f67e

音視頻播放器的工作的具體流程如下圖所示：

播放器工作流程

簡單的來說包括：解協議，解封裝，對音頻和視頻分別進行解碼，音視頻同步播放這幾個部分，各部分詳細解釋請看后面參考資料。由于我們是分別解碼和播放音頻和視頻的，所以各自播放的節奏需要同步，否則會出現音畫不一致的情況。本文主要介紹一個簡單的音視頻同步的方案。

準備工作

實現FFMpeg音頻播放

實現FFMpeg視頻播放

相關知識

PTS和DTS
音視頻流中的每一幀都有時間相關的信息，其中PTS是播放時間，DTS是解碼時間。音頻的PTS和DTS是一致的，而某些視頻各種中可能會存在DTS和PTS不一致的幀，我們這里主要通過PTS來控制播放時間。對解碼后的AVFrame使用av_frame_get_best_effort_timestamp可以獲取PTS。

time_base
我們注意到PTS是一個整形數據，time_base是PTS的單位，PTS乘以time_base即可得到實際時間。只有AVStream中獲取的time_base才是對的，其他地方獲取的可能會有問題。

音視頻同步策略
一般來說有三種方式，音頻同步到視頻，視頻同步到音頻，音視頻同步到外部時間。一般各個參數設置正確音頻就能夠以正常的速度播放，所以把視頻同步到音頻在一般情況下，是一個簡單有效的同步策略。本文主要采取這個方式同步音視頻，來展示相關的基本思路。

同步視頻到音頻

獲取解碼的視頻幀時間。 AVFrame vFrame； AVStream vStream； //...解析視頻獲取vStream，解碼視頻幀獲得vFrame... double timestamp = av_frame_get_best_effort_timestamp(&vFrame)*av_q2d(vStream->time_base);

獲取解碼的音頻幀時間。 AVFrame aFrame； AVStream aStream； //...將正在播放的音頻時間點記錄下來作為基準... audioClock = aFrame.pkt_pts * av_q2d(aStream->time_base);

音視頻同步邏輯 /* no AV sync correction is done if below the minimum AV sync threshold */ #define AV_SYNC_THRESHOLD_MIN 0.04 /* AV sync correction is done if above the maximum AV sync threshold */ #define AV_SYNC_THRESHOLD_MAX 0.1 /* If a frame duration is longer than this, it will not be duplicated to compensate AV sync */ #define AV_SYNC_FRAMEDUP_THRESHOLD 0.1 /* no AV correction is done if too big error */ #define AV_NOSYNC_THRESHOLD 10.0 double timestamp; //判斷是否有有效的pts if(packet.pts == AV_NOPTS_VALUE) {timestamp = 0; } else {timestamp = av_frame_get_best_effort_timestamp(&vFrame)*av_q2d(vStream->time_base); } //計算幀率，平均每幀間隔時間 double frameRate = av_q2d(vStream->avg_frame_rate); frameRate += vFrame.repeat_pict * (frameRate * 0.5); if (timestamp == 0.0) {//按照默認幀率播放usleep((unsigned long)(frameRate*1000)); }else {if (fabs(timestamp - audioClock) > AV_SYNC_THRESHOLD_MIN &&fabs(timestamp - audioClock) < AV_NOSYNC_THRESHOLD) {//如果視頻比音頻快，延遲差值播放，否則直接播放，這里沒有做丟幀處理if (timestamp > audioClock) {usleep((unsigned long)((timestamp - audioClock)*1000000));}} }

工程代碼

EasyPlayer

參考資料

視音頻編解碼技術零基礎學習方法

Tutorial 05: Synching Video

轉載于:https://www.cnblogs.com/qcjd/p/9324894.html

總結

以上是生活随笔為你收集整理的FFmpeg 音视频同步的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。