【Android RTMP】x264 图像数据编码 ( Camera 图像数据采集 | NV21 图像数据传到 Native 处理 | JNI 传输字节数组 | 局部引用变量处理 | 线程互斥 )
文章目錄
- 安卓直播推流專欄博客總結
- 一、 NV21 數據傳入 Native 層
- 二、 jbyte * 數據類型 ( Java 中的 byte[] 數組傳入 JNI 處理方式 )
- 三、 局部引用處理
- 四、 x264 編碼過程中的線程互斥
- 五、 x264 視頻數據編碼代碼示例
安卓直播推流專欄博客總結
Android RTMP 直播推流技術專欄 :
0 . 資源和源碼地址 :
- 資源下載地址 : 資源下載地址 , 服務器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫 , 本專欄 Android 直播推流源碼 ;
- GitHub 源碼地址 : han1202012 / RTMP_Pusher
1. 搭建 RTMP 服務器 : 下面的博客中講解了如何在 VMWare 虛擬機中搭建 RTMP 直播推流服務器 ;
- 【Android RTMP】RTMP 直播推流服務器搭建 ( Ubuntu 18.04.4 虛擬機 )
2. 準備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數據包封裝開源庫 :
-
【Android RTMP】RTMPDumb 源碼導入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構建腳本 )
-
【Android RTMP】Android Studio 集成 x264 開源庫 ( Ubuntu 交叉編譯 | Android Studio 導入函數庫 )
3. 講解 RTMP 數據包封裝格式 :
-
【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標簽 Tag 分析 | 視頻標簽 Tag 數據分析 )
-
【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 )
4. 圖像數據采集 : 從 Camera 攝像頭中采集 NV21 格式的圖像數據 , 并預覽該數據 ;
-
【Android RTMP】Android Camera 視頻數據采集預覽 ( 視頻采集相關概念 | 攝像頭預覽參數設置 | 攝像頭預覽數據回調接口 )
-
【Android RTMP】Android Camera 視頻數據采集預覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對比 | NV21 轉 I420 算法 )
-
【Android RTMP】Android Camera 視頻數據采集預覽 ( 圖像傳感器方向設置 | Camera 使用流程 | 動態權限申請 )
5. NV21 格式的圖像數據編碼成 H.264 格式的視頻數據 :
-
【Android RTMP】x264 編碼器初始化及設置 ( 獲取 x264 編碼參數 | 編碼規格 | 碼率 | 幀率 | B幀個數 | 關鍵幀間隔 | 關鍵幀解碼數據 SPS PPS )
-
【Android RTMP】x264 圖像數據編碼 ( Camera 圖像數據采集 | NV21 圖像數據傳到 Native 處理 | JNI 傳輸字節數組 | 局部引用變量處理 | 線程互斥 )
-
【Android RTMP】x264 圖像數據編碼 ( NV21 格式中的 YUV 數據排列 | Y 灰度數據拷貝 | U 色彩值數據拷貝 | V 飽和度數據拷貝 | 圖像編碼操作 )
6. 將 H.264 格式的視頻數據封裝到 RTMP 數據包中 :
-
【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 封裝 SPS / PPS 數據包 )
-
【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 關鍵幀數據格式 | 非關鍵幀數據格式 | x264 編碼后的數據處理 | 封裝 H.264 視頻數據幀 )
-
【Android RTMP】RTMPDump 推流過程 ( 獨立線程推流 | 創建推流器 | 初始化操作 | 設置推流地址 | 啟用寫出 | 連接 RTMP 服務器 | 發送 RTMP 數據包 )
7. 階段總結 : 阿里云服務器中搭建 RTMP 服務器 , 并使用電腦軟件推流和觀看直播內容 ;
-
【Android RTMP】RTMP 直播推流 ( 阿里云服務器購買 | 遠程服務器控制 | 搭建 RTMP 服務器 | 服務器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 )
-
【Android RTMP】RTMP 直播推流階段總結 ( 服務器端搭建 | Android 手機端編碼推流 | 電腦端觀看直播 | 服務器狀態查看 )
8. 處理 Camera 圖像傳感器導致的 NV21 格式圖像旋轉問題 :
-
【Android RTMP】NV21 圖像旋轉處理 ( 問題描述 | 圖像順時針旋轉 90 度方案 | YUV 圖像旋轉細節 | 手機屏幕旋轉方向 )
-
【Android RTMP】NV21 圖像旋轉處理 ( 圖像旋轉算法 | 后置攝像頭順時針旋轉 90 度 | 前置攝像頭順時針旋轉 90 度 )
9. 下面這篇博客比較重要 , 里面有一個快速搭建 RTMP 服務器的腳本 , 強烈建議使用 ;
- 【Android RTMP】NV21 圖像旋轉處理 ( 快速搭建 RTMP 服務器 Shell 腳本 | 創建 RTMP 服務器鏡像 | 瀏覽器觀看直播 | 前置 / 后置攝像頭圖像旋轉效果展示 )
10. 編碼 AAC 音頻數據的開源庫 FAAC 交叉編譯與 Android Studio 環境搭建 :
-
【Android RTMP】音頻數據采集編碼 ( 音頻數據采集編碼 | AAC 高級音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 )
-
【Android RTMP】音頻數據采集編碼 ( FAAC 頭文件與靜態庫拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻采樣 PCM 格式 )
11. 解析 AAC 音頻格式 :
- 【Android RTMP】音頻數據采集編碼 ( AAC 音頻格式解析 | FLV 音頻數據標簽解析 | AAC 音頻數據標簽頭 | 音頻解碼配置信息 )
12 . 將麥克風采集的 PCM 音頻采樣編碼成 AAC 格式音頻 , 并封裝到 RTMP 包中 , 推流到客戶端 :
-
【Android RTMP】音頻數據采集編碼 ( FAAC 音頻編碼參數設置 | FAAC 編碼器創建 | 獲取編碼器參數 | 設置 AAC 編碼規格 | 設置編碼器輸入輸出參數 )
-
【Android RTMP】音頻數據采集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )
-
【Android RTMP】音頻數據采集編碼 ( FAAC 編碼器編碼 AAC 音頻采樣數據 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )
Android 直播推流流程 : 手機采集視頻 / 音頻數據 , 視頻數據使用 H.264 編碼 , 音頻數據使用 AAC 編碼 , 最后將音視頻數據都打包到 RTMP 數據包中 , 使用 RTMP 協議上傳到 RTMP 服務器中 ;
Android 端中主要完成手機端采集視頻數據操作 , 并將視頻數據傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉為 H.264 格式的視頻 , 最后將 H.264 格式的視頻打包到 RTMP 數據包中 , 上傳到 RTMP 服務器中 ;
本篇博客中介紹如下內容 , Java 層將 Camera 采集的 NV21 格式的數據傳入 JNI 層 ;
一、 NV21 數據傳入 Native 層
1 . Camera 采集 NV21 格式圖像數據 :
① 接口注冊 : Android 中使用 Camera 采集圖像數據 , 啟動 Camera 時會為其注冊一個回調接口 PreviewCallback ;
② 數據回調 : 當 Camera 采集到圖像數據后 , 就會回調該 PreviewCallback 接口中的 onPreviewFrame 方法 , 在該方法中可以獲取 Camera 采集到的圖像數據 , 該圖像數據是 NV21 格式的 ;
2 . Java 中定義的方法 : Java 中傳遞的參數類型為 byte[] , 字節數組類型 ;
public native void native_encodeCameraData(byte[] data);3 . JNI 中對應的方法 : JNI 中接收的方法是 jbyteArray data 類型的 ;
extern "C" JNIEXPORT void JNICALL Java_kim_hsl_rtmp_LivePusher_native_1encodeCameraData(JNIEnv *env, jobject thiz, jbyteArray data) { }二、 jbyte * 數據類型 ( Java 中的 byte[] 數組傳入 JNI 處理方式 )
1 . 類型轉換 :
① jbyteArray 類型說明 : jbyteArray 類型在 C++ 中是無法使用的 , 必須轉成可以使用的數據類型, jbyteArray 就是 Java 類型的字節數組 , 可以轉為 jbyte 數組 ;
② jbyteArray 轉為 jbyte * : 調用 JNIEnv 結構體的 GetByteArrayElements 方法 , 可以將 jbyteArray 類型數據轉為 jbyte * 類型 ;
// 將 Java 層的 byte 數組類型 jbyteArray 轉為 jbyte* 指針類型// 注意這是局部引用變量, 不能跨線程, 跨方法調用, 需要將其存放在堆內存中jbyte* dataFromJava = env->GetByteArrayElements(data, NULL);2 . jbyte 類型 : 在 jni.h 中 , 定義了 Java 中的 byte 類型 jbyte 類型 , 實際上是 C/C++ 中的 int8_t 數據類型 ;
typedef int8_t jbyte; /* signed 8 bits */3 . x264 編碼方法接收的數據類型 : jbyte 類型本質就是 int8_t 類型 , 直接將 jbyte* dataFromJava , 代表了 jbyte 類型的數組 , 可以將該指針傳入 encodeCameraData 方法 ; jbyte* 類型等同于 int8_t * 類型
void encodeCameraData(int8_t *data)三、 局部引用處理
1 . 局部引用處理 :
① 局部引用 : 參數中的 jbyte* dataFromJava , 以及轉換后的 jbyte* dataFromJava 數據 , 都是局部引用 ;
② 局部引用特性 : 局部引用變量 , 不能跨線程 , 跨方法調用 , 超出作用域后立刻失效 , 如果要使用該數據 , 需要將其存放在堆內存中 ;
③ 回收內存 : 局部引用要在作用域結束前主動回收內存 , 不要等系統自動回收 , 避免不必要的內存抖動 ;
// 將 Java 層的 byte 數組類型 jbyteArray 轉為 jbyte* 指針類型// 注意這是局部引用變量, 不能跨線程, 跨方法調用, 需要將其存放在堆內存中jbyte* dataFromJava = env->GetByteArrayElements(data, NULL);// 釋放局部引用變量env->ReleaseByteArrayElements(data, dataFromJava, 0);2 . 局部引用 , 全局引用 , 弱全局引用處理參考 :
-
【Android NDK 開發】JNI 引用 ( 局部引用 | 局部引用作用域 | 局部引用產生 | 局部引用釋放 | 代碼示例)
-
【Android NDK 開發】JNI 引用 ( 全局引用 | NewGlobalRef | DeleteGlobalRef )
-
【Android NDK 開發】JNI 引用 ( 弱全局引用 | NewWeakGlobalRef | DeleteWeakGlobalRef )
四、 x264 編碼過程中的線程互斥
線程互斥說明 :
① x264 編碼與 x264 參數設置 : 在 x264 編碼的過程中 , 一定要與 x264 參數設置進行互斥 ;
② 參數修改 : 編碼的整個過程中 , x264 的參數不能改變 , 如編碼圖像的寬度 , 高度 , 視頻的幀率 , 碼率 , 改變任意一個值 , 都會導致不可預知的風險 ;
③ 場景舉例 : 在 x264 編碼過程中 , 突然橫豎屏切換 , 這時候會激活 x264 參數設置選項 , 如果此時正在編碼 , 會出錯 ;
2 . 互斥鎖管理 : 導入包 #include <pthread.h> ;
① 聲明互斥鎖 : 使用前需要在成員變量中聲明互斥鎖 ;
/*** 互斥鎖* 數據編碼時, 可能會重新設置視頻編碼參數 setVideoEncoderParameters, 如橫豎屏切換, 改變了大小* setVideoEncoderParameters 操作線程, 需要與編碼操作互斥*/pthread_mutex_t mMutex;② 初始化互斥鎖 : 構造函數中初始化互斥鎖 ;
// 初始化互斥鎖, 設置視頻編碼參數 與 編碼互斥pthread_mutex_init(&mMutex, 0);③ 銷毀互斥鎖 : 析構函數中回收互斥鎖 ;
// 銷毀互斥鎖, 設置視頻編碼參數 與 編碼互斥pthread_mutex_destroy(&mMutex);④ 使用互斥鎖 : 設置參數時需要加鎖 , 數據編碼時需要加鎖 ;
// 加鎖, 設置視頻編碼參數 與 編碼互斥pthread_mutex_lock(&mMutex);// 執行需要互斥的操作// 解鎖, 設置視頻編碼參數 與 編碼互斥pthread_mutex_unlock(&mMutex);五、 x264 視頻數據編碼代碼示例
1 . Java 中定義的 native 方法 :
/*** 執行數據編碼操作* @param data*/public native void native_encodeCameraData(byte[] data);2 . NV21 數據傳遞過程 :
extern "C" JNIEXPORT void JNICALL Java_kim_hsl_rtmp_LivePusher_native_1encodeCameraData(JNIEnv *env, jobject thiz, jbyteArray data) {if(!vedioChannel || !readyForPush){// 如果 vedioChannel 還沒有進行初始化, 推流沒有準備好了, 直接 return__android_log_print(ANDROID_LOG_INFO, "RTMP", "還沒有準備完畢, 稍后再嘗試調用該方法");return;}// 將 Java 層的 byte 數組類型 jbyteArray 轉為 jbyte* 指針類型// 注意這是局部引用變量, 不能跨線程, 跨方法調用, 需要將其存放在堆內存中jbyte* dataFromJava = env->GetByteArrayElements(data, NULL);// jbyte 是 int8_t 類型的, 因此這里我們將 encodeCameraData 的參數設置成 int8_t* 類型// typedef int8_t jbyte; /* signed 8 bits */vedioChannel->encodeCameraData(dataFromJava);// 釋放局部引用變量env->ReleaseByteArrayElements(data, dataFromJava, 0); }3 . x264 編碼器將 NV21 圖像數據編碼為 H.264 代碼 :
/*** 視頻數據編碼* 接收 int8_t 類型的原因是, 這里處理的是 jbyte* 類型參數* jbyte 類型就是 int8_t 類型* @param data 視頻數據指針*/ void VedioChannel::encodeCameraData(int8_t *data) {// 加鎖, 設置視頻編碼參數 與 編碼互斥pthread_mutex_lock(&mMutex);// 后續還有操作, 本博客中暫時省略// 解鎖, 設置視頻編碼參數 與 編碼互斥pthread_mutex_unlock(&mMutex); }總結
以上是生活随笔為你收集整理的【Android RTMP】x264 图像数据编码 ( Camera 图像数据采集 | NV21 图像数据传到 Native 处理 | JNI 传输字节数组 | 局部引用变量处理 | 线程互斥 )的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【Android RTMP】x264 编
- 下一篇： 【Android RTMP】x264 图