文章目錄

• 安卓直播推流專欄博客總結
• 一、 后置攝像頭順時針旋轉 90 度
• 二、 前置攝像頭順時針旋轉 90 度
• 三、 NV21 格式圖像旋轉代碼

安卓直播推流專欄博客總結

---

Android RTMP 直播推流技術專欄 :

0 . 資源和源碼地址 :

• 資源下載地址 : 資源下載地址 , 服務器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫 , 本專欄 Android 直播推流源碼 ;
• GitHub 源碼地址 : han1202012 / RTMP_Pusher

1. 搭建 RTMP 服務器 : 下面的博客中講解了如何在 VMWare 虛擬機中搭建 RTMP 直播推流服務器 ;

• 【Android RTMP】RTMP 直播推流服務器搭建 ( Ubuntu 18.04.4 虛擬機 )

2. 準備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數據包封裝開源庫 :

• 【Android RTMP】RTMPDumb 源碼導入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構建腳本 )

• 【Android RTMP】Android Studio 集成 x264 開源庫 ( Ubuntu 交叉編譯 | Android Studio 導入函數庫 )

3. 講解 RTMP 數據包封裝格式 :

• 【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標簽 Tag 分析 | 視頻標簽 Tag 數據分析 )

• 【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 )

4. 圖像數據采集 : 從 Camera 攝像頭中采集 NV21 格式的圖像數據 , 并預覽該數據 ;

• 【Android RTMP】Android Camera 視頻數據采集預覽 ( 視頻采集相關概念 | 攝像頭預覽參數設置 | 攝像頭預覽數據回調接口 )

• 【Android RTMP】Android Camera 視頻數據采集預覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對比 | NV21 轉 I420 算法 )

• 【Android RTMP】Android Camera 視頻數據采集預覽 ( 圖像傳感器方向設置 | Camera 使用流程 | 動態(tài)權限申請 )

5. NV21 格式的圖像數據編碼成 H.264 格式的視頻數據 :

• 【Android RTMP】x264 編碼器初始化及設置 ( 獲取 x264 編碼參數 | 編碼規(guī)格 | 碼率 | 幀率 | B幀個數 | 關鍵幀間隔 | 關鍵幀解碼數據 SPS PPS )

• 【Android RTMP】x264 圖像數據編碼 ( Camera 圖像數據采集 | NV21 圖像數據傳到 Native 處理 | JNI 傳輸字節(jié)數組 | 局部引用變量處理 | 線程互斥 )

• 【Android RTMP】x264 圖像數據編碼 ( NV21 格式中的 YUV 數據排列 | Y 灰度數據拷貝 | U 色彩值數據拷貝 | V 飽和度數據拷貝 | 圖像編碼操作 )

6. 將 H.264 格式的視頻數據封裝到 RTMP 數據包中 :

• 【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 封裝 SPS / PPS 數據包 )

• 【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 關鍵幀數據格式 | 非關鍵幀數據格式 | x264 編碼后的數據處理 | 封裝 H.264 視頻數據幀 )

• 【Android RTMP】RTMPDump 推流過程 ( 獨立線程推流 | 創(chuàng)建推流器 | 初始化操作 | 設置推流地址 | 啟用寫出 | 連接 RTMP 服務器 | 發(fā)送 RTMP 數據包 )

7. 階段總結 : 阿里云服務器中搭建 RTMP 服務器 , 并使用電腦軟件推流和觀看直播內容 ;

• 【Android RTMP】RTMP 直播推流 ( 阿里云服務器購買 | 遠程服務器控制 | 搭建 RTMP 服務器 | 服務器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 )

• 【Android RTMP】RTMP 直播推流階段總結 ( 服務器端搭建 | Android 手機端編碼推流 | 電腦端觀看直播 | 服務器狀態(tài)查看 )

8. 處理 Camera 圖像傳感器導致的 NV21 格式圖像旋轉問題 :

• 【Android RTMP】NV21 圖像旋轉處理 ( 問題描述 | 圖像順時針旋轉 90 度方案 | YUV 圖像旋轉細節(jié) | 手機屏幕旋轉方向 )

• 【Android RTMP】NV21 圖像旋轉處理 ( 圖像旋轉算法 | 后置攝像頭順時針旋轉 90 度 | 前置攝像頭順時針旋轉 90 度 )

9. 下面這篇博客比較重要 , 里面有一個快速搭建 RTMP 服務器的腳本 , 強烈建議使用 ;

• 【Android RTMP】NV21 圖像旋轉處理 ( 快速搭建 RTMP 服務器 Shell 腳本 | 創(chuàng)建 RTMP 服務器鏡像 | 瀏覽器觀看直播 | 前置 / 后置攝像頭圖像旋轉效果展示 )

10. 編碼 AAC 音頻數據的開源庫 FAAC 交叉編譯與 Android Studio 環(huán)境搭建 :

• 【Android RTMP】音頻數據采集編碼 ( 音頻數據采集編碼 | AAC 高級音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 )

• 【Android RTMP】音頻數據采集編碼 ( FAAC 頭文件與靜態(tài)庫拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻采樣 PCM 格式 )

11. 解析 AAC 音頻格式 :

• 【Android RTMP】音頻數據采集編碼 ( AAC 音頻格式解析 | FLV 音頻數據標簽解析 | AAC 音頻數據標簽頭 | 音頻解碼配置信息 )

12 . 將麥克風采集的 PCM 音頻采樣編碼成 AAC 格式音頻 , 并封裝到 RTMP 包中 , 推流到客戶端 :

• 【Android RTMP】音頻數據采集編碼 ( FAAC 音頻編碼參數設置 | FAAC 編碼器創(chuàng)建 | 獲取編碼器參數 | 設置 AAC 編碼規(guī)格 | 設置編碼器輸入輸出參數 )

• 【Android RTMP】音頻數據采集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )

• 【Android RTMP】音頻數據采集編碼 ( FAAC 編碼器編碼 AAC 音頻采樣數據 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )

---

Android 直播推流流程 : 手機采集視頻 / 音頻數據 , 視頻數據使用 H.264 編碼 , 音頻數據使用 AAC 編碼 , 最后將音視頻數據都打包到 RTMP 數據包中 , 使用 RTMP 協議上傳到 RTMP 服務器中 ;

Android 端中主要完成手機端采集視頻數據操作 , 并將視頻數據傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉為 H.264 格式的視頻 , 最后將 H.264 格式的視頻打包到 RTMP 數據包中 , 上傳到 RTMP 服務器中 ;

本博客中實現將 NV21 圖像順時針旋轉 90 度的算法 , 后置攝像頭需要順時針旋轉 90 度, 前置攝像頭與后置攝像頭相反 , 需要逆時針旋轉 90 度 ;

一、 后置攝像頭順時針旋轉 90 度

---

1 . NV21 格式圖像數據的排列 : $16$ 個 Y 灰度數據在前 , 然后 $4$ 組 ( $8$ 個 ) VU 色彩值 , 飽和度 , 數據交替存放 ;

$$?\begin{array}{cccc}y1& y2& y3& y4\\ & & & \\ y5& y6& y7& y8\\ & & & \\ y9& y10& y11& y12\\ & & & \\ y13& y14& y15& y16\\ & & & \\ v1& u1& v2& u2\\ & & & \\ v3& u3& v4& u4\end{array}?$$

2 . NV21 格式的圖像的 YUV 值順時針旋轉 90 度后的 YUV 矩陣為 :

$$?\begin{array}{cccc}y13& y9& y5& y1\\ & & & \\ y14& y10& y6& y2\\ & & & \\ y15& y11& y7& y3\\ & & & \\ y16& y12& y8& y4\\ & & & \\ v3& u3& v1& u1\\ & & & \\ v4& u4& v2& u2\end{array}?$$

3 . 灰度值 Y 數據讀取順序 :

① 外層循環(huán) : 逐行遍歷, 從第一行遍歷到最后一行, 從 0 到 mWidth - 1 ;

② 內存循環(huán) : 遍歷每一行時, 從底部遍歷到頂部, 從 mHeight - 1 到 0 ;

for (int i = 0; i < mWidth; i++) {// 第 i 行, 從每一列的最后一個像素 ( 索引 mHeight - 1 ) 遍歷到第一個像素 ( 索引 0 )for (int j = mHeight - 1; j >= 0; j--) {// 將讀取到的 Y 灰度值存儲到 mNv21DataBuffer 緩沖區(qū)中mNv21DataBuffer[positionIndex++] = data[mWidth * j + i];} }

4 . 飽和度 色彩值 UV 數據讀取順序 :

① 數據高度個數 : Y 數據的高度與圖像高度相等 , UV 數據高度相當于 Y 數據高度的一半 ;

② UV 數據排列 : V 色彩值在前, U 飽和度在后, UV 數據交替排列 , 一行 mWidth 中, 排布了 mWidth / 2 組 UV 數據 ;

③ UV 數據組有 mWidth / 2 行, mHeight / 2 列, 因此遍歷時, 有如下規(guī)則 :

• 按照行遍歷 : 遍歷 mWidth / 2 次
• 按照列遍歷 : 遍歷 mHeight / 2 次

④ 外層遍歷 : 每隔 2 行, 遍歷一次, 遍歷 mWidth / 2 次 ; 遍歷行從 0 到 mWidth / 2 - 1 ;

⑤ 內層遍歷 : UV 數據也需要倒著讀 , 從 mHeight / 2 - 1 遍歷到 0 ;

for (int i = 0; i < mWidth / 2; i ++) {for (int j = UVByteHeight - 1; j >= 0; j--) {// 讀取數據時, 要從 YByteCount 之后的數據開始遍歷// 使用 mWidth 和 UVByteHeight 定位要遍歷的位置// 拷貝 V 色彩值數據mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i];// 拷貝 U 飽和度數據mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i + 1];} }

二、 前置攝像頭順時針旋轉 90 度

---

1 . NV21 格式圖像數據的排列 : $16$ 個 Y 灰度數據在前 , 然后 $4$ 組 ( $8$ 個 ) VU 色彩值 , 飽和度 , 數據交替存放 ;

$$?\begin{array}{cccc}y1& y2& y3& y4\\ & & & \\ y5& y6& y7& y8\\ & & & \\ y9& y10& y11& y12\\ & & & \\ y13& y14& y15& y16\\ & & & \\ v1& u1& v2& u2\\ & & & \\ v3& u3& v4& u4\end{array}?$$

2 . NV21 格式的圖像的 YUV 值逆時針旋轉 90 度后的 YUV 矩陣為 :

$$?\begin{array}{cccc}y4& y8& y12& y16\\ & & & \\ y3& y7& y11& y15\\ & & & \\ y2& y6& y10& y14\\ & & & \\ y1& y5& y9& y13\\ & & & \\ v2& u2& v4& u4\\ & & & \\ v1& u1& v3& u3\end{array}?$$

3 . 灰度值 Y 數據讀取順序 :

① 外層循環(huán) : 逐行遍歷, 從最后一行遍歷到第一行, 從 mWidth - 1 到 0 ;

② 內存循環(huán) : 遍歷第 i 行時, 從頂部遍歷到底部, 從 0 到 mHeight - 1

for (int i = mWidth - 1; i >= 0; i--) {// 第 i 行, 從每一列的最后一個像素 ( 索引 mHeight - 1 ) 遍歷到第一個像素 ( 索引 0 )for (int j = 0; j < mHeight; j++) {// 將讀取到的 Y 灰度值存儲到 mNv21DataBuffer 緩沖區(qū)中mNv21DataBuffer[positionIndex++] = data[mWidth * j + i];} }

4 . 飽和度 色彩值 UV 數據讀取順序 :

① 數據高度個數 : Y 數據的高度與圖像高度相等 , UV 數據高度相當于 Y 數據高度的一半 ;

② UV 數據排列 : V 色彩值在前, U 飽和度在后, UV 數據交替排列 , 一行 mWidth 中, 排布了 mWidth / 2 組 UV 數據 ;

③ UV 數據組有 mWidth / 2 行, mHeight / 2 列, 因此遍歷時, 有如下規(guī)則 :

• 按照行遍歷 : 遍歷 mWidth / 2 次
• 按照列遍歷 : 遍歷 mHeight / 2 次

④ 外層遍歷 : 每隔 2 行, 遍歷一次, 遍歷 mWidth / 2 次 ; 遍歷行從mWidth / 2 - 1 到 0 ;

⑤ 內層遍歷 : UV 數據也需要倒著讀 , 從 0 遍歷到 mHeight / 2 - 1 ;

for (int i = mWidth / 2 - 1; i >= 0 ; i --) {for (int j = 0; j < UVByteHeight; j++) {// 讀取數據時, 要從 YByteCount 之后的數據開始遍歷// 使用 mWidth 和 UVByteHeight 定位要遍歷的位置// 拷貝 V 色彩值數據mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i];// 拷貝 U 飽和度數據mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i + 1];} }

三、 NV21 格式圖像旋轉代碼

---

/*** 將 NV21 格式的圖片數據順時針旋轉 90 度* 后置攝像頭順時針旋轉 90 度* 前置攝像頭逆時針旋轉 90 度* @param data*/private void nv21PictureDataClockwiseRotation90(byte[] data){// Y 灰度數據的個數int YByteCount = mWidth * mHeight;// 色彩度 U, 飽和度 V 數據高度int UVByteHeight = mHeight / 2;// 色彩度 U, 飽和度 V 數據個數int UVByteCount = YByteCount / 4;// 數據處理索引值, 用于記錄寫入到 mNv21DataBuffer 中的元素個數// 及下一個將要寫入的元素的索引int positionIndex = 0;/*后置攝像頭處理后置攝像頭需要將圖像順時針旋轉 90 度*/if(mCameraFacing == Camera.CameraInfo.CAMERA_FACING_BACK){/*讀取 Y 灰度數據順時針旋轉 90 度外層循環(huán) : 逐行遍歷, 從第一行遍歷到最后一行內存循環(huán) : 遍歷每一行時, 從底部遍歷到頂部*/for (int i = 0; i < mWidth; i++) {// 第 i 行, 從每一列的最后一個像素 ( 索引 mHeight - 1 ) 遍歷到第一個像素 ( 索引 0 )for (int j = mHeight - 1; j >= 0; j--) {// 將讀取到的 Y 灰度值存儲到 mNv21DataBuffer 緩沖區(qū)中mNv21DataBuffer[positionIndex++] = data[mWidth * j + i];}}/*讀取 UV 數據Y 數據的高度與圖像高度相等UV 數據高度相當于 Y 數據高度的一半UV 數據排列 : V 色彩值在前, U 飽和度在后, UV 數據交替排列UV 數據交替排列, 一行 mWidth 中, 排布了 mWidth / 2 組 UV 數據UV 數據組有 mWidth / 2 行, mHeight / 2 列, 因此遍歷時, 有如下規(guī)則 :按照行遍歷 : 遍歷 mWidth / 2 次按照列遍歷 : 遍歷 mHeight / 2 次外層遍歷 : 遍歷行從 0 到 mWidth / 2外層按照行遍歷時, 每隔 2 行, 遍歷一次, 遍歷 mWidth / 2 次內層遍歷時 : 遍歷列, 從 mHeight / 2 - 1 遍歷到 0UV 數據也需要倒著讀 , 從 mHeight / 2 - 1 遍歷到 0*/for (int i = 0; i < mWidth / 2; i ++) {for (int j = UVByteHeight - 1; j >= 0; j--) {// 讀取數據時, 要從 YByteCount 之后的數據開始遍歷// 使用 mWidth 和 UVByteHeight 定位要遍歷的位置// 拷貝 V 色彩值數據mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i];// 拷貝 U 飽和度數據mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i + 1];}}}else if(mCameraFacing == Camera.CameraInfo.CAMERA_FACING_FRONT){/*前置攝像頭處理前置攝像頭與后置攝像頭相反, 后置攝像頭順時針旋轉 90 度前置攝像頭需要將圖像逆時針旋轉 90 度*//*讀取 Y 灰度數據逆時針旋轉 90 度外層循環(huán) : 逐行遍歷, 從最后一行遍歷到第一行, 從 mWidth - 1 到 0內存循環(huán) : 遍歷第 i 行時, 從頂部遍歷到底部, 從 0 到 mHeight - 1*/for (int i = mWidth - 1; i >= 0; i--) {// 第 i 行, 從每一列的最后一個像素 ( 索引 mHeight - 1 ) 遍歷到第一個像素 ( 索引 0 )for (int j = 0; j < mHeight; j++) {// 將讀取到的 Y 灰度值存儲到 mNv21DataBuffer 緩沖區(qū)中mNv21DataBuffer[positionIndex++] = data[mWidth * j + i];}}/*讀取 UV 數據Y 數據的高度與圖像高度相等UV 數據高度相當于 Y 數據高度的一半UV 數據排列 : V 色彩值在前, U 飽和度在后, UV 數據交替排列UV 數據交替排列, 一行 mWidth 中, 排布了 mWidth / 2 組 UV 數據UV 數據組有 mWidth / 2 行, mHeight / 2 列, 因此遍歷時, 有如下規(guī)則 :按照行遍歷 : 遍歷 mWidth / 2 次按照列遍歷 : 遍歷 mHeight / 2 次外層遍歷 : 遍歷行從 mWidth / 2 - 1 到 0外層按照行遍歷時, 每隔 2 行, 遍歷一次, 遍歷 mWidth / 2 次內層遍歷時 : 遍歷列, 從 0 遍歷到 mHeight / 2 - 1UV 數據也需要倒著讀 , 從 0 遍歷到 mHeight / 2 - 1*/for (int i = mWidth / 2 - 1; i >= 0 ; i --) {for (int j = 0; j < UVByteHeight; j++) {// 讀取數據時, 要從 YByteCount 之后的數據開始遍歷// 使用 mWidth 和 UVByteHeight 定位要遍歷的位置// 拷貝 V 色彩值數據mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i];// 拷貝 U 飽和度數據mNv21DataBuffer[positionIndex++] = data[YByteCount + mWidth / 2 * 2 * j + i + 1];}}}}

總結

以上是生活随笔為你收集整理的【Android RTMP】NV21 图像旋转处理 ( 图像旋转算法 | 后置摄像头顺时针旋转 90 度 | 前置摄像头顺时针旋转 90 度 )的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。