FFmpeg+OpenCV 讀取攝像頭

提供兩種方式使用 FFmpeg 從攝像頭中讀取數據，并使用 OpenCV 顯示視頻幀。

讀取攝像頭

方法一

void VideoCapture() {avdevice_register_all();AVFormatContext *context = avformat_alloc_context();AVInputFormat *inputFormat = av_find_input_format("dshow");// 這里的 video=Logitech Webcam C930e 需要填寫你自己的攝像頭信息// 可以在終端下使用 ffmpeg -list_devices true -f dshow -i dummy 查看avformat_open_input(&context, "video=Logitech Webcam C930e", inputFormat, nullptr);int video_index = av_find_best_stream(context, AVMEDIA_TYPE_VIDEO, -1, -1, nullptr, 0);if (video_index == -1) {printf("Could not find a video stream");avformat_close_input(&context);return;}// 獲取流參數AVCodecParameters *params = context->streams[video_index]->codecpar;// 獲取解碼器AVCodec *codec = avcodec_find_decoder(params->codec_id);// 初始化一個解碼器的上下文AVCodecContext *codecContext = avcodec_alloc_context3(codec);if (avcodec_parameters_to_context(codecContext, params) != 0) {printf("Could not copy codec context");avformat_close_input(&context);return;}avcodec_open2(codecContext, codec, nullptr);AVFrame *frame = av_frame_alloc();AVFrame *frameYUV = av_frame_alloc();int width = codecContext->width;int height = codecContext->height;// 聲明圖像的空間用以保存 YUV 圖像auto* out_buffer = (unsigned char*)av_malloc(av_image_get_buffer_size(AV_PIX_FMT_YUV420P, width, height, 1));av_image_fill_arrays(frameYUV->data, frameYUV->linesize, (const uint8_t*)out_buffer,AV_PIX_FMT_YUV420P, width, height, 1);AVPacket packet;struct SwsContext *swsContext;swsContext = sws_getContext(width, height, codecContext->pix_fmt,width, height, AV_PIX_FMT_YUV420P, SWS_BICUBIC,nullptr, nullptr, nullptr);while (av_read_frame(context, &packet) >= 0) {if (packet.stream_index == video_index) {avcodec_send_packet(codecContext, &packet);while (avcodec_receive_frame(codecContext, frame) == 0) {// 將解碼后的圖片轉換為 YUV 格式sws_scale(swsContext, (const unsigned char* const *)frame->data, frame->linesize, 0,height, frameYUV->data, frameYUV->linesize);int size = width * height;// FFmpeg frame 轉換為 OpenCV Matcv::Mat img = cv::Mat::zeros(height * 3 / 2, width, CV_8UC1);memcpy(img.data, frameYUV->data[0], size);memcpy(img.data + width * height, frameYUV->data[1], size / 4);memcpy(img.data + width * height * 5 / 4, frameYUV->data[2], size / 4);cv::cvtColor(img, img, CV_YUV2BGR_I420);cv::imshow("__main__", img);cv::waitKey(1);}}av_packet_unref(&packet);}// 釋放資源av_frame_free(&frame);avcodec_close(codecContext);avcodec_parameters_free(&params);avformat_close_input(&context); }

方法二

void VideoCapture() {AVFormatContext *context = avformat_alloc_context();AVInputFormat *inputFormat = av_find_input_format("dshow");avformat_open_input(&context, "video=Logitech Webcam C930e", inputFormat, nullptr);int video_index = av_find_best_stream(context, AVMEDIA_TYPE_VIDEO, -1, -1, nullptr, 0);if (video_index == -1) {printf("Could not find a video stream");avformat_close_input(&context);return;}// 獲取流參數AVCodecParameters *params = context->streams[video_index]->codecpar;// 獲取解碼器AVCodec *codec = avcodec_find_decoder(params->codec_id);// 初始化一個解碼器的上下文AVCodecContext *codecContext = avcodec_alloc_context3(codec);if (avcodec_parameters_to_context(codecContext, params) != 0) {printf("Could not copy codec context");avformat_close_input(&context);return;}avcodec_open2(codecContext, codec, nullptr);AVFrame *frame = av_frame_alloc();int width = codecContext->width;int height = codecContext->height;AVPacket packet;while (av_read_frame(context, &packet) >= 0) {if (packet.stream_index == video_index) {avcodec_send_packet(codecContext, &packet);while (avcodec_receive_frame(codecContext, frame) == 0) {// AVFrameToCVMat 的實現可以看下方 FFmpeg 轉為 Mat 中的代碼cv::Mat img(AVFrameToCVMat(frame));cv::imshow("__main__", img);cv::waitKey(1);}}av_packet_unref(&packet);}av_frame_free(&frame);avcodec_close(codecContext);avcodec_parameters_free(&params);avformat_close_input(&context); }

FFmpeg frame 轉換為 OpenCV Mat

方法一

AVFrame* frameYUV; /** * ... 處理 YUV 格式的 AVFrame */ cv::Mat img = cv::Mat::zeros(height * 3 / 2, width, CV_8UC1); memcpy(img.data, frameYUV->data[0], size); memcpy(img.data + width * height, frameYUV->data[1], size / 4); memcpy(img.data + width * height * 5 / 4, frameYUV->data[2], size / 4);

方法二

轉載自 https://zhuanlan.zhihu.com/p/80350418

cv::Mat AVFrameToCVMat(const AVFrame* frame) {int width = frame->width;int height = frame->height;cv::Mat image(height, width, CV_8UC3);int cv_lines_sizes[1];cv_lines_sizes[0] = image.step1();SwsContext* conversion = sws_getContext(width, height, (AVPixelFormat)frame->format,width, height, AV_PIX_FMT_BGR24, SWS_FAST_BILINEAR,nullptr, nullptr, nullptr);sws_scale(conversion, frame->data, frame->linesize, 0, height, &image.data, cv_lines_sizes);sws_freeContext(conversion);return image; }

聲明一個 YUV 圖像的空間

聲明一個 YUV 圖像的空間，該空間用作將讀取的視頻幀轉換為 YUV 格式。如果沒有這個空間會顯示 bad dst image pointer。

// 聲明圖像的空間用以保存 YUV 圖像auto* out_buffer = (unsigned char*)av_malloc(av_image_get_buffer_size(AV_PIX_FMT_YUV420P, width, height, 1));av_image_fill_arrays(frameYUV->data, frameYUV->linesize, (const uint8_t*)out_buffer,AV_PIX_FMT_YUV420P, width, height, 1);

顯示效果

總結

以上是生活随笔為你收集整理的FFmpeg+OpenCV 读取摄像头的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。