当前位置： 首页 > news >正文

OpenCV 视频处理与摄像头操作详解

news 2025/7/15 7:52:11

1. 引言

大家都来写OpenCV😊，学的好开心！

2. 视频基础与OpenCV简介

2.1 视频的定义

视频（Video）是由一系列静态图像（帧）以一定速率连续播放形成的动态影像。其本质是利用人眼的视觉暂留效应，将静止的画面转化为连续的动态内容。视频通常包含画面、音频轨道，有时还包括字幕、特效等信息。

视频的主要应用领域
  • 影视娱乐
  • 教育培训
  • 安防监控
  • 通信与直播
  • 自动驾驶与智能交通

2.2 OpenCV简介

OpenCV（Open Source Computer Vision Library）是一个跨平台的计算机视觉和机器学习软件库，支持C++、Python等多种语言。它为视频处理、图像分析、机器学习等任务提供了高效的算法和接口。

3. 视频读写

3.1 视频的基本操作

图片转视频

将多张图片按顺序和时间间隔组合，添加转场、音乐、字幕等，生成视频。例如旅游纪念视频、照片合成动画等。

视频转图片

从视频中提取特定帧作为图片，用于精彩瞬间捕捉、视频封面、画面分析等。例如电影剧照、运动分析等。

3.2 OpenCV读取视频详解

OpenCV通过cv::VideoCapture类实现视频文件或摄像头流的读取。

代码示例
#include <opencv2/opencv.hpp>#include <iostream>using namespace cv;using namespace std;int main(){//1 指定视频文件路径创建VideoCapture VideoCapture cap("C:/Users/Administrator/Desktop/video/cat.mp4");//2 判断是否成功打开视频if (!cap.isOpened()){cout << "视频打开失败!" << endl;return -1;}//3 获取视频基本信息double width = cap.get(CAP_PROP_FRAME_WIDTH);double height = cap.get(CAP_PROP_FRAME_HEIGHT);double count = cap.get(CAP_PROP_FRAME_COUNT);double fps = cap.get(CAP_PROP_FPS);cout << "视频的宽=" << width << endl;cout << "视频的高=" << height << endl;cout << "视频的总帧数=" << count << endl;cout << "视频的fps=" << fps << endl;//4 逐帧读取视频并展示Mat frame;width = width * 0.2;height = height * 0.2;while (true){cap >> frame;if (frame.empty()){break;}Mat dst;resize(frame, dst, Size(width,height));Mat gray;cvtColor(dst, gray, COLOR_BGR2GRAY);imshow("video", dst);imshow("gray video", gray);if (waitKey(1000/fps) == 27){break;}}//5 释放资源cap.release();destroyAllWindows();return 0;}
视频属性表
属性名说明类型示例值
CAP_PROP_FRAME_WIDTH视频帧宽度（像素）double1920
CAP_PROP_FRAME_HEIGHT视频帧高度（像素）double1080
CAP_PROP_FPS视频帧率（帧/秒）double30.0
CAP_PROP_FRAME_COUNT视频总帧数double2500
CAP_PROP_POS_FRAMES当前帧索引（从0开始）double100
CAP_PROP_POS_MSEC当前时间戳（毫秒）double3500.0
CAP_PROP_FOURCC编解码器FourCC代码double1196444237
CAP_PROP_BRIGHTNESS摄像头亮度（仅摄像头有效）double0.5
CAP_PROP_CONTRAST摄像头对比度double0.3
CAP_PROP_SATURATION摄像头饱和度double0.8
CAP_PROP_EXPOSURE摄像头曝光值double-4.0
CAP_PROP_AUTOFOCUS自动对焦是否开启double1.0

3.3 视频保存与编码格式

OpenCV通过cv::VideoWriter类实现视频录制与保存。

FourCC编码格式
  • 'MJPG'：Motion-JPEG，常用于.avi文件
  • 'XVID'：XVID编码，适用于.avi文件
  • 'H264'：H.264编码，适用于.mp4文件（需安装OpenH264库）
视频保存代码示例
void writeVideo(VideoCapture& cap){cv::String fileName = "C:/Users/Administrator/Desktop/video/temp.avi";int fourcc = VideoWriter::fourcc('M', 'J', 'P', 'G');double width = cap.get(CAP_PROP_FRAME_WIDTH);double height = cap.get(CAP_PROP_FRAME_HEIGHT);double fps = cap.get(CAP_PROP_FPS);VideoWriter writer(fileName,fourcc,fps,Size(width,height),false);if (!writer.isOpened()){cout << "视频文件打开失败!" << endl;return;}Mat src;while (true){cap >> src;if (src.empty()){break;}Mat gray;cvtColor(src, gray, COLOR_BGR2GRAY);writer.write(gray);if (waitKey(30) == 27){break;}}cout << "已经成功保存视频" << endl;writer.release();}
视频保存流程
  1. 创建VideoWriter对象，指定文件名、编码格式、帧率、分辨率、是否彩色
  2. 判断文件是否成功打开
  3. 逐帧写入视频
  4. 释放资源

4. 视频追踪

4.1 视频追踪定义与应用

视频追踪（Video Tracking）是指在连续的视频帧中定位并跟踪特定目标（如人脸、车辆）的运动轨迹。广泛应用于：

  • 安防监控
  • 自动驾驶
  • 人机交互
  • 运动分析
视频追踪流程
  1. 目标检测：识别并定位目标
  2. 特征提取：提取目标特征（颜色、形状、纹理等）
  3. 模型更新：适应目标外观变化
  4. 位置预测与校正：预测目标位置并校正

4.2 Meanshift算法原理与实现

Meanshift算法定义

Meanshift是一种基于密度估计的非参数化聚类算法，广泛用于目标追踪。其核心思想是通过迭代将搜索窗口向目标区域的颜色直方图分布中心移动，实现目标定位。

直方图反向投影

直方图反向投影是指将目标区域的颜色分布映射到整幅图像，得到每个像素属于目标的概率图。

反向投影流程
  1. 选定目标区域，计算HSV直方图
  2. 对每一帧计算直方图
  3. 对比直方图，得到相似度
  4. 生成概率图，作为Meanshift输入
Meanshift代码解析
void meanshiftTest(VideoCapture& cap){Mat frame;cap >> frame;if (frame.empty()){cout << "无法读取视频帧" << endl;return;}Rect roi = selectROI("请选择追踪目标",frame,false);if (roi.width <= 0 || roi.height <= 0){cout << "已取消选择roi区域" << endl;return;}Mat target = frame(roi).clone();imshow("target", target);Mat hsv_target;cvtColor(target, hsv_target, COLOR_BGR2HSV);Mat mask;inRange(hsv_target, Scalar(0, 30, 0), Scalar(180, 255, 255), mask);int histSize = 180;float range[] = { 0,180 };const float* histRange = { range };Mat hist_target;int channels[] = { 0 };calcHist(&hsv_target, 1, channels, mask, hist_target, 1, &histSize, &histRange);normalize(hist_target, hist_target, 0,255, NORM_MINMAX);TermCriteria criteria(TermCriteria::EPS | TermCriteria::COUNT, 10, 1);while (true){cap >> frame;if (frame.empty()){break;}Mat hsvFrame;cvtColor(frame, hsvFrame, COLOR_BGR2HSV);Mat back;calcBackProject(&hsvFrame, 1, channels, hist_target, back,&histRange);meanShift(back, roi, criteria);rectangle(frame, roi, Scalar(0, 255, 0));imshow("视频追踪", frame);if (waitKey(30) == 27){break;}}}
关键函数说明
  • selectROI：手动选择目标区域
  • calcHist：计算目标区域颜色直方图
  • normalize：归一化直方图
  • calcBackProject：计算反向投影概率图
  • meanShift：执行Meanshift迭代，更新目标位置
TermCriteria参数说明
参数类型说明
TermCriteria::EPS收敛到指定精度时终止
TermCriteria::COUNT达到最大迭代次数时终止
10最大迭代次数
1精度阈值（像素）

4.3 Camshift算法原理与实现

Camshift算法定义

Camshift（Continuously Adaptive Mean Shift）是Meanshift的改进版，能自适应调整搜索窗口的大小和方向，适合目标尺度和方向变化明显的场景。

Camshift实现流程
  1. 初始化目标模型，计算颜色直方图
  2. 定义搜索窗口
  3. 执行Meanshift迭代
  4. 根据目标分布调整窗口大小和方向
  5. 更新窗口位置，输出最佳拟合椭圆
Camshift代码解析
void camshiftTest(VideoCapture& cap){Mat frame;cap >> frame;if (frame.empty()){cout << "无法读取视频帧" << endl;return;}Rect roi = selectROI("请选择追踪目标", frame, false);if (roi.width <= 0 || roi.height <= 0){cout << "已取消选择roi区域" << endl;return;}Mat target = frame(roi).clone();imshow("target", target);Mat hsv_target;cvtColor(target, hsv_target, COLOR_BGR2HSV);Mat mask;inRange(hsv_target, Scalar(0, 60, 32), Scalar(180, 255, 255), mask);int histSize = 180;float range[] = { 0,180 };const float* histRange = { range };Mat hist_target;int channels[] = { 0 };calcHist(&hsv_target, 1, channels, mask, hist_target, 1, &histSize, &histRange);normalize(hist_target, hist_target, 0, 255, NORM_MINMAX);TermCriteria criteria(TermCriteria::EPS | TermCriteria::COUNT, 10, 1);while (true){cap >> frame;if (frame.empty()){break;}Mat hsvFrame;cvtColor(frame, hsvFrame, COLOR_BGR2HSV);Mat back;calcBackProject(&hsvFrame, 1, channels, hist_target, back, &histRange);RotatedRect trackBox = CamShift(back, roi, criteria);rectangle(frame, roi, Scalar(0, 255, 0));//ellipse(frame, trackBox, Scalar(0, 0, 255), 2);imshow("视频追踪", frame);if (waitKey(30) == 27){break;}}}
Camshift返回值说明
  • RotatedRect：最佳拟合椭圆，包含中心位置、大小、旋转角度

4.4 Meanshift与Camshift对比分析

算法窗口大小适应目标变化适用场景实时性输出信息
Meanshift固定不适应目标大小不变极高位置
Camshift自适应适应目标尺度/方向变化较高位置+大小+方向
选择建议
  • 优先Meanshift：目标大小和方向基本不变，对实时性要求极高
  • 优先Camshift：目标尺度或方向变化明显，需要输出目标朝向信息

5. 摄像头实时处理

5.1 实时处理定义与应用

摄像头实时处理是指通过摄像头捕获视频流，对每一帧图像进行即时处理和分析，并实时显示或反馈结果。应用包括：

  • 实时人脸检测
  • 运动物体追踪
  • 增强现实（AR）效果

5.2 摄像头实时捕获与处理流程

  1. 打开摄像头（cv::VideoCapture）
  2. 逐帧读取视频流
  3. 对每一帧进行处理（如灰度化、边缘检测等）
  4. 实时显示处理结果（cv::imshow）
  5. 释放资源
摄像头实时处理代码解析
void cameraTest(){VideoCapture cap(0);cap.set(CAP_PROP_FRAME_WIDTH,680);cap.set(CAP_PROP_FRAME_HEIGHT, 480);Mat frame;while (true){cap >> frame;if (frame.empty()){cout << "无法读取摄像头帧" << endl;break;}Mat gray;cvtColor(frame, gray, COLOR_BGR2GRAY);imshow("实时帧", frame);imshow("灰度帧", gray);if (waitKey(30) == 27){break;}}cap.release();destroyAllWindows();}

5.3 实时视频处理应用举例

5.3.1 实时跟踪

利用Meanshift或Camshift算法对摄像头捕获内容进行实时目标跟踪。

void camShiftCameraTest(){VideoCapture cap(0);Mat frame;cap >> frame;if (frame.empty()){cout << "无法读取视频帧" << endl;return;}Rect roi = selectROI("请选择追踪目标", frame, false);if (roi.width <= 0 || roi.height <= 0){cout << "已取消选择roi区域" << endl;return;}Mat target = frame(roi).clone();imshow("target", target);Mat hsv_target;cvtColor(target, hsv_target, COLOR_BGR2HSV);Mat mask;inRange(hsv_target, Scalar(0, 60, 32), Scalar(180, 255, 255), mask);int histSize = 180;float range[] = { 0,180 };const float* histRange = { range };Mat hist_target;int channels[] = { 0 };calcHist(&hsv_target, 1, channels, mask, hist_target, 1, &histSize, &histRange);normalize(hist_target, hist_target, 0, 255, NORM_MINMAX);TermCriteria criteria(TermCriteria::EPS | TermCriteria::COUNT, 10, 1);while (true){cap >> frame;if (frame.empty()){break;}Mat hsvFrame;cvtColor(frame, hsvFrame, COLOR_BGR2HSV);Mat back;calcBackProject(&hsvFrame, 1, channels, hist_target, back, &histRange);RotatedRect trackBox = CamShift(back, roi, criteria);rectangle(frame, roi, Scalar(0, 255, 0));//ellipse(frame, trackBox, Scalar(0, 0, 255), 2);imshow("视频追踪", frame);if (waitKey(30) == 27){break;}}destroyAllWindows();}
5.3.2 实时边缘检测

通过摄像头实时捕获视频，使用Canny算法提取图像边缘。
​​​​​

void cameraCannyTest(){VideoCapture cap(0);cap.set(CAP_PROP_FRAME_WIDTH, 680);cap.set(CAP_PROP_FRAME_HEIGHT, 480);Mat frame;while (true){cap >> frame;if (frame.empty()){cout << "无法读取摄像头帧" << endl;break;}Mat gray;cvtColor(frame, gray, COLOR_BGR2GRAY);Mat blur;GaussianBlur(gray, blur, Size(3, 3),1.5);Mat dst;Canny(blur, dst, 50, 150);imshow("实时帧", frame);imshow("边缘检测", dst);if (waitKey(30) == 27){break;}}cap.release();destroyAllWindows();}
5.3.3 其他应用

摄像头实时捕获内容不仅能做跟踪和边缘检测，还可用于：

  • 实时人脸识别
  • 实时手势识别
  • 实时目标分割
  • 实时AR效果叠加

6. 总结与展望

好学，爱学，还得学！

http://www.lryc.cn/news/587856.html

相关文章：

  • MySQL Innodb Cluster配置
  • 【CV综合实战】基于深度学习的工业压力表智能检测与读数系统【3】使用OpenCV读取分割后的压力表读数
  • DiffDet4SAR——首次将扩散模型用于SAR图像目标检测，来自2024 GRSL（ESI高被引1%论文）
  • vue-v-model进阶-ref-nextTick
  • 网络安全核心定律
  • 5G 到 6G通信技术的革新在哪里？
  • libimagequant windows 编译
  • 基于Python的就业数据获取与分析预测系统的设计与实现
  • Boost.Asio 异步写：为什么多次 async_write_some 会导致乱序，以及如何解决
  • 机器学习中的朴素贝叶斯（Naive Bayes）模型
  • 微软发布BioEmu模型
  • Web3：Foundry使用指南
  • 银河麒麟KYSEC安全机制详解
  • 《C++初阶之STL》【泛型编程 + STL简介】
  • 宝塔面板常见问题
  • 【算法】贪心算法：将数组和减半的最少操作次数C++
  • ubuntu22.04下配置qt5.15.17开发环境
  • 2.查询操作-demo
  • 解决Chrome此扩展程序不再受支持，因此已停用
  • 代数基本定理
  • 史上最清楚！读者，写者问题（操作系统os）
  • 美联储降息趋缓叠加能源需求下调，泰国证券交易所新一代交易系统架构方案——高合规、强韧性、本地化的跨境金融基础设施解决方案
  • 软考 系统架构设计师系列知识点之杂项集萃（110）
  • 在Adobe Substance 3D Painter中，已经有基础图层，如何新建一个图层A，clone基础图层的纹理和内容到A图层
  • K8S的Helm包管理器
  • WebView 性能调试全流程：卡顿问题实战还原与优化路径解析
  • 基于 Gitlab、Jenkins与Jenkins分布式、SonarQube 、Nexus 的 CiCd 全流程打造
  • 考完数通，能转云计算/安全方向吗？转型路径与拓展路线分析
  • 计算机毕业设计Java医学生在线学习平台系统 基于 Java 的医学生在线学习平台设计与开发 Java 医学在线教育学习系统的设计与实现
  • 【云服务器安全相关】如何使用 `ping` 命令排查云服务器网络连接问题