使用 Python结合ffmpeg 实现单线程和多线程推流
一、引言
在本文中，我们将详细介绍如何使用 Python 进行视频的推流操作。我们将通过两个不同的实现方式，即单线程推流和多线程推流，来展示如何利用 cv2（OpenCV）和 subprocess 等库将视频帧推送到指定的 RTMP 地址。这两种方式都涉及到从摄像头读取视频帧，以及使用 ffmpeg 命令行工具将视频帧进行编码和推流的过程。
二、单线程推流
以下是单线程推流的代码：
import cv2 as cv
import subprocess as spdef push_stream():# 视频读取对象cap = cv.VideoCapture(0) fps = int(cap.get(cv.CAP_PROP_FPS))w = int(cap.get(cv.CAP_PROP_FRAME_WIDTH))h = int(cap.get(cv.CAP_PROP_FRAME_HEIGHT))ret, frame = cap.read()# 推流地址rtmpUrl = "rtmp://192.168.3.33:1935/live/"# 推流参数command = ['ffmpeg','-y','-f', 'rawvideo','-vcodec','rawvideo','-pix_fmt', 'bgr24','-s', "{}x{}".format(w, h),'-r', str(fps),'-i', '-','-c:v', 'libx264','-pix_fmt', 'yuv420p','-preset', 'ultrafast','-f', 'flv', rtmpUrl]# 创建、管理子进程pipe = sp.Popen(command, stdin=sp.PIPE, bufsize=10 ** 8)# 循环读取while cap.isOpened():# 读取一帧ret, frame = cap.read()if frame is None:print('read frame err!')continue# 显示一帧cv.imshow("frame", frame)# 按键退出if cv.waitKey(1) & 0xFF == ord('q'):break# 读取尺寸、推流# img=cv.resize(frame,size)pipe.stdin.write(frame) # 关闭窗口cv.destroyAllWindows()# 停止读取cap.release()
在这个单线程的实现中，我们执行以下步骤：
- 初始化视频读取对象：
- 使用
cv2.VideoCapture(0)来打开默认的摄像头设备。 - 获取摄像头的帧率
fps、宽度w和高度h等参数。
- 使用
- 设置推流地址和参数：
- 定义
rtmpUrl作为推流的目标地址。 - 构造
ffmpeg的命令列表command，该列表包含了一系列的参数，如-y表示覆盖输出文件、-f rawvideo表示输入格式为原始视频等。 - 使用
sp.Popen创建一个子进程，将ffmpeg命令作为子进程运行，并且将其输入管道stdin连接到我们的程序。
- 定义
- 循环读取和推流：
- 在一个
while循环中，不断读取摄像头的帧。 - 若读取失败，打印错误信息并继续。
- 使用
cv2.imshow显示当前帧，同时监听q键，按下q键时退出程序。 - 将读取到的帧通过管道发送给
ffmpeg进行推流。
- 在一个
三、多线程推流
以下是多线程推流的代码：
import queue
import threading
import cv2 as cv
import subprocess as spclass Live(object):def __init__(self):self.frame_queue = queue.Queue()self.command = ""# 自行设置self.rtmpUrl = ""self.camera_path = ""def read_frame(self):print("开启推流")cap = cv.VideoCapture(self.camera_path)# Get video informationfps = int(cap.get(cv.CAP_PROP_FPS))width = int(cap.get(cv.CAP_PROP_FRAME_WIDTH))height = int(cap.get(cv.CAP_PROP_FRAME_HEIGHT))# ffmpeg commandself.command = ['ffmpeg','-y','-f', 'rawvideo','-vcodec','rawvideo','-pix_fmt', 'bgr24','-s', "{}x{}".format(width, height),'-r', str(fps),'-i', '-','-c:v', 'libx264','-pix_fmt', 'yuv420p','-preset', 'ultrafast','-f', 'flv', self.rtmpUrl]# read webcamerawhile(cap.isOpened()):ret, frame = cap.read()if not ret:print("Opening camera is failed")break# put frame into queueself.frame_queue.put(frame)def push_frame(self):# 防止多线程时 command 未被设置while True:if len(self.command) > 0:# 管道配置p = sp.Popen(self.command, stdin=sp.PIPE)breakwhile True:if self.frame_queue.empty()!= True:frame = self.frame_queue.get()# process frame# 你处理图片的代码# write to pipep.stdin.write(frame.tostring())def run(self):threads = [threading.Thread(target=Live.read_frame, args=(self,)),threading.Thread(target=Live.push_frame, args=(self,))][thread.setDaemon(True) for thread in threads][thread.start() for thread in threads]
在这个多线程的实现中，我们使用了 threading 和 queue 库：
- 类的初始化：
- 创建一个
Live类，在__init__方法中初始化帧队列frame_queue、command、rtmpUrl和camera_path等变量。
- 创建一个
- 读取帧的线程方法：
read_frame方法中，使用cv2.VideoCapture(self.camera_path)打开摄像头。- 获取摄像头的参数，并构造
ffmpeg命令。 - 不断从摄像头读取帧，并将帧放入队列
frame_queue中。
- 推流的线程方法：
push_frame方法中，等待command被设置，然后使用sp.Popen启动ffmpeg子进程。- 从帧队列中取出帧，并将其写入
ffmpeg的输入管道进行推流。
- 启动线程：
run方法创建并启动两个线程，一个用于读取帧，一个用于推流，并且将它们设置为守护线程。
四、代码解释和注意事项
单线程推流：
- 这种方式相对简单，适合初学者理解。但由于是单线程操作，在处理复杂任务时可能会导致性能瓶颈，特别是在同时进行视频显示、读取和推流的情况下，可能会出现卡顿现象。
多线程推流：
- 利用多线程可以将不同的任务分配给不同的线程，提高性能。
frame_queue是一个线程安全的队列，用于在两个线程之间传递帧数据，避免了数据竞争问题。setDaemon(True)使得线程在主线程结束时自动终止，防止程序无法正常退出。
五、总结
通过上述代码和解释，我们可以看到如何使用 Python 进行单线程和多线程的视频推流操作。单线程代码简单明了，但性能可能受限；多线程代码可以更好地处理高负载，但也需要注意线程安全和资源管理等问题。在实际应用中，我们可以根据具体的需求和硬件性能来选择合适的推流方式。同时，我们可以进一步优化代码，例如添加异常处理、优化帧处理逻辑等，以提高程序的稳定性和性能。