当前位置： 首页 > news >正文

记录一次Android推流、录像踩坑过程

news 2025/7/28 12:10:04

背景：

        按照需求，需要支持APP在手机息屏时进行推流、录像。

技术要点：

        1、手机在息屏时能够打开camera获取预览数据

        2、获取预览数据时进行编码以及合成视频

一、息屏时获取camera预览数据：
        ①Camera.setPreviewDisplay(SurfaceHolder holder)：

一般常规的打开camera后(Camera.open(int cameraId))，给相机设置预览setPreviewDisplay(SurfaceHolder holder)，holder通过surfaceview获取。但是者在surfaceDestroyed(xxxxxx)后无法获取预览数据，所以setPreviewDisplay(SurfaceHolder holder)此方法无法满足息屏的需求。

        ②Camera.setPreviewTexture(SurfaceTexture surfaceTexture):

此方法通过创建一个new SurfaceTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES)传入就可以实现息屏获取相机的预览数据。这样就可以避免直接使用TextureView带来的onSurfaceTextureDestroyed(xxxx)导致息屏后无法获取预览数据。

二、预览camera预览数据：
        ①Camera.setPreviewTexture(SurfaceTexture surfaceTexture):

获取到yuv数据进行转换成bitmap，然后用Imageview或者Surfaceview直接显示。

此方法带来的弊端：

        1、每一帧数据都要生成bitmap，短时间频繁的创建对象会导致STW，从而导致ANR

        2、预览数据不流畅，是用Imageview或者Surfaceview手动方式展示的

        ②Camera.setPreviewDisplay(SurfaceHolder holder)：

此方法是Android自带的，没有上述的弊端：ANR、画面卡顿，但是在息屏时无法获取预览数据

        ③Camera.setPreviewTexture(SurfaceTexture                 surfaceTexture)+Camera.setPreviewDisplay(SurfaceHolder holder)：

此方法既解决了预览问题也解决了息屏获取预览数据问题，但是此方法在MediaMuxer两种模式转换合成音视频时无法合成连续的音视频，只能亮屏时合成一段，息屏时合成一段。不过也尝试在转换模式时，MediaMuxer继续写入数据，虽然视频可以播放但是会导致写入失败，视频画面卡顿在转换的那一帧画面。因为在转换模式时，编码的数据出问题了，大小比之前的要小很多，此问题待研究。

三、解决方案：

采用上述的第三种方法：

        Camera.setPreviewTexture(SurfaceTexture                 surfaceTexture)+Camera.setPreviewDisplay(SurfaceHolder holder)；

息屏、切换前后置摄像头时先释放相机releaseCamera()，代码如下：

 override fun releaseCamera() {try {stopBackgroundThread()mCamera?.stopPreview()mCamera?.setPreviewCallbackWithBuffer(null)mCamera?.release()mCamera = null} catch (runError: RuntimeException) {KLog.e(TAG, "releaseCamera happened error: " + runError.message)} catch (e: Exception) {KLog.e(TAG, "releaseCamera error: $e")}}

然后再重新打开相机openCamera，代码如下：

 override fun openCamera(cameraId: Int,imageFormat: Int,holder: SurfaceHolder?) {mCameraId = cameraIdthis.previewFormat = imageFormatsurfaceHolder = holdermSurfaceTexture = SurfaceTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES)openCamera(surfaceHolder, mSurfaceTexture!!, cameraId)}private fun openCamera(surfaceHolder: SurfaceHolder?,surfaceTexture: SurfaceTexture,cameraId: Int) {if (cameraId < 0 /*|| cameraId > Camera.getNumberOfCameras() - 1*/) {Log.w(TAG,"openCamera failed, cameraId=" + cameraId + ", Camera.getNumberOfCameras()=" + Camera.getNumberOfCameras())return}startBackgroundThread()try {
//            Log.i(TAG,"surfaceCreated open camera cameraId=$cameraId start")mCamera = Camera.open(cameraId)mCamera?.setDisplayOrientation(90)if (surfaceHolder == null) {mCamera?.setPreviewTexture(surfaceTexture)} else {mCamera?.setPreviewDisplay(surfaceHolder)}// set preview format @{this.previewFormat = setCameraPreviewFormat(mCamera!!, this.previewFormat)// @}// 设置fps@{val minFps: Int = 30000val maxFps: Int = 30000setCameraPreviewFpsRange(mCamera!!, minFps, maxFps)// @}// 设置预览尺寸 @{val hasSetPreviewSize = setCameraPreviewSize(mCamera!!)if (hasSetPreviewSize.size > 1) {/* previewWidth = hasSetPreviewSize[0]previewHeight = hasSetPreviewSize[1]GBApp.getInstance().previewWidth = hasSetPreviewSize[0]GBApp.getInstance().previewHeight = hasSetPreviewSize[1]*/previewWidth = 640previewHeight = 480GBApp.instance!!.previewWidth = 640GBApp.instance!!.previewHeight = 480}// @}// 设置照片尺寸 @{setCameraPictureSize(mCamera!!)// @}// 设置预览回调函数@{mCamera?.setPreviewCallbackWithBuffer(mCameraCallbacks)Log.i(TAG,"ImageFormat: $previewFormat bits per pixel=" + ImageFormat.getBitsPerPixel(previewFormat))// 初始化数组for (index in 0 until previewDataSize) {val previewData = if (previewFormat != ImageFormat.YV12) {ByteArray(previewWidth * previewHeight * ImageFormat.getBitsPerPixel(previewFormat) / 8)} else {val size = ImageUtils.getYV12ImagePixelSize(previewWidth, previewHeight)ByteArray(size)}previewDataArray.add(previewData)}//addAllPreviewCallbackData()mCamera?.addCallbackBuffer(ByteArray(previewWidth * previewHeight * 3 / 2))// @}//autoRatioTextureView()mCamera?.startPreview()} catch (localIOException: IOException) {Log.e(TAG,"surfaceCreated open camera localIOException cameraId=" + cameraId + ", error=" + localIOException.message,localIOException)} catch (run: RuntimeException) {Log.e(TAG,"open camera RuntimeException error=" + run.message)} catch (e: Exception) {Log.e(TAG,"surfaceCreated open camera cameraId=" + cameraId + ", error=" + e.message,e)}}

此情况依旧会导致在切换相机时，出现录制的视频卡在某一帧，解决方案如下：

依旧使用SurfaceView预览相机

1、相机停止写入数据pauseRecord()

// 根据 status 状态是否写入数据
public void pauseRecord() {if (status == Status.RECORDING) {pauseMoment = System.nanoTime() / 1000;status = Status.PAUSED;if (listener != null) listener.onStatusChange(status);}}

2、释放相机

fun releaseCamera() {try {stopBackgroundThread()mCamera?.stopPreview()mCamera?.setPreviewCallbackWithBuffer(null)mCamera?.release()mCamera = null} catch (runError: RuntimeException) {KLog.e(TAG, "releaseCamera happened error: " + runError.message)} catch (e: Exception) {KLog.e(TAG, "releaseCamera error: $e")}}

3、继续录制视频

fun doResumeRecord(eventData: ResumeRecordEvent) {// 打开相机GBApp.instance?.service?.doOpenCamera(OpenCameraEvent(eventData.holder,VideoTaskUtil.instance.mCameraId,ImageFormat.NV21,eventData.eventType))// 请求关键帧camera2Base?.videoEncoder?.requestKeyframe()// 继续写入音视频数据camera2Base?.resumeRecord()}public void resumeRecord() {if (status == Status.PAUSED) {pauseTime += System.nanoTime() / 1000 - pauseMoment;status = Status.RESUMED;if (listener != null) listener.onStatusChange(status);}}

如果合成的视频在后续还会卡在某一帧，可以把之前的视频数据队列清空，这样避免因为切换相机之前的垃圾数据导致问题，然后执行上面的步骤

http://www.lryc.cn/news/401044.html

相关文章：

  • VsCode 与远程服务器 ssh免密登录
  • 7/13 - 7/15
  • 烟雾监测与太阳能源：实验装置在其中的作用
  • QT下，如何获取控制台输入
  • mybatis动态传入参数 pgsql 日期 Interval ，day，minute
  • 常见CSS属性
  • WSL-Ubuntu20.04训练环境配置
  • 运维检查：mysql表自增id是否快要用完
  • 深入理解FFmpeg--libavformat接口使用(一)
  • 坚持日更的意义何在？
  • 内容长度不同的div如何自动对齐展示
  • Qt中https的使用，报错TLS initialization failed和不能打开ssl.lib问题解决
  • P2p网络性能测度及监测系统模型
  • zookeeper相关总结
  • 【openwrt】Openwrt系统新增普通用户指南
  • 【GD32】从零开始学GD32单片机 | WDGT看门狗定时器+独立看门狗和窗口看门狗例程（GD32F470ZGT6）
  • 详解曼达拉升级：如何用网络拓扑结构扩容BSV区块链
  • 编译打包自己的云手机(redroid)镜像
  • 自动驾驶的规划控制简介
  • java配置nginx网络安全，防止国外ip访问，自动添加黑名单，需手动重新加载nginx
  • ARP协议
  • Qt程序图标更改以及程序打包
  • 普通人还有必要学习 Python 之类的编程语言吗？
  • 「Python」基于Gunicorn、Flask和Docker的高并发部署
  • 在攻防演练中遇到的一个“有马蜂的蜜罐”
  • 一文了解MySQL的表级锁
  • LVS+Keepalive高可用
  • 网络安全防御【防火墙安全策略用户认证综合实验】
  • IOS上微信小程序密码框光标离开提示存储密码解决方案
  • AWS CDN新增用户ip 地区 城市 响应头