当前位置: 首页 > news >正文

【一步步开发AI运动小程序】二十、AI运动小程序如何适配相机全屏模式?

引言 受小程序camera组件预览和抽帧图像不一致的特性影响,一直未全功能支持全屏模式,详见本系列文件第四节小程序如何抽帧;随着插件在云上赛事、健身锻炼、AI体测、AR互动场景的深入应用,各开发者迫切的希望能在全屏模式下应用,以便获得更合理的UI布局和更佳的用户体验,经过我们的努力摸索小程序camera组件的预览处理逻辑,优化更新插件特性,现在已完美支持相机全屏模式应用。

一、全屏模式下产生的问题?

1.1、入镜检测与预览不一致。

camera组件的宽高比与相机输出的图像不一致时,会对预览图像进行裁切,这便有可能会导致检测到了人体,但是预览图像看不到人体的现象。

1.2、骨骼图与人体不重合。

还是由于camera对相机输出图像进行裁切预览的问题,可能会导致输出的骨骼图,人体关键点点位与预览图像不重合的现象。

二、camera如何裁剪预览图像?

经过我们的实测分析,小程序camera组件在宽高比与相机输出图像宽高比不一致时,采用的是长边按比缩放,短边居中裁切的模式进行缩放,如下图所示:
image

这是在相机输出帧大小640px480px/480px640px,camera组件在iPhone 8 plus(屏大小414px*736px)横竖屏下的裁切效果。

三、如何适配处理全屏模式的问题?

根据上面camera的预览裁切模式效果观察,我们只要计算出被裁剪缩放比例及短边两边的留白,并进行相应的缩放及偏移即可,代码如下:

function fullScreenFit(width, height) {const winfo = uni.getWindowInfo();this.previewWidth = winfo.windowWidth;this.previewHeight = winfo.windowHeight;if (winfo.windowHeight > winfo.windowWidth) {//竖屏console.log('竖屏');this.previewRate = winfo.windowHeight / height;this.previewOffsetX = winfo.windowWidth - width * this.previewRate;this.previewOffsetX /= 2;this.previewOffsetY = 0;} else {//横屏console.log('横屏');this.previewRate = winfo.windowWidth / width;this.previewOffsetX = 0;this.previewOffsetY = winfo.windowHeight - height * this.previewRate;this.previewOffsetY /= 2;}
}//配置骨骼图偏移,需升级插件版本至1.5.5以上
this.poseGraphs = new PoseGraphs(ctx, canvas.width, canvas.height, that.previewRate);
this.poseGraphs.offsetX = that.previewOffsetX;
this.poseGraphs.offsetY = that.previewOffsetY;

当然实际使用中,还需要适配横竖屏的样式等,完整代码代码请参考我们提供的Demo项目。

三、全屏模式的副作用及建议。

上面便适配处理好了全屏模式,当然在此模式也可能会带来一些副作用,具体跟相机的输出帧图像和屏幕大小有关。

3.1、人体可视区域变小

由于全屏模式下,会对短边进行裁切,而用户根据的是可视区域进行调整人体站位,所以人体区域便变小了,可能会降低人体识别效果;建议提高camera的分辨率和帧大小至中级,将人体检测范围提高,具体请参考本系列文章相关章节。

3.2、人体检测范围变化

若您在运动时进行了人体远、近站位预检,那相应的range坐标也需进行偏移。

3.2、抽帧帧率下降

由于提高了分辨率和帧大小来应对可视区域变小的问题,在一些偏老机型可能会导致帧率下降问题。

当然以上问题,根据我们的实测,大部分情况和机型不会影响使用。

好了,全屏适配问题就为您介绍到这里,未尽问题可以联系我们进行咨询,插件将致力为您提供全面的AI运动识别解决方案,助力您快速落地AI运动AI体育AI健身AI体测AR互动等运动应用。

http://www.lryc.cn/news/461116.html

相关文章:

  • [Java基础] 运算符
  • [001-02-018].第05节:数据类型及类型转换
  • Netty基础
  • 602,好友申请二:谁有最多的好友
  • 【Matlab算法MATLAB实现的音频信号时频分析与可视化(附MATLAB完整代码)
  • 界面耻辱纪念堂--可视元素03
  • 国产龙芯处理器选择迅为2K1000开发板有资料
  • MySQL 命令(持续更新)
  • Linux下Docker方式Jenkins安装和配置
  • 低代码框架参考
  • 2024 年 9 月区块链游戏研报:行业回暖,Telegram 游戏引发热潮
  • python爬虫登录校验之滑块验证、图形验证码(OCR)
  • (一)Python程序结构
  • 二叉树——相同的树
  • 探秘 1688 商品详情接口:高并发批量采集的实战攻略
  • 【C语言】sizeof
  • 2024-10-15 问AI: [AI面试题] 人工智能中使用了哪些不同的搜索算法?
  • 2024 年 04 月编程语言排行榜,PHP 排名创新低?
  • Element中el-table组件设置max-height右侧出现空白列的解决方法
  • unity学习-全局光照(GI)
  • 记录Centos7 漫漫配置路
  • 论文 | OpenICL: An Open-Source Framework for In-context Learning
  • 尚硅谷rabbitmq 2024 Federation配置 第60节答疑
  • Ubuntu编译MySQL驱动连接QT
  • 时间序列预测(七)——梯度消失(Vanishing Gradient)与梯度爆炸(Exploding Gradient)
  • ARM assembly 12: GCD(最大公约数)计算
  • 「实战应用」如何用图表控件LightningChart可视化天气数据?(一)
  • 基于深度学习的细粒度图像分析综述【翻译】
  • yolo笔记
  • Android平台RTSP|RTMP播放器PK:VLC for Android还是SmartPlayer?