当前位置: 首页 > news >正文

基于Mediapipe的姿势识别并同步到Unity人体模型中

如题,由于是商业项目,无法公开源码,这里主要说一下实现此功能的思路。
人体关节点识别
基于Mediapipe Unity插件进行开发,性能比较低的CPU主机,无法流畅地运行Mediapipe,这个要注意一下。
Mediapipe33个人体关节点图如下:
在这里插入图片描述
Mediapipe关节点映射到Unity人体骨骼
这是开发此功能的一个难点,涉及到了关节点位置与骨骼位置的映射,还有骨骼反向运动。
1、使用unity IK插件比如:Animation Rigging、Final IK等
2、参考ThreeDPoseUnityBarracuda自行去映射关节点。

我这边使用的是第二种方法。主参照ThreeDPoseUnityBarracuda项目中的VNectModel.cs脚本,其中abdomenUpper这个关节点的位置要我们根据Mediapipe传过来的位置进行手动计算再赋值,其他位置可以直接从Mediapipe传过来的值中得到。

最终效果如下:

MediaPipe Pose Tracking

http://www.lryc.cn/news/110227.html

相关文章:

  • Linux下进程的特点与环境变量
  • 以Llama-2为例,在生成模型中使用自定义LogitsProcessor
  • python 计算图片hash 缓存图片为key
  • 制造型企业如何实现车间设备生产数据的实时采集?需要5G网络吗?
  • 第2章 HTML中的JavaScript
  • 景联文科技高质量成品数据集上新啦!
  • flask------请求拓展
  • 大数据-玩转数据-FLINK-从kafka消费数据
  • 介绍Sping Boot的5个扩展点
  • Linux2.6内核配置说明
  • Pytest简介及jenkins集成
  • 【LeetCode】105. 从前序与中序遍历序列构造二叉树 106. 从中序与后序遍历序列构造二叉树
  • 堆内存和一些检测工具
  • 【JavaScript】元素获取指南
  • uniapp 返回上一页并刷新
  • Java阶段五Day21
  • 2023,谁在引领实时互动进入高清时代?
  • STM32(HAL)串口中断接收
  • word转pdf怎么转?几种常用方法分享
  • 自学(黑客)技术,入门到入狱!
  • js 函数、闭包及函数对象
  • SSM(Vue3+ElementPlus+Axios+SSM前后端分离)--搭建Vue 前端工程[二]
  • Android 之 AudioManager ( 音频管理器 )
  • 2023爱分析·超自动化厂商全景报告|爱分析报告
  • 【C++进阶知识】04 - 函数默认实参、默认初始化、initializer_list
  • C语言笔试训练【第三天】
  • Android SystemServer中Service的创建和启动方式(基于Android13)
  • Meta开源AI音频和音乐生成模型
  • rust怎么解析json数据?
  • STM32 NOR_FLASH 学习