当前位置: 首页 > news >正文

GauHuman阅读笔记【3D Human Modelling】

笔记目录

  • 1. 基本信息
  • 2. 理解(个人初步理解,随时更改)
  • 3. 精读
    • Summary
    • Research Objective(s)
    • Background / Problem Statement
    • Method(s)
    • Evaluation
    • Conclusion
    • References


1. 基本信息

  • 题目:GauHuman: Articulated Gaussian Splatting from Monocular Human Videos
  • 时间:2023.12.5
  • 发表:CVPR2024
  • 机构:S-Lab, Nanyang Technological University
  • 作者:Shoukang Hu, Ziwei Liu
  • 链接直达:Code/paper/Project
  • 关键词:3D human modelling, 3DGS, Monocular video, 3D Reconstruction
  • 概括:GauHuman在单目视频的条件下,通过快速训练(1~2分钟)和实时渲染(189帧/秒)对三维人体进行建模。
  • 摘要翻译:我们提出了 GauHuman,这是一种采用Gaussian Splatting的 3D 人体模型,可实现快速训练(1∼2 分钟)和实时渲染(高达 189 FPS),而现有的基于 NeRF 的隐式表示建模框架需要数小时的训练和数秒的时间每帧渲染的数量。具体来说,GauHuman 在规范空间中对GS进行编码,并通过线性混合蒙皮 (LBS) 将 3D 高斯从规范空间转换到姿势空间,其中有效的姿势和 LBS 细化模块旨在以可忽略的计算成本学习 3D 人体的精细细节。此外,为了实现 GauHuman 的快速优化,我们使用 3D 人类先验来初始化和修剪 3DGS,同时通过 KL 散度指导进行分裂/克隆,以及一种新颖的合并操作以进一步加速。在 ZJU_Mocap 和 MonoCap 数据集上的大量实验表明,GauHuman 通过快速训练和实时渲染速度,在定量和定性上实现了最先进的性能。值得注意的是,在不牺牲渲染质量的情况下,GauHuman 可以使用 ~13k 3DGS快速建模 3D 人类performer。

2. 理解(个人初步理解,随时更改)

  1. 干了一件什么事:
    针对人体3D建模,实现快速的训练+实时渲染,只需要输入单目视频,重建出一个4D的人体。
  2. pipeline(如图):
    首先从 SMPL 顶点初始化 3D 高斯位置
http://www.lryc.cn/news/501938.html

相关文章:

  • qemu安装arm64架构银河麒麟
  • 在Elasticsearch (ES) 中,integer 和 integer_range的区别
  • Playwright中Page类的方法
  • 硬链接方式重建mysql大表
  • GPIO在ZYNQ7000中的结构和相关寄存器解析
  • Qt Xlsx安装教程
  • Certimate自动化SSL证书部署至IIS服务器
  • 【中工开发者】鸿蒙商城实战项目(启动页和引导页)
  • 跟李笑来学美式俚语(Most Common American Idioms): Part 63
  • scala中如何解决乘机排名相关的问题
  • OpenCV相机标定与3D重建(10)眼标定函数calibrateHandEye()的使用
  • Hadoop生态圈框架部署(九-2)- Hive HA(高可用)部署
  • docker 相关操作
  • AI作图效率高,亲测ToDesk、顺网云、青椒云多款云电脑AIGC实践创作
  • 【代码随想录day57】【C++复健】 53. 寻宝(prim算法);53. 寻宝(kruskal算法)
  • C++中多态
  • 【实现多网卡电脑的网络连接共享】
  • 算力介绍与解析
  • 解决 MyBatis 中空字符串与数字比较引发的条件判断错误
  • python 词向量的代码解读 self.word_embeds = nn.Embedding(vocab_size, embedding_dim) 解释下
  • 记一次:使用C#创建一个串口工具
  • Android Studio新版本的一个资源id无法找到的bug解决
  • Datawhale AI冬令营(第一期)--零基础定制你的专属大模型
  • LLMs之APE:基于Claude的Prompt Improver的简介、使用方法、案例应用之详细攻略
  • 【Unity人形布娃娃插件】Ragdoll Animator
  • 跨团队协作中目标一致性至关重要
  • Excel的文件导入遇到大文件时
  • 使用字典进行动态编程
  • 机器学习02-发展历史补充
  • 全国青少年信息学奥林匹克竞赛(信奥赛)备考实战之计数器与累加器(一)