冷雨泉教授团队：新型视觉驱动智能假肢手，拟人化抓握技术突破，助力截肢者重获生活自信

研究背景：日常生活中，健康人依靠手完成对物体的操作。对于手部截肢患者，手部的缺失导致他们难以有效地操作物体，进而影响正常的日常生活。拥有一个能够实现拟人地自然抓取多种日常物体的五指动力假手是手部截肢患者的夙愿，有助于提高患者自尊心和生活的信心。传统假肢手多依赖脑机接口（BCI）或肌电信号（EMG）控制，但存在手势适应性差、意图识别精度低等问题。尽管视觉系统能增强物体感知，却难以实现动态拟人化抓握动作。截肢者在使用现有假肢时，常面临操作不自然、功能受限的困扰，不仅影响日常效率，更可能削弱其心理自信。为此，该团队提出了一种创新解决方案——基于视觉系统的动力假手，通过动态手势建模与智能意图预测，显著提升了假肢的拟人化水平与实用性。研究内容：该研究由哈尔滨工业大学（深圳）、中国科学院沈阳自动化研究所、南方科技大学等团队联合完成，首次实现了假肢手在抓取过程中抓取动作的拟人化。
如图1所示，智能假手系统架构展示了视觉驱动假手系统的两大核心模块，分别为抓取手势动态建模功能模块和假肢手控制功能模块。动态抓握手势建模模块（A部分）：通过头戴摄像头捕捉健康人手部抓握物体的视觉数据，依次完成物体3D重建、手势关键点提取，并构建手物距离与关节角度的多项式函数，最终形成可扩展的手势模型库。假手控制模块（B部分）：结合实时视觉数据，利用运动轨迹回归算法预测用户抓取目标，从模型库调用对应手势函数，驱动假手实现拟人化抓握。该设计实现了“视觉感知-意图预测-动态控制”的全自动化闭环。
图1智能假肢手系统概述。(A) 上半部分为动态抓取手势建模模块工作流程。 (B) 下半部分为假肢手控制模块工作流程。该团队以右手假肢为例进行研究。动态抓取手势建模模块的数据来源于人右手抓取多种物体。图2详细呈现空间几何手势映射方法（SG-GM）的流程。物体感知（a部分）：采用YOLOv5检测目标，结合深度信息重建物体3D点云，并通过背景剔除与聚类分割提取精确几何特征。手势解析（b部分）：改进的SRHandNet模型定位手部区域，结合IntagHand算法估计21个关节角度，生成MANO手部网格模型。动态映射（c部分）：将手-物距离序列与关节角度拟合为多项式函数，构建手势模型库，确保假手从接近到抓握全程动作连贯拟人。
图2基于空间几何的手势映射方法（SG-GM）流程。人体抓取物体过程中，腕部在空间的运动曲线通常可近似为一条直线。基于该原理，我们提出了MTR-GIE算法。我们将采集
个假肢手腕部的位置。根据这些腕部位置回归一条空间直线，用于预测假肢手的运动方向，进而实现抓取意图的估计，图3揭示了多物体环境下意图估计算法（MTR-GIE）的数学内核：轨迹回归：基于假肢手腕的连续空间坐标（红点），通过最小二乘法拟合出预测运动直线（绿蓝平面交线）。空间分割：构建橙色空间分割平面，筛选位于预测轨迹左侧且距离最近的物体作为抓取目标。该算法仅依赖头戴摄像头数据
图3 基于运动轨迹回归的抓取意图估计算法（MTR-GIE）估计抓取意图的示意图。总结与展望本文提出的具有视觉的动力假肢系统具备对自然手势构建模型的能力，针对新的物体能够快速的构建手势。同时，该假肢系统实现了拟人化的手势控制，能够适应多物体抓取场景。此外，本文提出的基于运动轨迹回归的抓取意图估计算法在假肢运动过程中快速确认抓取目标，大幅度降低了对抓取时间和自然手势控制的影响。系统在单物体环境下抓取成功率为95.43%，抓取时间为3.07±0.41s，接近于人手正常抓取物体所用时间。假肢手与人手抓取动作的相似度为0.911。在多物体环境下意图估计准确率为94.35%，抓取成功率为88.75%。本文提出的方法能够使假肢手快速地实现面向新物体的、拟人的抓取，为探索假肢手控制提供了新的解决途径和思路。Yansong Xu, Xiaohui Wang, Junlin Li, Xiaoqian Zhang, Feng Li, Qing Gao, Chenglong Fu, and Yuquan Leng, “A Powered Prosthetic Hand with Vision System for Enhancing the Anthropopathic Grasp,” in IEEE Transactions on Neural Systems and Rehabilitation Engineering, doi: 10.1109/TNSRE.2025.3567392.文章链接：https://ieeexplore.ieee.org/document/10988884