【论文阅读】从表面肌电信号中提取神经信息用于上肢假肢控制：新兴途径与挑战
The Extraction of Neural Information from the Surface EMG for the Control of Upper-Limb Prostheses: Emerging Avenues and Challenges
原文：DOI: 10.1109/TNSRE.2014.2305111
2014年
翻译：靠岸学术
目录
摘要
1绪论
2肌电信号作为神经信号
3表面肌电影响因素
4肌电控制策略
5理想的上肢肌电控制系统特性
6商业肌电控制系统：对鲁棒性的需求
7学术肌电控制研究的新视角
A模式识别
B将EMG映射为同步和比例控制信号
C从表面肌电信号直接提取神经代码
D多模态方法
摘要
Abstract—Despite not recording directly from neural cells, the surface electromyogram (EMG) signal contains information on the neural drive to muscles, i.e., the spike trains of motor neurons. Using this property, myoelectric control consists of the recording of EMG signals for extracting control signals to command external devices, such as hand prostheses. In commercial control systems, the intensity of muscle activity is extracted from the EMG and used for single degrees of freedom activation (direct control). Over the past 60 years, academic research has progressed to more sophisticated approaches but, surprisingly, none of these academic achievements has been implemented in commercial systems so far. We provide an overview of both commercial and academic myoelectric control systems and we analyze their performance with respect to the characteristics of the ideal myocontroller. Classic and relatively novel academic methods are described, including techniques for simultaneous and proportional control of multiple degrees of freedom and the use of individual motor neuron spike trains for direct control. The conclusion is that the gap between industry and academia is due to the relatively small functional improvement in daily situations that academic systems offer, despite the promising laboratory results, at the expense of a substantial reduction in robustness. None of the systems so far proposed in the literature fulfills all the important criteria needed for widespread acceptance by the patients, i.e. intuitive, closed-loop, adaptive, and robust real-time ( 200 ms delay) control, minimal number of recording electrodes with low sensitivity to repositioning, minimal training, limited complexity and low consumption. Nonetheless, in recent years, important efforts have been invested in matching these criteria, with relevant steps forwards.
Index Terms—Motor unit, myoelectric control, neural drive to muscle, pattern recognition, regression.
尽管表面肌电图（EMG）信号并非直接记录自神经细胞，但它包含有关神经驱动肌肉的信息，即运动神经元的脉冲序列。利用这一特性，肌电控制包括记录EMG信号，以提取控制信号来指挥外部设备，如手部假肢。在商业控制系统中，肌肉活动的强度从EMG中提取，并用于单个自由度的激活（直接控制）。在过去的60年中，学术研究已经发展到更复杂的方法，但令人惊讶的是，到目前为止，这些学术成果都没有在商业系统中实现。我们概述了商业和学术肌电控制系统，并分析了它们相对于理想肌电控制器的特性而言的性能。描述了经典和相对较新的学术方法，包括用于同时和比例控制多个自由度的技术，以及使用单个运动神经元脉冲序列进行直接控制的技术。结论是，工业界和学术界之间的差距是由于学术系统在日常情况下提供的功能改进相对较小，尽管实验室结果很有希望，但却以大幅降低鲁棒性为代价。到目前为止，文献中提出的所有系统都未能满足患者广泛接受所需的所有重要标准，即直观、闭环、自适应和鲁棒的实时（200毫秒延迟）控制，最少数量的记录电极且对重新定位的敏感性低，最少的训练，有限的复杂性和低功耗。尽管如此，近年来，人们在匹配这些标准方面投入了大量精力，并取得了相关的进展。
索引词—运动单元，肌电控制，肌肉神经驱动，模式识别，回归。
1绪论
神经康复辅助设备（如主动假肢）的控制是通过人机交互实现的。当对神经肌肉系统进行探测以提取信息时，交互可以在大脑和其他脊髓上区域[1]–[3]、外周神经[4]–[6]或肌肉[7]，[8]的水平上实现。在这些潜在的选择中，肌肉交互是目前在商业和临床系统中控制外部设备的唯一可行方法[9]–[12]。尽管神经和大脑记录对于直接神经交互非常有前景，但它们通常需要侵入性手术进行电极放置，这使得它们在实践中的适用性目前仅限于实验室研究或小规模临床测试[2]，[13]。
尽管肌肉记录是外围测量，并非直接从神经细胞获得，但它们包含关于已执行运动任务的神经信息。事实上，电信号肌肉信号，或肌电图（EMG），包含与直接传出神经记录相似的信息，因为沿着每个运动神经元的轴突传播的动作电位与受神经支配的肌纤维的复合动作电位（运动单位动作电位）之间存在一一对应的关系。因此，表面肌电图信号与从脊髓发送到肌肉的神经信号严格相关。表面肌电图记录作为神经信息来源的观点，通过新兴的靶向肌肉再支配（TMR）程序得到强调，该程序将原本到达缺失肢体肌肉的神经重定向，以支配辅助肌肉，从中记录表面肌电图，并可推断截肢者的运动意图[14]，[15]。然后，受神经支配的肌肉仅用作神经信息的放大器。
由于其非侵入性、相对简单的应用以及丰富的神经信息，表面肌电图被广泛应用于商业/临床上肢假肢控制中的人机交互。尽管运动（或预期运动）与表达的肌电信号之间存在相当直接的关系，但在肌电控制假肢（肌电控制）达到患者广泛接受所需的理想特性之前，仍存在几个未解决的问题。事实上，目前，与患者在外貌和使用便利性方面感受到的缺点相比，功能增益是有限的，因此很大一部分患者放弃使用主动上肢假肢，而更喜欢纯粹的美容解决方案[16]–[20]。
在这篇综述中，我们将描述EMG的生成模型，以定义该信号与底层神经信息之间的关系。我们还将介绍影响表面EMG信号的因素，以及因此提取的用于肌电控制的特征。然后，我们将概述肌电控制的现代方法。在这种背景下，我们将总结模式识别的经典学术方法，以及允许同时和成比例地控制多个自由度（DoF）的方法，例如，回归或运动神经元行为的直接解码。与EMG模式识别相比，后一种方法的研究较少，代表了field中的新途径。然而，正因如此，它们的实际应用仍然面临着若干挑战。
2肌电信号作为神经信号
肌电信号是由肌肉fi电活动的总和，由支配运动神经元的激活脉冲触发（图1）。我们将从脊髓发送到肌肉的动作电位集合称为肌肉的神经驱动（图1）。表面肌电图是通过将每个运动神经元脉冲序列与运动单位动作电位[7]，[21]，[22]进行卷积得到的：
其中是激活的运动单元的数量，是第个运动单元的动作电位的时间波形，是第个运动神经元动作电位（神经尖峰）的时序，而是单位脉冲函数。请注意，(1) 假设无限长的尖峰序列且没有噪声。进一步假设神经肌肉接头永不失效，(1) 同样可以描述从脊髓到肌肉的传出神经信号，其中运动单元动作电位将被轴突动作电位所取代。因此，表面肌电信号在数学上与神经传出信号具有相同的表达式。神经信息在表面肌电信号中与直接神经传出活动中的信息相同。因此，当先前因损伤而被截肢的神经被引导去支配新的肌肉时，来自重新神经支配的肌肉的表面肌电信号将反映被重定向的神经的传出活动。这是一个可以应用于任何神经再支配过程的普遍属性，并且是TMR程序的基础。与神经记录相比，肌肉作为神经信息来源的优势在于，可以很容易地从覆盖重新神经支配的肌肉的皮肤上获取该信息，并且肌肉记录的信噪比（SNR）通常更高。在这种观点下，肌肉是神经活动的生物放大器，而表面肌电信号是被放大的神经信号。
在(1)中，神经信息与运动神经元发放序列相关联，而外周信息则与肌纤维膜的电生理特性相关联。由运动单位动作电位[23]给出。在频域中，每个运动单位动作电位发放序列都提供神经和外周信息，如下所示：
图1. 肌电控制背景下表面肌电图的产生。肌电信号是运动神经元活动的结果，这些活动触发肌肉纤维动作电位的产生。每个运动神经元支配的纤维的复合动作电位（运动单位动作电位）在皮肤表面被记录下来，所有活跃运动单位的干扰活动决定了表面肌电图的记录（显示了双极记录的示意图）。如箭头所示，干扰表面肌电图包含原始神经信息。因此，从肌电图中提取的特征与运动的神经代码相关联，尽管这种关联由于运动单位动作电位的形状对信号特征的影响而具有可变性。
其中， 是肌电信号（随机过程）的功率谱， 是激活的运动单元的数量。 是第 个运动单元的脉冲序列的功率谱， 是第 个运动单元的动作电位傅里叶变换的平方幅度。在公式 (2) 中，假设运动单元的脉冲序列彼此不相关。
对于放电率没有调制的平稳脉冲序列（恒定的平均放电率），第个运动单元的脉冲序列的功率谱可以表示为
其中是运动单元的平均放电率，并且是间期（ISI）变异性的概率密度函数的傅里叶变换。对于放电率和ISI变异性的典型值，（3）中的主导项是第一项fi，因为第二项是由ISI变异性的概率密度函数的（低通）傅里叶变换调制的狄拉克δ函数序列。此外，第一项是常数，并且对于大于10–20 Hz的频率等于[24]。因此，EMG信号的功率谱近似等于加权（权重是放电率) 主动运动单元动作电位能量谱之和
在肌电控制应用中，从表面肌电信号提取信息的主要范围是间接或直接地确定神经驱动肌肉的特征（参见图1中的箭头）。间接地，这可以通过提取与神经信息相关的信号特征来实现。先前的推导通常是有效的，可用于计算肌电信号的频谱特征。例如，肌电信号功率可以通过对(2)中报告的功率谱进行积分来获得，如下所示：
运动单元动作电位的能量在哪里。公式(5)表明，肌电图的功率在很好的近似程度上是各个运动单元动作电位的能量之和，每个能量都乘以相应的放电率。因此，当增加对肌肉的神经驱动（活跃运动神经元的数量和运动神经元动作电位放电的频率）时，肌电图的功率单调增加。一般来说，肌肉活动的强度与从脊髓发出的神经信号的强度以单调的方式相关联。
由(5)可知，总功率随动作电位的形状和大小分布而变化。由于这些不仅取决于神经支配的肌纤维数量，还取决于纤维相对于表面电极的位置（通常取决于容积导体的特性）[25]–[28]，因此表面肌电图的功率与肌肉的神经驱动之间的关联在不同条件、任务、肌肉和受试者之间具有非常大的差异[29]，[30]。对运动单位动作电位分布的依赖性，此处以肌电图功率为例进行了代表性展示[见(5)]，也延伸到从表面肌电图中提取的任何其他全局特征。这些特征本质上取决于影响运动单位动作电位的所有因素[23]，因此，基于这些特征的肌电控制算法也会受到影响。相反，从表面肌电图中提取运动神经元发放序列的直接方法（第七-C节）将运动单位动作电位波形与发放序列完全分离，因此对影响动作电位模板的因素更具鲁棒性。
3表面肌电影响因素
由于大多数肌电控制方案使用表面肌电的大特征，这些特征依赖于信号中包含的神经和外周信息，因此它们的性能受到影响运动单位动作电位形状或肌肉神经驱动的因素的影响[23]，[30]。记录的表面动作电位对电极重新定位、电极-皮肤阻抗的变化（例如，由于出汗）、肌肉相对于电极的相对运动（包括肌纤维的伸长和缩短）很敏感。此外，由于肌肉组织内运动单位位置的解剖学差异，动作电位形状的分布在受试者之间差异很大。这些因素极大地影响了肌电控制算法的性能。例如，众所周知，电极位置或手臂姿势的变化对肌电控制方法的性能有负面影响[31]–[33]。影响表面肌电的因素，包括表面肌电的神经和外周成分在使用假肢过程中可能发生的变化，包括疲劳、心理因素，以及通常执行任务方式的任何变化。这些因素可能会改变神经驱动以及募集的运动单位动作电位的数量和形状。
然而，需要注意的是，影响肌电信号特征的因素不一定总是不利于肌电控制。例如，在模式识别系统中，来自多个肌肉的肌电信号特征被用于识别来自有限的预定义运动集合的运动（参见第七-A节）[11]，[34]。在这些系统中，肌肉之间运动单位动作电位形状的差异可能是区分任务的有用信息。只要它在运动之间和随时间推移保持一致，这对于任何影响因素都是有效的。
表面肌电影响因素中，一个值得特别提及的是肌肉间的串扰。串扰被定义为电极放置在目标肌肉上方的皮肤上记录到的信号，但该信号是由附近的其他肌肉产生的。我们首先注意到，（1）以及随后的推导可以扩展到串扰的存在，通过假设一些运动单元活动是由另一块肌肉产生的，因此被电极系统检测到，其具有由电极和源之间的容积导体决定的特定动作电位形状。因此，串扰可以被看作是额外的运动单元放电序列添加到由目标肌肉以外的肌肉产生的表面肌电中。在某些情况下，检测到的肌电信号自然是解剖学和功能上接近的几块肌肉活动的混合，例如前臂肌肉，在这些肌肉中，串扰至少与目标肌肉活动一样大[35]。
显然，串扰会影响肌电信号及其特征（如功率）的测量。然而，只要这种情况在不同条件下保持一致，串扰的存在不一定是坏处，正如针对其他影响因素所讨论的那样。再次使用模式识别的例子，要分类的特定手势可能以来自不同肌肉的一组肌电图记录为特征，所有这些记录都受到一定程度的串扰影响。尽管如此，如果活动包含
串扰在相同任务的试验中是一致的，任务分类可以正确执行，实际上，串扰甚至可能成为更好地区分任务的信息来源。相反，在其他控制方案中，例如直接控制（参见第六节），肌电图串扰是一个重要的限制因素。
4肌电控制策略
肌电控制包括使用肌电图提取控制信号来控制外部设备[10]，[36]。肌电图信号可能来源于与任务相关的肌肉，也可能来源于与要控制的任务功能无关的肌肉。例如，肱二头肌和肱三头肌的激活来控制手腕和手部运动并非基于这些肌肉活动与要控制的任务之间的生理关联。
肌电控制的理想条件是存在可以独立且同时控制的肌电信号，其数量足以匹配要控制的自由度数量（直接控制）。在这种情况下，每个肌电通道都用作一个自由度的唯一控制信号（每个自由度的双向控制需要两个肌电通道），该自由度受到比例控制，例如，使用肌电的幅度或功率，考虑到肌肉活动的功率或强度与神经激活之间的关联[参见(5)]。例如，在TMR患者中，通常可以在空间上充分分离的位置检测到肌电信号，使其相互独立（不存在串扰）。当这些肌肉活动被映射到与重定向神经的自然功能相关的自由度控制时，直接控制是直观的，并允许多个自由度被自然地控制[15]，[37]，[38]。
不幸的是，对于绝大多数截肢者来说，直接控制是不可能的。例如，在桡骨远端截肢者中，手和腕部多个自由度(DoF)的控制通常是从位于前臂周围的肌电图(EMG)电极获得的，其中每个记录都是来自功能不同的肌束的信号混合。模式识别通过使用多通道肌电图记录的全部信息并将其映射到预定义的任务来处理这个问题。
在下文中，我们将概述几种允许通过肌电信号控制上肢假肢的系统。我们将首先讨论理想的肌电控制器应具有的特性。此外，我们将描述商业上或临床上可用的系统（至少在小范围内），然后我们将概述最近提出的尚未达到商业化或临床测试阶段的学术系统。
5理想的上肢肌电控制系统特性
理想情况下，上肢假肢控制系统应满足以下标准。
1) 该控制对于用户而言应该是直观的，因为它产生的是自然的运动；因此，它必须在预期的自由度/功能上是同时且成比例的，可能跨越多个关节 [80]。
2) 该系统应具有鲁棒性，能够应对穿脱、肢体位置[42]、活动范围、电极/皮肤阻抗变化、不同使用日信号变化[61]等情况。
3) 它应该能适应用户，从而自动补偿由疲劳或出汗等引起的缓慢变化。
4) 它应该基于最少数量的电极，并且对电极的精确位置/方向不敏感[40]。
5)它应需要简短且易于进行的训练/校准（可能无需训练），且无需频繁重新训练。
6) 它应该提供关于相关函数（例如，力）的反馈（闭环控制）[39]，[40]。
7) 其计算复杂度应较低，以便能在使用低功耗硬件的假肢设备中实现。
8) 它应能实时（即延迟可忽略不计，通常为200毫秒）生成预期动作的估计[41][42]。
以下描述的系统均不满足上述所有标准。然而，最近的研究集中于至少满足其中一些标准。系统对诸如电极移位[31]，[35]，[43]或手臂姿势[32]，[33]，[44]–[46]的鲁棒性是此类努力的例子。其他一些要求的解决方案，例如自适应系统，仍未得到深入研究。对于假肢控制以及假肢体现而言，一个特别重要的方面是向用户传递主动反馈，最近的进展对此充满希望[40]。然而，在本次综述中，我们将不讨论这个话题，因为最近已有相关的具体综述[40]。
预期能够满足上述要求的高级学术系统将具有临床和商业开发的潜力，而这在field领域已经缺乏 60 多年。
6商业肌电控制系统：对鲁棒性的需求
表面肌电信号的功率与传出神经驱动[参见(5)]或预期激活水平之间的单调关系，自20世纪50年代以来已应用于肌电控制，当时推出了首批实用的肌电控制假肢[47]，[48]。在20世纪60年代，苏联、欧洲、北美和日本在该领域进行了广泛的研究和开发（参见综述论文[10]，[34]，[36]）。有趣的是，这些早期系统的原理至今仍应用于目前所有临床和商业上可用的电动上肢假肢。这是由于商业系统需要稳健性。
允许多于一个自由度(DoF)控制的商业系统利用有限状态机控制器，用户可以一次从一组自由度中选择一个。早期的肌电控制系统通常采用开/关方法。根据这种方法，一个假肢功能被分配给一个表面肌电通道。对于每个处理间隔，将肌电幅度与预定义的阈值进行比较，当超过阈值时，相应的功能以固定速度启动，或与肌电图幅度成比例。通过使用多个信号采集点，不同的功能被分配到不同的通道，目的是获得直接控制。这种方法可以提供直观的控制，因为可以选择控制点，使预期功能对应于生理上合适的肌肉。例如，对于桡骨远端截肢者，来自腕屈肌和伸肌的信号可分别用于控制手的张开和闭合功能。然而，使用这种方法，至少需要两个信号采集点来实现一个生理自由度，例如，腕屈被分配到一个通道，腕伸被分配到第二个通道来控制一个自由度（手张开/闭合）。这种要求在多功能假肢中很难满足，并且对于高位肢体缺陷是不切实际的。
其他假肢系统，例如UNB三态肌电控制系统[49]，[50]，应用了一种替代方法，称为水平编码。水平编码将肌肉活动范围（从检测阈值到最大收缩时的值）划分为几个区间，每个区间对应于一个假肢功能。这些域由一组预定义的决策边界分隔。在计算出EMG幅度后，控制逻辑将其值与决策边界进行比较，找到最可能的域，并激活相应的功能。导致最小误差概率的决策边界由EMG的最大方差和肌电通道中附加噪声的方差决定[51]。与直接比例控制方法相比，水平编码方法使多功能假肢更容易实现，因为它允许一个表面EMG信号通道代表多个假肢功能。然而，在临床实践中，假肢用户使用这种控制策略能够可靠控制的每个通道的最大功能数量最多为三个[8]，[52]，这使得多功能设备的控制变得困难、不直观，并且不如直接控制那样稳健。
图2展示了一个传统肌电控制的进一步例子的示意图。在这个示意图中，仅用两个EMG信号控制两个自由度（DoF）。确实，相同的两个信号被用于两个自由度，系统通过两个肌肉的协同激活从一个自由度切换到另一个自由度（在基于相同概念的类似系统中，切换可以通过其他方式执行）。这种方法的优点是，原则上，它可以扩展到任意数量的自由度，仍然只使用两个EMG信号，并通过重复的协同收缩在自由度之间循环切换。这确实是几种商业多功能电动假肢的控制方式，例如米开朗基罗手[53]和iLimb [54]。然而，实际上，可以控制的自由度数量受到假肢可用性的限制，因为在复杂的任务中，所需的切换次数增加会导致可用性降低。
图3(a)表示为控制假肢而生成的EMG信号，该假肢实现了图2所示的控制算法，该假肢用于典型的日常任务（抓住一杯水并将杯子送到嘴边饮用）。如右侧控制器方案所示，用户一次对一个自由度进行比例控制，并且可以通过协同收缩从一个自由度切换到另一个自由度。
图2. 左图：一种传统的肌电控制方法的示意图，该方法已在几种商业假肢中实现。两个表层肌电图通道（示意性地显示在水平和垂直轴上）用于一次控制一个自由度（DoF）。例如，一个通道可以从前臂的屈肌获得，另一个通道可以从前臂的伸肌获得。在给定的时间，这两个通道控制腕关节的屈曲和伸展或手的张开和闭合。为每个通道选择一个阈值，当超过阈值时，相应的自由度被激活。当两个阈值同时超过时，控制器模式切换到另一个自由度。尽管这种简单方法的功能有限，但它构成了一种非常稳健的假肢控制方式。右图：艺术家佩戴着一个假肢（在他的右侧），使用左图所示类型的控制器（照片由Ottobock提供）。
图 3. 使用主动假肢执行简单功能任务时，三种肌电控制模式的示意图。任务包括抓住一个玻璃杯并从中饮用。a) 传统方法的示例，对两个自由度进行顺序比例控制。自由度由相同的两个通道控制，自由度之间的切换通过协同收缩获得（与图 2 中的方案相同）。任务通过两个自由度的顺序控制以及它们之间的切换来执行。右侧报告了控制器类型的简单说明。两个轴代表两个自由度，它们一次以比例方式控制一个。b) 现在说明使用模式识别方法执行的相同任务。显示了特征空间（为简单起见，假设为二维），其中四个类别对应于在两个方向上激活两个自由度。在这种情况下，不需要切换。控制是顺序的，并且与传统控制相反，是开/关的（一个功能要么打开要么关闭，没有比例控制）。右侧的方案表明了该控制器的离散性质，其中只有四种状态是可能的。c) 同时和比例控制允许以任何组合方式组合自由度（由两个轴表示），从而以更自然和更快的方式执行任务。右侧的方案现在表示两个自由度在其运动范围内进行任何组合的可能性。
除了不自然的切换程序外，这种传统控制系统的性能还受到两个主要因素的限制：表面肌电串扰和肌电幅度估计的可变性。表面肌电串扰（参见第三节）引入了每个肌电信号对其他信号的影响，降低了可控性，而肌电幅度估计的可变性决定了控制信号中的振荡（等效控制中的噪声）。EMG幅度估计的方差与统计EMG信号带宽和用于估计的区间乘积成反比[51]，[55]。这决定了控制信号中的信噪比等于这两个参数的乘积[51]。例如，EMG的典型统计带宽为100 Hz [51]，对于100 ms的处理间隔，这对应于线性尺度上控制的信噪比为10。信噪比表明肌电控制器的控制噪声和响应时间之间存在权衡。临床上，假肢的响应时间不应超过200 ms，以避免用户感知到明显的处理延迟[34]，[41]。
虽然上述所有控制系统都作为有限状态机工作，但在TMR的情况下，通过空间分离再神经支配位点，可以提取空前数量的具有有限串扰的独立控制位点。这使得临床肌电控制系统可以直接、同时且成比例地控制多个功能[15]，[37]，而无需切换功能。
7学术肌电控制研究的新视角
A模式识别
作为商业设备中传统控制算法的替代方案，模式识别方法已被应用数十年，用于分类EMG信号[10]，[11]。表面肌电图模式识别的主要假设是，每个任务都以一致的肌肉激活为特征，这种激活可以用一组特征来描述。这些特征在同一任务的多次试验中应具有可重复性，并且在不同任务之间具有区分性。在这种观点下，特征与肌电图神经信息之间的实际关系并非严格相关。任何可以从表面肌电图中提取并证明可靠且具有区分性的信息（外周或神经）都可以作为分类的候选对象。类似地，串扰不是一个不利因素，但如果在多次试验中保持一致，甚至可能成为信息来源（当它增加不同任务的特征之间的距离时）。
图 3(b) 显示了与传统基于开关的控制执行的相同任务分析，该任务由实现模式识别的算法执行。在这种情况下，无需在自由度之间切换，并且复杂任务中的每个运动都按顺序从肌电图中分类。执行任务所需的运动集合少于传统控制，并且由于不需要切换，因此控制更加直观。然而，该方法缺乏同时控制多个运动的可能性，而这正是自然运动的一个重要特征。图 3(b) 中的方案显示了基于模式识别的控制在选择离散类别的过程中，对应于预定义的运动，这一主要特征。
肌电模式识别领域数十年的研究已经提供了在大量运动（10个类别）上实现极高分类精度（95%）的框架[42]，[56]–[58]。这些成就与以下事实形成鲜明对比：与更简单的传统控制策略相反，没有任何模式识别系统已在商业/临床系统中实施。肌电模式识别的学术研究与商业系统之间存在差距，原因有几个[9]。首先，即使是高精度也可能导致在多次重复的复杂任务中出现不可接受的错误率。在模式识别中，一个错误可能导致完全不希望的运动，从而可能损害整个任务。这与先前讨论的传统控制策略不同，传统控制策略的控制信号是嘈杂的，可能无法完全重现受试者的意图，但它与受试者的意图接近，直至噪声变化（这是模拟控制信号和数字控制信号之间的区别）。其次，控制（无论多么精确）仍然是顺序的，一次只能控制一个动作，除了最近在实验室环境中展示的能够同时激活两个[59]或三个[60]类别的系统之外，几乎没有例外。因此，模式识别系统仍然保留了传统控制的主要局限性之一，这与执行任务的不自然方式有关。
除了基于模式识别的控制的内在局限性之外，将这些系统在实验室环境中获得的有希望的结果转化为日常生活活动还存在一些问题。例如，实验室环境通常只考虑用于分类的静态EMG部分，即在运动以近似恒定的力维持而没有移动的时间间隔。然而，类之间的转换以非静态信号部分为特征。已经表明（不足为奇的是），模式识别中的大多数错误发生在这些信号部分[61]，[62]。降低模式识别系统实际准确性的其他因素包括假肢穿脱时电极的移位[31]，[43]，手臂姿势的变化[32]，[33]，[44]，不同日期EMG特征的可变性[63]–[66]，以及缓慢的随时间变化，例如疲劳[67]和电极-皮肤接触阻抗[68]。这些因素的综合作用导致迄今为止开发的模式识别控制系统在实践中的不适用性[9]。在这方面，最近的一个趋势是减少在实验室条件下最大化分类准确性的努力，并增加对减少上述影响因素的关注，以便将学术系统转化为临床设备。然而，尚不清楚模式识别系统的内在局限性（顺序控制、难以包含比例控制等）是否允许这种转变，或者是否应该考虑新的方法。
B将EMG映射为同步和比例控制信号
传统和基于模式识别的肌电控制的主要局限之一是自由度或运动的顺序选择。在模式识别中，尽管相对于传统控制，运动的数量更多，但进一步的限制在于难以在所选运动中包含内在的比例性，因此控制通常是顺序的，并且需要开/关操作模式（一个类要么是激活的，要么是非激活的）。自然的运动与这些方法非常不同，因为它们是基于同时性的以及多个自由度的比例控制（SPC）。图3(c)展示了这个概念，使用了我们已经为传统方法和模式识别方法分析过的喝玻璃杯水的例子。在这种情况下，到达玻璃杯是通过同时旋转手腕来实现的，以对齐抓握和手部张开，为抓握做准备。接下来是手部闭合以抓握，以及手腕旋转以将玻璃杯送到嘴边。这个序列比前两个控制范例更自然、更快速。能够确定这种控制类型的算法设计意味着将EMG信号特征映射到受控自由度的连续控制信号中。
最近，已经有一些工作致力于模式识别范式中多个类别的同步控制[69]–[72]。尽管具体细节有所不同，但这些研究的本质方法是将组合运动视为新的类别。这种方法的主要缺点是，随着单个类别数量的增加，新类别的数量呈爆炸式增长，从而显著降低了分类器的鲁棒性。此外，固有的比例控制仍然是不可能的。
另一种方法是，已经有人提出了基于回归的肌电控制方法。图4报告了一种基于回归的肌电控制器的通用方案，该控制器产生与腕部运动学相关的控制信号。为了执行EMG与运动学的回归，需要一组训练数据，其中EMG与运动学之间的关联是已知的。对于截肢者来说，这个数据集可能很难获得，因为无法测量缺失肢体的运动学。图4展示了一种通过镜像运动学习回归函数来解决这个问题的方法，在训练过程中，运动学是从健全的手上测量的（这假设截肢者是单侧的），而EMG是从对侧肢体缺陷侧测量的 [73]–[75]。镜像训练策略也被用于基于模式识别的肌电控制 [58]，[76]。获得回归训练数据的另一种方法是提示受试者执行特定任务，并使用提示（或指令）作为标签 [77]。这种方法可用于单侧和双侧截肢者。
使用镜像运动或提示进行训练的回归方法已被证明可以成功地重现测试条件下的手部运动学 [45]，[73]–[75]。这种映射的基本原理是肌电图与力之间以及力与运动学之间的关系，这些关系可以从一组训练信号中学习。研究还表明，当离线应用时，不同复杂度的回归方法会提供相似的结果 [78]。例如，当比较用于估计的神经网络、线性回归和核方法时，发现从表面肌电图估计的手部运动学的决定系数在 70%–90% 的范围内 [78]。
映射也可以通过无监督方法获得，例如信号分解。多通道肌电信号的一种特定分解方法，称为非负矩阵分解 (NMF)，受到了特别关注，因为它被认为可以从多肌肉肌电记录中提取所谓的协同权重和脊髓上激活信号 [79]。根据肌肉协同理论 [80]，[81]，提取的激活信号与脊髓上运动指令相关，而协同权重由脊髓回路决定。NMF对多通道肌电信号的分解已被证明可以提供控制信号（激活信号），受试者可以在线使用这些信号来直观地同时且成比例地控制多个自由度 [35]，[77]，[82]，[83]。这种方法的一个有趣的特性是它是无监督的，因为任何多通道记录都可以被分解，尽管在实践中需要一个简短的校准来解决分解的不确定性 [82]，[84]。此外，最近的研究表明，基于NMF的SPC对电极的数量及其确切位置具有相对的免疫力 [35]。
图4. 实现对多个自由度进行同步和比例控制的回归方法的一个实例。回归算法将表面肌电信号（在本例中表示为包络）映射到腕关节的角度（右侧的彩色线条）。构建回归器意味着在已知标签（肌电图与运动学）的数据集上对其进行训练。这是通过对侧镜像运动获得的，因为无法从缺失的肢体记录手和腕的运动学。
最近，已经对从用于SPC的EMG提取控制信号的几种方法进行了离线和在线比较 [77]。有趣的是，尽管在离线估计EMG和运动学之间的关联时，监督和非监督方法之间存在很大差异，但一项任务完成在线测试表明，这些方法的结果非常相似。如图5所示，其中在线比较了三种算法。尽管离线性能不同，但在此比较中，击中目标所需的轨迹和时间在这些方法中相似 [77]。这一观察结果非常强调用户利用算法提供的控制信号的能力，以及调整其任务执行的神经策略，以便在使用外部设备时以最佳方式执行所需的新任务。类似地，已经表明，即使为肌电控制而实现的回归函数与生理任务执行无关，用户也可以在经过短暂的学习期后完成复杂的任务 [35]。
[77]. 这一属性提出了翻译算法能力相对于用户与机器交互和学习新任务的能力的相对重要性的问题，即使这种学习与肌肉控制的自然方式没有直观的联系。它也强调了在线实验的重要性，这种重要性最近已在大多数人机交互系统中得到认可，在这些实验中，用户处于循环中，并且可以适应控制系统[85]–[87]。
图 5. 三种 SPC 算法的比较：非负矩阵分解 (NMF)、人工神经网络 (ANN) 和线性回归 (LR)。NMF 是一种无监督分解方法，而 ANN 和 LR 是有监督的。控制信号被转换为箭头的水平移动（腕屈/伸）和旋转（腕旋前/旋后），要完成的任务是击中绿色圆圈，起始位置为空心圆圈。此任务需要同时激活两个自由度（腕屈和腕旋转）。完整协议见 [84]。虚线箭头表示同一受试者使用每种算法所做的轨迹。这些轨迹非常相似。使用这三种算法完成任务的时间分别为 3.24 秒 (NMF)、4.07 秒 (ANN) 和 3.07 秒 (LR)，相应的路径效率分别为 84.9%、76.3% 和 77.1%。初步比较了这三种算法在离线测试中从 EMG 映射运动学的准确性。离线准确度，通过测量的运动学和估计的运动学的相关性来衡量，分别为 46.3% (NMF)、89.8% (ANN) 和 70.5% (LR)。这些值与在线性能无关。例如，相对于其他两种算法，NMF 具有最佳的路径效率，但离线准确度非常低。
C从表面肌电信号直接提取神经代码
未来肌电控制发展中一个引人入胜的途径是从表面肌电信号直接解码运动神经元发放序列，并将其转化为假肢指令。达到这个目标将充分利用肌电信号中包含的神经信息（第二节），并使肌电接口成为真正的神经接口[7]，[30]。使用神经驱动肌肉进行假肢控制意味着通过将运动单位动作电位形状与神经信息分离来解码肌电信号。这种处理补偿了表面肌电中外周特性的影响[见(2)]，仅提取神经特性。此操作并不直接提供控制方案，而仅与从肌电信号中提取信息以供潜在的控制使用有关。尽管如此，证明了从表面肌电中提取运动神经元活动神经代码的可行性，为采用基于发放序列的控制策略开辟了可能性，正如先前为直接外周神经接口开发的策略[88]。在下文中，我们将介绍关于表面肌电分解的最新发现，以便展示提取类似于从直接神经接口中的传出神经纤维提取的信息的可能性[88]。我们将不讨论与此类信息一起使用的潜在控制策略，因为它们可以在关于神经接口的专业文献中找到[88]，[89]。
尽管表面肌电信号解码非常复杂，但最近已证实可以将该信号分解为运动神经元的单个脉冲序列[90]。这需要先进的记录系统，即高密度肌电图，它是几个紧密间隔的电极网格。这些系统比目前在传统肌电控制或模式识别方法中应用的系统复杂得多，它们提供了足够数量的记录点，可以通过盲分离方法提取单个源（运动单元）。
目前为止，已经提出了一些用于完整表面肌电分解的算法[91]–[93]，但只有一种名为卷积核补偿（CKC）的方法，在大量的模拟信号[94]和实验信号[95]上，以及各种条件下（包括病理情况[96]）进行了广泛的测试和验证。此外，该方法最近已在线实现[97]，这是任何肌电控制应用的基本前提。
图6报告了使用CKC算法在腕部运动期间分解192个EMG通道的示例。EMG电极网格放置在健全受试者前臂上，位于肘部和腕部之间距离的三分之一处。一个3传感器XSens系统放置在对侧。在高密度表面EMG记录的同时，记录了一系列腕部收缩期间的关节运动学，选择性地激活腕部屈曲/伸展和旋前/旋后。受试者被指示进行腕部fl曲、腕部伸展、旋后和旋前。在每次收缩中，受试者从静止状态开始，并在5-6秒内达到中等程度的收缩。腕部运动学通过一个XSens系统测量，该系统具有三个传感器，分别位于手背、前臂远端和上臂上[83]。计算了腕部屈曲/伸展和旋转角度。然后通过CKC算法分解高密度EMG信号。在每次运动期间，识别出7到15个运动单元的尖峰序列。它们的低通滤波放电率清楚地显示了由于对运动神经元群体[98]，[99]的共同突触输入而产生的共同振荡。此外，在大多数情况下，活跃运动神经元的活动与记录的运动学密切相关。
图6所示的信息代表了目前可用的最详细的肌电图信号分析。它允许从信号中完全分离外周和神经信息，并使用神经信息进行直接控制。在这种情况下，影响运动单位动作电位形状的所有因素都可以从提取的神经编码中完全分离出来。此外，已经表明，检测到的运动神经元群体足够大，可以代表完整的活跃群体[99]，[100]，因此不同的运动神经元组表现相似。
EMG分解和分解后的脉冲序列转换，用于控制上肢假肢，可以提供极其高度精确的接口。例如，研究表明，与表面EMG幅度相比，从相对少量运动神经元的脉冲序列中估计力，其变异性明显更小，从而有可能以传统控制方式无法实现的方式控制精确任务[99]。
图6. 一位健全受试者在执行四个腕部功能时，前臂肌肉表面肌电图的分解，从上到下依次为伸展、fl曲、旋后和旋前。在每一行中，颜色图代表用于肌电图记录的高密度肌电图网格（192个通道）的每个通道的RMS值（参见底部受试者手臂的照片），该值在收缩平台期平均超过0.5秒（颜色图已插值8倍以进行可视化）。已识别的运动神经元的放电模式与关节角度一起显示，关节角度由XSens系统测量（参见底部照片）（实线为屈曲/伸展角度，虚线为旋转角度）。在右侧一栏中，已识别的运动单元的瞬时放电率经过低通滤波器平滑处理，以显示低频振荡。在本例中，放电率的低频振荡显示了运动神经元之间的共同振荡（共同驱动），并且平均活动与关节角度高度相关（目视检查），但旋后除外，在旋后中，已识别出活跃运动单元的数量是主要因素。这个具有代表性的例子表明，可以从手/腕运动期间的肌电图信号中识别直接的运动神经元活动。此信息可用于直接控制假肢，方法是使用从肌电图中提取的纯神经信息。
尽管前景可期，但利用运动神经元活动进行假肢控制仍是一种推测性的提议。事实上，到目前为止，还没有人证明其在完整的在线系统中的可行性。尽管如此，这种系统的不同组成部分都已得到验证（分解精度、在线分解、脉冲序列与力之间的关联、分解的运动神经元群体的代表性）。此外，在TMR患者中也进行了运动神经元活动的识别，并取得了成功的结果[101]。这些结果为该概念的未来实施提供了一个有希望的框架，该框架将确定一个非常通用的神经接口和直接的神经控制。
D多模态方法
在目前讨论的所有控制方案中，用户拥有唯一的决定权和责任来生成所有必要的命令信号，而肌电控制器则充当被动解码器，捕获信号，解码用户意图并相应地操作假肢。这种观点在传统方法、模式识别方法以及SPC方法中都很常见。这些方法还不能完全支持现代辅助设备的可用功能，这些设备是具有多个自由度的复杂机器人系统[9]。
作为改进EMG接口的一种替代方案，可以利用额外的信息来源来丰富人工控制器，从而使控制器能够进行一些自主决策[102]。通过这种方法，某些系统功能可以完全自动控制，用户的角色只是通过简单的EMG接口来监督、纠正和微调系统操作。在传统的控制方案中，用户需要为系统操作中的每一个步骤提供指令信号。在这种替代方法中，系统可以实现预定义的“运动程序”，封装高级功能（“抓住这个物体”），这些功能通过用户简单的高级命令“释放”。因此，用户只关心功能目标，而运动的实现是自动控制的责任。因此，在大多数时间里，运动都是“下意识地”展开的，只有当系统偏离所需操作时，用户才会介入。这种方法被称为半自动控制，尽管它已在其他人机交互系统中提出，例如脑机接口[103]，但在基于EMG接口的上肢假肢控制中，仅在少数例子中得到应用。此类系统的一个早期例子[104]是一种将感觉反馈传递给电子控制器的假肢，该控制器决定抓握姿势和张力。此外，在商业系统领域，Otto Bock已经实现了抓握力的自动调整，以防止物体滑动（即，Sensor Hand Speed [105]）。在该field领域最新的学术成就中，计算机视觉已与肌电控制相结合，用于自动预先确定抓握类型和大小[106]，[107]。其他信号模式，如超声[108]、语音[109]和脚踏开关[110]也已被提议用于假肢控制。
总的来说，将这些系统转化为临床应用的主要障碍是用户对他们无法控制的不必要行为的抵制。因此，应该努力理解自动行为之间的界限，这些自动行为以理想的方式支持复杂的任务，以及那些相反地消除了用户对控制的重要部分的行为。理想情况下，用户应该只关注高级别的动作，以直观的方式执行它们，并依靠假肢来保持控制的稳定性和可能的滑动。
8结论
肌肉信号仍然是控制上肢假肢的唯一可行的生物信号。它们可以被无创地记录，并携带与脊髓回路输出相关的神经信息，该信息直接编码运动。尽管在field领域进行了几十年的学术研究，但令人惊讶的是，商业设备仍然完全使用60年前提出的方法进行控制。工业界和学术界最先进水平之间的差距与学术系统在日常情况下提供的功能改进相对较小有关，但却以大幅降低鲁棒性为代价。上肢假肢肌电控制器的理想标准是能够直观地同时且成比例地控制多个自由度（DoF），对各种变异因素具有鲁棒性，使用少量电极，训练量最小甚至无需训练，直观的闭环信息以及有限的计算成本。到目前为止，文献中提出的所有系统都未能满足所有这些标准，尽管最近在满足这些期望方面投入了大量精力。