人机融合智能 | 人智交互的神经人因学方法
先进的神经人因学方法将推动人智交互研究和应用。本文在人智交互的语境下,介绍内源性智能系统、面向认知的智能系统、智能穿戴可移动技术和外源性智能系统四个主要内容。内源性智能系统主要介绍与神经反馈相关的技术,包括多模态采集系统、脑状态解码以及智能反馈控制技术;面向认知的智能系统包括认知神经信号的预处理技术和认知神经特征提取与识别技术,重点讨论警觉-注意特征提取与识别技术、脑负荷特征提取与识别技术、疲劳特征提取与识别技术和情绪特征提取与识别技术;同时介绍智能可穿戴外周生理和行为采集技术,包括可穿戴肌电采集技术、可穿戴心电采集技术、可穿戴行为采集技术;最后,讨论和介绍智能认知功能物理增强新技术。
01、引言
人因工效学是随着信息技术、脑认知与心理科学的进步,特别是信息化水平提升而迅速发展起来的一门综合性交叉新学科。人因工效学最早可以追溯到 19 世纪末的铁锹实验,研究人、工具与生产效率之间的关系。“二战”以后,欧美发达国家着眼降低人员失误和提升装备性能,开始进行较系统的人因研究,从而孕育了人因工程作为学科出现。人因工效也开始从军事装备应用逐步扩展到工业生产,最终涉及各个行业当中。近些年,将认知神经科学的理论和技术应用于人因工效学,测量和分析人在工作中大脑的工作状态,客观、准确、实时监测神经工效和心理状态,逐渐形成了一门新的学科,称为神经人因学或神经工效学。
神经人因学有以下几个显著特点:(1)客观方式对操控人员认知状态予以连续监测,建立神经适应性解决方案,减轻不良神经状态的发生;(2)测量、评估以及干预认知过程和精神心理状态,不仅可以解决人机协同问题,也可以应用于脑健康和脑保护;(3)发展和应用多种如 EEG 、 fMRI 、 fNIRS 、TMS 和 tDCS 等神经科学研究新技术,设计认知范式作为测量及诱发手段等,精准监测与调控认知神经效能。
人类进入了智能化时代。如何开展人智交互研究和应用,是智能时代带来的一个重要科学问题。
构建和发展神经人因学方法,将是发展高级智能系统面临的重大挑战,包括多模态神经数据获取分析、认知模型构建、个体水平神经工效评估等,同时影响着人机交互、脑机接口等新兴技术的拓展。本文将围绕智能时代的神经人因学方法,从内源性智能系统、面向认知的智能系统、智能穿戴可移动技术、外源性智能系统四方面展开,介绍智能时代的神经人因学方法。
02、内源性智能系统
人脑中存在大量的自发性脑活动,对这一类活动的脑信号进行解码可以识别当下的脑状态;另一方面,将脑状态实时反馈呈现,可以引导调节脑活动,这一类自发性脑活动解码和反馈呈现的系统称为内源性智能系统,其中以神经反馈训练(neurofeedbacktraining , NFB )为典型代表。神经反馈能够实时测量神经活动、识别脑状态,并以直观的方式(听觉、视觉、触觉等)反馈给受试者,以引导其调节自身神经活动,从而对神经系统或者行为进行干预( Gruzelier , 2014 )。脑机接口(brain-computerinterface , BCI )是一种替代了脑的常规外周神经和肌肉神经通路、通过对脑信息的解码达到信息交流和对外围设备直接控制的技术。广义上来讲,神经反馈技术是脑机接口的一种应用模式(见图 14.1)。
神经反馈训练技术的发展经历了一个漫长的过程。 20 世纪 60 年代后期,由 JoeKamiya 证实受试者可以随意控制脑电图模式,甚至可以对 alpha 波活动进行控制( Kamiya , 1968 ),表明了个体能够意识到自身脑部状态并加以调节。 Sterman 在 20 世纪 70 年代发现了运动感知节律(SMR ),并指导癫痫患者通过神经反馈训练增加 SMR 脑电活动以控制癫痫发作( Sterman & Friar , 1972 );随后,JoelLubar 成功将 SMR 和其他脑电特征作为调节靶点,应用于 ADHD 儿童神经反馈训练中( Lubar& Lubar , 1984 )。由于对脑电节律的理解不足、当时并不完善的实验设计以及结果重复性较困难, 20世纪 90 年代,脑电生物反馈不被科学界所广泛接受。最近十年,大量的研究发现了脑节律和脑状态及认知功能的相关关系,同时基于实验研究与临床数据的发现,建立了脑节律与脑功能的关联模型。
随着对脑节律理解的不断深入,研究人员进行了大量的实证研究,证实了神经反馈的训练效果,神经反馈训练也逐渐成了一种重要的神经调控工具。
近年来,大量研究发现神经反馈训练能够用于增强认知功能。初级视觉皮层的 gamma 活动与视觉刺激的信息处理已经在动物和人身上得到了广泛验证( Tallon-Baudry& Bertrand , 1999 ),猴子实验的研究也证明了初级感觉皮层 gamma 活动受刺激驱动,神经反馈训练可以自上而下地调控其gamma 活动( Lima , Singer , & Neuenschwander ,2011 )。使用 alpha 节律进行记忆训练应用最为广泛,多项研究证明了 alpha 训练方案能有效提升工作记忆和短时记忆( Hsueh , Chen , Chen , &Shaw ,2016 ),也已开发出便携式神经反馈训练设备。睡眠研究提供了记忆巩固的研究框架,同时证明了它是干预记忆的潜在因素。一项记录了神经反馈训练后的即时评测和过夜睡眠后的记忆巩固的研究发现: theta 节律增强对于所学 技 能 的 巩 固 有 着 促 进 作 用 (Rozengurt , Barnea , Uchida , & Levy ,2016 )。对于注意力的训练方面,目前采用最多的是 theta / beta 降低训练和 beta 提升训练( Gruzelier ,2014 )。除了单一节律训练外,多节律组合也是潜在的训练方案,比如 SMR 和低 beta 结合能够进一步增强训练效果(Egner& Gruzelier , 2004 )。另外,神经反馈训练应用于情绪调节的主要方法之一是放松训练,根据脑节律与脑状态的相关关系,使用慢波节律如 theta 、 SMR 、 alpha 、 alpha-theta 等方案进行。感觉运动皮层的 SMR 节律与肌肉放松、冷静的状态相关,采用神经反馈训练增强 SMR 节律可以用于调节紧张的情绪。总体来说,神经反馈训练作为一种无创脑调控技术,已有大量研究证明了其有效性。
神经反馈训练技术作为一种无创脑调控手段,能够借助内源性脑活动的自发调节,具有独特的特点和优势。首先,神经反馈训练的系统安全性较高,一方面系统脑成像方法采用脑电或近红外等,没有刺激,不会造成损伤;另一方面内源性神经调控由受试者自发调节脑活动达到干预目的,没有外源性刺激输入。其次,神经反馈训练调控范围较广,不仅可以针对皮层脑活动、借助于高密度脑电及多种溯源算法实现深部脑活动信息的检测和调控,同时可以借助于多通道系统进一步由单个脑区活动拓展到脑区间的同步、脑网络、全脑区动态等。此外,神经反馈训练的调控过程形式丰富,反馈信息可以由多种方式呈现,包括视觉、听觉,如游戏画面、振动器、物体的移动等,同时将神经反馈技术与先进的多媒体技术、机器人技术、 AR / VR 结合,能够展示更适合刺激方案的刺激形式,使受训者能够快速适应、易于接受且保持投入,从而保证训练效果。最后,神经反馈训练技术的应用推广更为便利,一方面适用人群广泛,较少地考虑受试者的自身条件,不受金属植入物等限制,可以方便一些特殊人群的脑功能调控;另一方面神经反馈训练对操作人员的专业性要求不高,对于环境要求相对较低,信号的采集过程较简便,并且训练过程中不需要专业人员操作,由受试者自主完成即可,因此更易于推广和使用。
近年来,智能系统的发展进一步推动了神经反馈训练系统的智能化,包括脑状态解码识别和反馈过程控制的智能化。脑状态识别方面,基于机器学习方法借助于强大的特征表示能力,同时输入来自多个脑区的多种指标,结合具体的认知任务和状态对脑进行解码,达到对脑状态更高维度和更加全面的描述,进而进行具体的状态反馈和训练。智能反馈控制方面,将反馈系统视为智能体,将反馈控制规则转换为智能体的识别和反馈控制过程,可以实现对反馈过程的智能自适应控制,包括反馈过程控制、动态难度调整等。智能体接收的多模态信息除了直接参与反馈训练外,还可用于个体化状态的监测,对训练过程进行调整。有研究基于个体的警觉性水平动态调整反馈阈值,取得了很好的训练效果。同时,在加入智能体的反馈控制系统中,通过对不同个体之间模型的对比,表现较好的个体控制模型可能有潜在的迁移和指导作用,一方面可以指导智能体模型迅速调整和校准,另一方面可用于个体训练中的演练和提示,比如高效策略的建议、反馈过程的提示等。将基于规则的方法替换为基于智能体的控制过程,控制过程搜索空间更大,规则更为多样,具有足够的复杂度容量以应对可能出现的复杂情况。深度学习等网络模型具有良好的伸缩性,能够应用在各种系统中,具体分为以下三方面。
1. 多模态采集系统
基于单模态技术,如脑电图(electroencephalograph , EEG )、近红外光学成像( functionalnear-infraredspectroscopy , fNIRS )及功能性核磁共振(functionalmagneticresonanceimaging , fMRI )等脑成像方法,得到的结论受困于时间或空间的单一维度,精准的神经机制不够清楚( Helfrichetal. ,2018 ),并缺乏精准的神经生理理论和模型作为支撑,使得基于特定记录手段得到的理论和模型的泛化率不够,而兼具时间分辨率和空间分辨率的多模态脑成像技术(如 fMRI-EEG 、fNIRS-EEG 等)可以同时监控和解码人类大脑的神经电生理活动和血氧活动等,在研究中通过该技术在空间定位上精确地找到与任务相关的关键脑区,并从时间方面精确地探究脑活动的动态变化过程,同时能够描绘神经血氧信号之间的耦合关系(Zhaoetal., 2019 ; Zhaoetal. , 2022 )。尤其是采用的 fNIRS-EEG 联合记录手段具有无创、彼此互不干扰、微小运动不敏感、适合多种场景等优点,同时可以为经颅干预技术提供经颅干预相关的关键脑区、关键过程信息。
将多模态记录应用于神经反馈训练系统中,采用来自中枢神经系统的脑成像数据,属于广义的生物反馈。在生物反馈的其他研究中,肌电、心电、体温、眼动等生物信息也广泛使用,其中的多种模态信息与外周神经系统或心理情绪状态相关,如前额肌电与焦虑水平的关系、心率变异性与迷走神经张力的相关性、眼动与注意分配等。因此,将脑成像数据与其他模态信息融合能够更全面地反映认知状态,采用多模态融合的反馈训练能够取得更好的干预效果。相较于传统的状态识别方法,人工智能技术表示特征空间的能力、多模态信息的交叉对照和融合能力更强。同时,单一模态技术已经取得了长足的发展,基于良好单一模态预训练模型的多模态融合技术潜力巨大,因此基于人工智能技术的多模态神经反馈有望取得更好的干预效果。
2. 脑状态解码
脑状态分析方法一般多局限于单一位置的少数脑成像指标,对脑功能和脑状态的描述不够全面,缺少针对性。而多变量分析( multivariablepatternanalysis , MVPA )的方法可以同时输入多个脑区的多种指标,同时能够结合具体的认知任务和状态进行脑解码,获取具有状态针对性的解码流程( Haxby , Connolly , & Guntupalli , 2014 )。将深度学习等复杂度更高的方法应用于 MVPA ,借助于这一类方法强大的特征表示能力,能够实现对脑状态更高维度和更全面的描述。结合强大的内容生成器,根据神经活动信息也已经可以实现初步视听内容和动作指示的解码( Tangetal. , 2023 )。
受个体发育和状态差异的影响,在相同场景和刺激下,个体的脑信号并不完全一致,因此每个个体状态识别过程中的分析方法和参数并不能完全一致,相对应的状态识别模型也不相同。在脑机接口的研究中,共空间模式(commonspatialpattern , CSP )作为提取个体化任务相关最优的空间模式的常用方法( Angetal. , 2012 ),已用于神经反馈训练中的个体化分析(Rayetal., 2015 )。脑状态识别方面,人工智能技术可以在通用模型的基础上通过对个体化数据的修改而建立个体化模型,并进行个体间的模型校准( Kimetal. , 2019 ),实现个体化的状态识别(Chenetal., 2018 )。
3. 智能反馈控制
基于人工智能技术,在反馈系统中加入智能体,将反馈控制规则转换为智能体的识别和反馈控制过程,可以实现对反馈过程的智能自适应控制,包括反馈过程控制、动态难度调整等。智能体接收的多模态信息除了直接参与反馈训练外,也可以用于个体化状态监控,对训练过程进行调整,有研究基于个体的警觉性水平动态调整反馈阈值,取得了很好的训练效果。常用的智能体调整方法包括增强学习、演化算法、动态编程等。将基于规则的方法替换为基于智能体的控制过程,控制过程搜索空间更大,规则更多样,具有足够的复杂度容量以应对可能出现的复杂情况。同时,深度学习等网络模型有很好的伸缩性,能够应用在各种尺度的系统中。
由于个体对神经反馈训练的适应性和控制策略各不相同,因此训练效果也不尽相同,有些个体训练适应性强、策略高效、训练效果较好,也有些个体效果稍差。在加入智能体的反馈控制系统中,通过对不同个体之间模型的对比,表现较好的个体控制模型可能具有潜在的迁移和指导作用,一方面可以指导智能体模型的迅速调整和校准,另一方面可以用于个体训练中的演练和提示,比如高效策略建议、反馈提示等。
现有针对个体的训练方案设计单一,根据脑成像指标变化设计规则,如 TBR 高于 5 ,则进行 TBR降低训练,否则进行 SMR 提升训练;或者根据指标在群体的分布进行正规化训练(z-score 训练)。
神经反馈训练过程是一个典型的学习过程,个体的适应性、学习策略、学习过程和效果保持都表现出较大的个体差异和动态特性。增强学习模型能够借助智能体在与环境的交互过程中汇总的反馈情况及时调整动作行为,达到设定目标。因此,两者的对比研究可以进一步发现学习的动态过程。目前,关于增强学习过程与人类学习过程对比的研究较少,多数研究集中在神经环路层面,如人脑奖赏机制与增强学习模型调整过程的对比,但在行为上进行两者对比的研究较少。采用增强学习模型对反馈训练过程进行建模,能够发现训练过程中的关键参数及动态,对训练过程进行解释分析,同时可以借助于所建立的模型对在线训练过程进行调整,增强训练效果。
未来的神经反馈训练系统需要更多的智能化设计。首先,从脑成像数据中提取大量潜在指标的个体化训练方案缺少有效的设计方法,人工智能技术可以借助多变量和多模态的数据输入、个体化数据分析和模型调整过程以及模型解释和可视化方法实现个体化脑偏差识别和针对性的训练方案设计,实现精准电子处方。其次,同一种神经反馈训练对约 30% 的个体无法到达预期的训练效果( Nanetal., 2012 ),在接受训练之前及早筛选出这一类人群能够节省训练时间和人力成本;同时,反馈训练的效果可能受注意、情绪、动机等多种因素的影响,需要更加全面的训练过程记录,采用人工智能技术分析关键影响因素,并在训练过程中实现跟踪和监督,能够准确预测训练效果,从而及时调整训练参数和进程,保证训练效果。最后,神经反馈训练过程是一个典型的学习过程,个体的适应性、学习策略、学习过程和效果保持具有很大的个体差异和动态变化特性。