Nature Communications:复杂光下多维视觉信息处理,利用时间演变的环境极化敏感神经突触器件
受生物视觉系统启发的光电突触集成了感知、记忆和处理外部信息感知。然而,大多数研究都集中在空间扩展上,而忽视了极化和时间演化等关键维度,这些维度对于复杂环境中的信息提取至关重要。受翠鸟视觉偏振敏感特性的启发,我们开发了一种基于PEA2SnI4微丝阵列的偏振敏感光电突触阵列器件。它们的各向异性特性确保了偏振识别,实现了1.38的二色性比。不对称电极设计创造了差异化的接触势垒,在低功耗下促进了高效的电荷存储和擦除。通过采用四个偏振态相关卷积核,该设备即使在50%的椒盐噪声下也能显示出边缘提取能力。此外,它能够实现高精度的传感器内水库计算,在复杂的光环境下提取鱼类轨迹的准确率为100%。这项工作展示了复杂环境中的运动感知,并为开发用于智能传感和识别的多维时间分辨视觉系统奠定了基础。
2025年7月,相关研究成果以“Multi-dimensional visual information processing under complex light environments using time-evolved polarization-sensitive synaptic electronics”为题发表在国际顶级期刊Nature Communications上,北京理工大学沈国震教授、李营副教授为论文的共同通讯作者。
传统的人工视觉系统旨在忠实地重建光强的空间分布,从而能够捕获二维(2D)图像。然而,这些系统往往无法捕捉到其他关键的信息维度,如偏振和时间演化,这些维度对于全面理解视觉场景至关重要,例如识别高反射汽车前挡风玻璃后面的面部信息,或识别耀眼水面下的鱼类类型和数量。在自然界中,许多生物具有偏振视觉以获得生存优势,为多维视觉感知提供了有效的解决方案。例如,蜣螂利用其背侧复眼中独特的微绒毛结构,通过检测偏振光在弱光条件下导航和觅食。翠鸟的视觉系统表现出偏振敏感性,有效地减少了表面反射干扰,并允许精确追踪猎物。受生物视觉系统的启发,偏振敏感成像系统通过揭示物体的其他物理特性,如纹理、形状和反射率,显著提高了识别精度并扩大了应用可能性,从而推动了多维视觉成像系统的发展。因此,偏振敏感光电器件的发展有利于解决传统视觉的局限性。
到目前为止,已经开发了许多可以识别光极性的光电探测系统。然而,偏振光电探测器只能将入射光子转换为电信号,需要额外的存储器和信号处理器来处理成像信息,这限制了数据处理的速度和质量。幸运的是,生物视觉系统对图像信息的高效处理提供了一个有价值的参考,因为它们固有地集成了传感、存储和处理能力。视觉刺激可以被视网膜中的光感受器捕获,并快速传输到大脑的视觉皮层,在那里它们以最小的能耗被有效地处理。因此,生物启发的神经形态视觉传感器有望解决这个问题,并受到了相当大的关注,因为它们通过在单个设备中结合光敏和突触功能来模拟传感器计算。目前,光电突触系统发展迅速,显著提高了其识别时间特征和扩展空间分布的能力。然而,目前的人工视觉系统在复杂光线下检测和处理视觉信息方面仍然有限。这种限制限制了它们提高识别精度和扩展多维感知的能力。为了应对这一挑战,有必要开发能够同时检测空间分布、时间演化和偏振信息的先进多维视觉传感器,从而在视觉场景和传感器之间的交互过程中增强特征提取。
在这项工作中,我们提出了一种基于PEA2SnI4微丝阵列的偏振敏感光电突触(PSOS)阵列器件。高度取向的微丝和不对称晶体结构的光学各向异性确保了精确的偏振识别,并实现了1.38的二色性比。通过设计不对称电极,在金属-半导体界面处构建了差异化的接触势垒,从而在低功耗下实现了高效的电荷存储和擦除。Sn空位占主导地位的记忆特征模拟了神经系统的各种突触功能,包括兴奋性/抑制性突触后电流(EPSC/IPSC)、成对脉冲促进(PPF)、短期突触可塑性(STP)和长期突触塑性(LTP)。
在此基础上,开发了四个偏振态相关卷积核,即使在50%的椒盐噪声条件下也能实现显著的边缘提取。此外,PSOS设备的16个可区分的编码状态被用作传感器内储器,并应用于复杂光条件下的动态轨迹提取任务。受益于该设备的偏振敏感特性,它有效地减轻了眩光对成像质量的影响。卓越的偏振敏感光电突触有助于在复杂的光照条件下以100%的准确率识别和提取移动鱼的轨迹。这项工作为多维感知和时间进化视觉系统的发展提供了可能性,展示了从复杂条件中提取目标特征的能力。