研究背景
先进的人工视觉技术在智能家居、自动驾驶汽车和人形机器人等领域发挥着至关重要的作用。这些系统通常采用基于冯·诺依曼架构的互补金属氧化物半导体(CMOS)集成电路进行设计,但这种设计方法面临“内存墙”和“功耗墙”问题,限制了其在人工智能领域的发展。相比之下,人类视觉系统具有较高的能效比,这源于视网膜能够即时感知并初步处理光线,以及大脑视觉皮层中的并行处理机制能够快速、准确地处理视觉信息。例如,人类视网膜中的突触可塑性可有效提取关键视觉特征并减少数据冗余,从而加速视觉皮层的处理。为了模拟这种高效的生物视觉机制,开发具有感知和记忆行为的人工视觉系统是实现仿生眼和仿生机器人的关键。
Low Energy Consumption Photoelectric Memristors with Multi‐Level Linear Conductance Modulation in Artificial Visual Systems Application
Zhenyu Zhou, Zixuan Zhang, Pengfei Li, Zhiyuan Guan, Yuchen Li, Xiaoxu Li, Shan Xu, Jianhui Zhao, Xiaobing Yan*
Nano-Micro Letters (2025)17: 317
https://doi.org/10.1007/s40820-025-01816-y
本文亮点
1. 开发了一种新型光忆阻器,其单脉冲低能耗为187 pJ,多脉冲线性度高达0.996。
2. 利用光电突触特性,在3×3阵列中实现了长期记忆,并在64×64模型中对女性面部特征识别的激活率超过92%。3. 利用光突触的连续响应特性,设计了一种具有自动夜间会车功能的智能驾驶系统。
内容简介
光突触具有感知和记忆视觉信息的能力,有望为人类提供更智能、高效的视觉解决方案。作为一种新型人工视觉感知器件,光电忆阻器能够充分模拟突触性能,在生物视觉发展方面具有广阔前景。然而,由于存在非线性电导和高能耗等亟待解决的问题,其进一步应用于高精度控制场景及集成化受到阻碍。河北大学闫小兵等人报道了一种结构为TiN/CeO₂/ZnO/ITO/Mica的光电忆阻器,该器件可在单脉冲(0.5 V,5 ms)下实现最低能耗(187 pJ)。在连续脉冲刺激下,线性度可达99.6%。此外,该器件在光电协同作用下具备多种突触功能,可用于高级视觉。通过利用其典型的长期记忆特性,在3×3突触阵列中实现了图像识别和长期记忆,并进一步实现了女性面部特征提取行为,激活率超过92%。此外,我们还利用该器件的线性响应特性,在硬件平台上设计并实现了自动驾驶汽车的夜间会车行为。本研究凸显了光电忆阻器在推进神经形态视觉系统方面的潜力,为仿生眼和视觉自动化技术提供了新方向。
图文导读
I 光电忆阻器在光突触中的作用
在人类视觉系统中,光学信息首先被视网膜捕获并转换成神经信号,这些信号随后被传输到大脑进行处理以进行视觉记忆和识别。该过程主要通过突触完成,当神经冲动抵达时,突触释放神经递质,从而实现信号传递与处理(图1a)。因此,设计了具有TiN/CeO₂/ZnO/ITO/Mica结构的新型光电忆阻器器件(图1b)。该器件不仅展现出优异的光感知能力,还能高效实现光电信号的转换与存储。同时,其具有良好的线性光响应性能(图1c),为基于高线性电导调制的视觉仿生应用提供了可能。此外,该器件的长时遗忘率使其能够模拟人类视觉记忆,实现图像的长期存储(图1d),进一步验证了其在基于人工视觉特征的人脸识别领域的应用潜力。
图1. 仿生视觉系统。a 生物突触示意图。b 结构为TiN/CeO₂/ZnO/ITO/Mica的光突触器件。c 光突触性能。d 基于该器件完成的仿生应用。
II 多级线性增量电导调制
当器件接受不同时长(405 nm,50 mW)光照时,其I-V曲线呈上升趋势(图2a)。传统互补金属氧化物半导体(CMOS)电路每个脉冲能耗约为900 pJ;然而,该器件在0.5 V工作电压下单个脉冲最低能耗仅约187 pJ(图2b);此能耗显著低于传统CMOS及多数已报道的神经形态器件。外界光刺激变化可引发突触可塑性改变,随着光强增加(分别为20、50和100 mW,如图2c所示)、光照时长延长(1-10 s,如图2d所示)及光脉冲数增多(1-6个,脉冲宽度2 s,间隔30 s,如图2e所示),器件的突触后电流(PSC)逐渐增大,且随着光电流增大,其衰减时间也逐渐延长,表现出良好的可塑性。PSC与光照时长及脉冲数间良好的线性关系(R2分别为0.969、0.993,如图2f、g所示)表明,该光电忆阻器可实现良好的线性调控,在高精度场景中具有更优的应用潜力,这对大多数生物光学传感器在信息处理中实现不同功能的精确性能至关重要。
图2. TiN/CeO₂/ZnO/ITO/Mica结构光突触特性。a 不同光照时间(0-10 s)下的I-V曲线。b计算得到的器件在0.5 V下的功耗。c 器件在不同功率(20、50和100 mW)及5个连续光脉冲条件下的响应电流。d 相同光照条件下,器件对不同时长(1-9 s)光脉冲的响应电流。e 突触后电流(PSC)对一系列相同时长、不同脉冲数(1-6)光脉冲的响应。f PSC随光脉冲时长的变化关系。g PSC随光脉冲数的变化关系。
双脉冲易化(PPF)反映了突触神经递质释放受相同刺激脉冲间时间间隔的影响(图3a、b)。PPF比率随∆t增大呈指数衰减(图3c),这表明光突触在模拟生物学习模式方面具有潜力。在频率为0.01 Hz、时长为20 s的10个光脉冲序列刺激下,器件的突触后电流(PSC)响应在第10个脉冲(A₁₀)时显著高于之前任一脉冲(图3d、e),这是由于器件中光子诱导的载流子在短时间间隔内未被完全消耗,后续光脉冲导致载流子进一步线性(R2 = 0.996)积累。此外,PSC增益(A₁₀/A₁)随脉冲频率降低而减小,且通过改变光脉冲序列间的频率,器件的PSC响应可从PPF转换为双脉冲抑制(PPD)(图3g)。再学习所需时间远短于初始学习时间,这一行为也在本器件中得以实现:首次学习并遗忘后,器件在20个光脉冲内即可恢复至先前学习水平,如图3h所示。
图3. 利用光突触器件模拟双脉冲易化(PPF)与双脉冲抑制(PPD)。a 生物突触在双前突触动作电位触发下,于不同时间间隔(Δt)的示意图。b 由间隔时间为1 s的一对前突触光脉冲(50 mW,脉冲宽度1 s)触发的突触后电流。c PPF指数随光脉冲间隔时间Δt变化的曲线。d 由10个连续光脉冲引发的器件PSC调制。e PSC随光脉冲数的变化,以及PSC与光脉冲数的函数关系及线性拟合,表明具有良好的线性度。f PSC增益随光脉冲频率的变化。g 通过改变脉冲间的时间间隔,实现PPF到PPD的转换。h 模拟人脑的“学习-遗忘”行为,在学习阶段后,较少的刺激即可使器件在遗忘过程后恢复记忆电流。
III 视突触在视觉感知场景中的应用
利用由该器件组成的3×3阵列(图4a)验证了对人类视觉感知行为的模拟效果,并收集了九个器件在不同光脉冲数量下的存储与遗忘时长数据。当仅观察一次图像时,器件的突触后电流(PSC)会随时间逐渐遗忘;而当观察次数从1次逐渐增加至5次甚至10次时,器件突触权重的衰减程度越来越小,即遗忘程度逐渐降低(图4b、c)。在单次观察时,器件能清晰显示字母“L”的图像,但随着遗忘时间的延长,图像逐渐模糊,至90秒时仅残留微弱痕迹(图4d)。而当观察次数增加至5次甚至10次时,图像的记忆水平显著提升,即使遗忘时间达到90秒,图像仍清晰可辨(图4e、f)。
图4. 人类视觉图像记忆功能的验证。在遗忘时间为90秒时,器件在a一次观察、b两次观察和c三次观察后的光响应;d一次观察后的光响应图像映射;e三次观察和f十次观察后的光响应图像映射。
通过将图像中面部特征的光信号(灰度强度)归一化以适配突触器件的检测范围,首先利用九张展现不同表情和角度的女性灰度面部图像对突触阵列进行训练,并成功从中提取出记忆电流映射(图5a)。由于部分阵列的记忆电流较高,选取其中一部分作为面部识别模型(图5b),该模型利用器件在不同辐照时间下的瞬态光响应电流来预测面部特征。在此模型中,每个突触器件可根据执行条件自适应调整其响应。如图5c所示,当突触接收到女性面部图像的重复视觉信号时,其瞬态光响应电流将超过预设的执行阈值并被激活;若非目标图像,则保持闲置状态。此外,使用六张示例面部图像对视觉系统的面部识别功能进行了测试。结果表明,男性面部图像的激活率低于70%(图5d),而特定女性面部图像的激活率超过92%,即使在噪声干扰下仍表现出较高的识别准确率(图5e、f)。
图5. 用于面部识别的人工视网膜。a 人工视网膜模型训练示意图:将来自九张女性面部图像的光信号输入至模拟的64×64突触阵列,以生成记忆电流映射。记忆电流较高的位置对应于面部反光较强的区域。b 选择部分突触阵列用于监测面部识别。c 模型中界定激活状态与闲置状态的执行条件。d 男性面部识别演示。e和f 女性面部识别演示。
应用于无人驾驶汽车会车控制系统,当两车在夜间相向行驶且逐渐靠近时,系统处于“直行”(S)状态,此时光突触通过感知增强的光强,其突触权重逐渐增大(图6a)。当突触电流达到预设阈值(图6b)后,经放大器和微控制器处理,系统通过蓝牙向车辆发送“右转”指令,引导车辆进入“右转”(R)状态完成会车动作。整个过程如图6c所示。在全过程结束时,光线消失,光突触器件的突触权重逐渐回落至设定阈值以下,确保了系统的可靠性和可重复使用性。
图6. 双向会车系统的实现。a 双向会车系统示意图。b 设备实时输出的线性突触权重(及突触电流),当达到阈值区间时触发会车行为。c 夜间车辆会车演示,主要展示“直行(S)”“直行(S)”“右转(R)”“左转(L)”四种状态。
IV 总结
本研究报道了一种基于TiN/CeO₂/ZnO/ITO/云母结构的人工光电忆阻器。该器件展现出极佳的线性电导调制特性(线性度达0.996)与低能耗(约187 pJ),成功模拟了双脉冲易化(PPF)、双脉冲抑制(PPD)、短时程记忆(STM)、长时程记忆(LTM)等突触特性,以及单器件的”经验学习”行为和”巴甫洛夫”条件反射行为。在不同光照条件下,器件均表现出稳定的光感知性能。特别地,通过利用超长遗忘时间特性,该器件模拟了人类视觉的图像记忆功能——在重复观察图像10次后,记忆时间可长达8000秒,展现出优异的记忆保持能力。基于器件在不同辐照时长下的线性电导调制特性,本研究设计并模拟了面部识别功能,在不依赖复杂人工神经网络的情况下实现了92.88%的高面部特征提取激活率,并表现出一定的抗噪声能力。更重要的是,借助其光响应的线性增长特性,本研究设计了无人车辆夜间会车行为的硬件系统,通过光电忆阻器的突触行为实现了精准可靠的会车控制,为无人智能系统的应用提供了有力支持。该研究表明,基于TiN/CeO₂/ZnO/ITO/云母的人工光电突触器件能够成功模拟生物视觉记忆系统,有效拓展了人工智能的应用范畴。
作者简介
关于我们
Nano-Micro Letters《纳微快报(英文)》是上海交通大学主办、在Springer Nature开放获取(open-access)出版的学术期刊,主要报道纳米/微米尺度相关的高水平文章(research article, review, communication, perspective, highlight, etc),包括微纳米材料与结构的合成表征与性能及其在能源、催化、环境、传感、电磁波吸收与屏蔽、生物医学等领域的应用研究。已被SCI、EI、PubMed、SCOPUS等数据库收录,2024 JCR IF=36.3,学科排名Q1区前2%,中国科学院期刊分区1区TOP期刊。多次荣获“中国最具国际影响力学术期刊”、“中国高校杰出科技期刊”、“上海市精品科技期刊”等荣誉,2021年荣获“中国出版政府奖期刊奖提名奖”。欢迎关注和投稿。
Web: https://springer.com/40820
E-mail: editor@nmlett.org
Tel: 021-34207624
如果文章对您有帮助,可以与别人分享!:Nano-Micro Letters » 河北大学闫小兵等:低能耗光电忆阻器在人工视觉系统中实现多级线性电导调控