松山湖材料实验室林生晃&湖南大学杨蓉：多模态神经形态器件与集成

研究背景

在物联网技术蓬勃发展的驱动下，智能传感环境正变得日益复杂，这对具备实时、低功耗多感官感知能力的神经形态系统提出了迫切需求。传统感官架构因受限于单模态处理模式和集中式计算范式，难以适应多样化、动态化的输入条件要求。而多感觉神经形态装置通过模拟生物系统的分布式、事件驱动处理机制，展现出极具潜力的解决方案。不过，多感觉神经形态装置在信号转换效率、编码兼容性以及融合异构输入时不丢失感官信息等方面仍面临挑战。这些局限性进一步凸显出深入探究多模态神经形态系统所涉及的物理机制与融合原理的必要性。

Multisensory Neuromorphic Devices: From Physics to Integration

An Gui, Haoran Mu*, Rong Yang*, Guangyu Zhang, Shenghuang Lin*

Nano-Micro Letters (2026)18: 113

https://doi.org/10.1007/s40820-025-01940-9

本文亮点

1. 全面概述了神经形态硬件中支持多模态信号处理的物理机制、设备行为和集成策略。

2. 探讨了多模态整合的实施策略，包括信号融合方法和处理跨模态刺激的处理技术。

3. 将多模态神经形态装置分为三个不同的框架，并全面讨论了各自的优势和局限性。

内容简介

随着物联网时代的推进，神经形态器件/系统的应用场景和模态识别需求变得日益多样化，这推动了对多模态/多任务识别研究热情的不断高涨。在此基础上，松山湖材料实验室林生晃&湖南大学杨蓉深入梳理了多模态神经形态器件背后的复杂物理机制，重点关注六种不同的电阻切换机制：电荷捕获、离子迁移、电化学掺杂、导电丝形成、铁电极化和相变。这些机制在感知各种输入信号时的工作原理得到了系统性的阐明。还对它们在多模态感知中的实现策略进行了全面分析，并将多感官神经形态器件分为三个架构类别。针对每个类别，探讨了各种多感官融合方法和信号处理技术，旨在有效地处理多感官刺激并构建高效的神经形态感知系统。文章最后对多模态感知系统当前面临的挑战进行了全面总结，并对未来的发展方向提出了前瞻性的展望。

图文导读

I 多感觉神经形态装置融合框架分类

如图1所示，多模态神经形态器件可同步感知电、光、压力、声音、气体、湿度、温度及化学等多种信号。基于核心原理、硬件配置与场景适配性的差异，研究团队创新性地将此类器件分为三大架构体系：单忆阻器型、单传感器+单忆阻器融合型，以及多传感器+单忆阻器融合型。其中，多传感器+单忆阻器架构采用高性能离散传感器阵列精准捕捉各模态信号，实现高精度、宽频带的信号采集，忆阻器仅需处理预编码后的信号，大幅降低设计复杂度。单传感器+单忆阻器架构通过硬件整合显著减少冗余组件，消除多传感器同步难题，同时提升抗噪性能与系统稳定性。而单忆阻器架构则将传感与计算功能深度集成于均匀忆阻元件中，实现硬件复杂度最小化，且全程无信号转换损耗，从而达成低延迟操作与超低功耗运行。

图1. 多感觉神经形态装置示意图。

II 不同电阻切换机制对多模态信号的响应

在多模态神经形态器件中，不同输入刺激引发的突触可塑性变化会直接影响系统构建效果。这类器件通过模拟生物突触特性，利用导电丝、离子迁移、电荷捕获、电化学掺杂、相变、铁电效应等多种电阻切换机制实现功能(图2)。这些机制的具体实现方式由材料选择和器件结构设计决定。要构建高效器件，必须明确哪些突触机制更利于多感官整合，并厘清多感官信号融合的底层机制与原理。其中，电荷捕获机制在六类主流电阻切换机制中表现最突出的多模态检测能力，这源于陷阱态对光、电、热等多种外部刺激的天然敏感特性。不同于受限于特定材料相态、离子种类或晶格对称性的其他机制，这种敏感性广泛存在于缺陷半导体与绝缘体的界面或材料本体区域，为多模态信息协同处理提供了普适性物理基础。

图2. 神经形态装置对多模态输入刺激的物理机制映射。

2.1电荷捕获与去捕获

图3 电荷捕获型突触器件处理多模态刺激。

在上述六种电阻切换机制中，基于电荷捕获机制的神经形态器件可以感知最多种类的信号，如光、电、温度、化学、压力、气体和语音信号。多模态神经形态器件借助缺陷捕获机制实现多模态感知，其核心在于缺陷类型的多样性及特定模式间的相互作用。以空位缺陷为例(如二硫化钼中的硫空位)，通过调控光生载流子动力学，可主导光学与电子信号的检测过程。尤为关键的是，缺陷的空间分布特征与动态响应特性进一步强化了器件功能。这些缺陷常形成相互连通的导电网络(如忆阻器中的导电细丝)，外部信号会以差异化方式调节局部路径的连通性，从而产生不同的响应特性。基于电荷捕获机制的神经形态器件，其感知能力从单模态向多模态的演进，本质上根植于缺陷耦合与动态演化过程。此外，缺陷分布可在外部场调控下发生动态演化，从而实现器件功能的重构，使其自适应于多模态感知与开关需求。

2.2 离子迁移

图4 离子迁移型突触器件处理多模态刺激。

神经形态器件通过离子迁移实现多模态感知的核心机制在于离子迁移对多物理场刺激的高度敏感性及其动态可重构性。这一能力源于离子运动的统一物理机制，该机制能够将来自光、电、热、化学、压力等多种能量模态的输入信号，转化为非线性电导或电阻变化，从而模拟生物突触的可塑性。离子迁移本质上具备多物理场耦合特性：因其对多种能量模态响应灵敏，可自然充当多模态信号的转换媒介。无论外部刺激形式如何，最终都通过调控离子迁移速率或路径来改变材料的电导率，实现跨模态信号转换。此外，离子迁移的动态可重构性进一步扩展了器件功能。外部场(如电场、光场)能够实时调控离子迁移路径与空间分布，使器件具备自适应感知与学习能力。例如，通过光强和电场的协同调控，可调整氧化物材料中氧空位的迁移行为，从而按需在光学感知模式与电学感知模式之间切换。这种可重构性模拟了生物系统依据环境背景优先处理不同感官输入的能力，为发展情境感知神经形态计算奠定了基础。

2.3 导电细丝

图5 导电丝型突触器件处理多模态刺激。

基于导电丝机制的神经形态器件，其实现多模态感知(如光、电、温度、湿度、压力等)的核心原理，在于一个统一的物理过程——导电丝的动态形成与断裂。该过程对各种物理信号均具有高度敏感性，并集成了非线性响应、动态可重构性及类脑特性。导电丝的形成与断裂可由不同物理场调控，使得各类外部信号均可通过这一相同的动态丝状过程转化为电阻变化。这种统一性简化了多模态信号融合的硬件设计，有助于实现感知与计算的一体化。此外，导电丝的形成通常需要克服特定的能量阈值(如电压、光强或温度)，从而表现出非线性的开关行为，这与生物神经元触发动作电位的机制高度相似。导电丝的形态参数(如长度、分支、密度)能够通过外部场进行实时动态重编程，进而实现功能切换与自适应感知。通过合理的材料设计与外场调控，还可以进一步实现信号的选择性响应与协同增强效应。这种集通用信号转导、生物启发非线性与现场可编程适应性于一体的特点，为在硬件层面实现生物多感觉整合与先进神经形态计算提供了关键的物理基础。

2.4 铁电性

图6 铁电性型突触器件处理多模态刺激。

神经形态器件基于铁电机制实现多模态感知(如光学、电学、压力等)，其核心原因在于铁电材料兼具多物理场耦合能力与极化动力学的均匀可调特性。铁电材料中的自发极化方向能够直接或间接地受多种物理场调控，从而构成了统一的信号转导机制。各类外部刺激最终均通过极化方向或强度的动态变化转化为电学响应(如电阻、电容变化)，这不仅免去了分立传感器的需求，也支持在硬件层面直接实现信号融合。此外，铁电极化机制还展现出诸多类脑特性，包括非易失性存储、非线性阈值响应、高能效以及良好的环境适应性。

2.5 相变机制

图7 相变型突触器件处理多模态刺激。

神经形态器件基于相变机制实现多模态感知，其核心在于相变材料所具有的固有能力——能够将来自光、电、温度等不同物理信号的能量统一转化为内部相态的非线性转变，并直接通过相相关的电学特性输出响应。这种多模态感知的实现，依赖于结晶态与非晶态之间可逆相变所引发的电阻与光学性质的显著变化，从而实现对不同信号类型的检测与区分。此外，这类器件还能利用触发信号在能量阈值、时间尺度或脉冲形态上的固有差异，诱发对应于不同模态的相变过程，实现信号的有效分离。这种“多输入–单状态–单输出”的机制，不仅克服了传统传感器分立设计的局限，也从物理层面模拟了生物神经元的多感觉信息整合能力。

2.6 电化学掺杂

图8 电化学掺杂型突触器件处理多模态刺激。

电化学掺杂因其能够通过离子迁移与多种能量形式直接耦合而展现出独特的优势。该机制具备自适应可逆性，掺杂状态可在反向电场或离子扩散作用下恢复至初始状态。同时，基于离子-分子相互作用的直接信号转换方式，赋予该机制对气体、湿度、pH等化学环境变化的内在响应能力。神经形态器件基于电化学掺杂实现多模态传感，关键在于该机制深度整合了两种关键功能：一是对不同物理/化学信号的统一转换能力，二是依托离子迁移实现类生物水平的动态响应调节。这种机制不仅在能量转换形式上具备通用性，其仿生特性也与生物神经元通过离子通道调控信号的行为高度契合。

III 多模态信号数据融合

依赖单一模态信号处理进行决策的神经形态系统往往由于信号的随机性、不完整性以及信息提取过程中的噪声放大而面临固有的不确定性。缺乏跨模态验证机制进一步限制了其感知的稳健性。为了解决由单一信号处理能力所导致的环境适应性不足和信息冗余缺失的问题，直接的解决方案是实施多模态感官融合。多模态神经形态系统能够实现多维数据整合，通过互补信息同时处理视觉、触觉、听觉和其他信号，以减轻单个模态的局限性。这些系统表现出更强的环境适应性，在复杂场景(如低光或高噪声环境)中能够通过利用冗余数据保持稳定的感知。此外，它们的优越的鲁棒性和容错性通过在特定模态出现故障时利用其他感官输入来确保操作的连续性而得以保证。

图9基于单忆阻器实现的多模态感知。

传统感知系统通常依赖多个分立式传感器与专用处理单元，导致硬件结构复杂、体积较大且功耗偏高。同时，传感器间的信号转换往往需要额外的模数转换器与接口电路，带来显著的信号与能量损耗。相比之下，基于单忆阻器的多模态系统，直接利用了忆阻材料的多物理场响应特性，无需引入独立的传感器件。该架构的核心优势在于其高度简化的硬件结构与出色的集成密度。忆阻器的核心特性在于其动态电阻记忆效应：电导值能够依据输入信号的积分或脉冲特性发生持续性变化，这一过程与生物突触的可塑性高度相似。基于此，忆阻器可利用自身的电导状态(或电阻值)直接捕获多模态输入的时空相关性，从而为实现多模态信号融合提供内在的物理基础。

在单忆阻器多模态传感系统中，主要采用两种架构思路。第一种架构基于多层忆阻器堆叠，每层功能层专用于响应特定信号模态。例如，常采用机械发光层，将机械刺激实时、原位地定量转换为光信号。系统中输入电压按比例分配至各层，其电导变化率由对应信号的强度决定。第二种架构则直接选用多场敏感忆阻材料(如氧化物-有机复合材料)，其电阻(电导)能同步响应多种物理量(温度、压力、光、化学物质等)。

在多模态信号融合方面，常见的方法包括基于忆阻动态特性的自适应融合，通过建立电导演化方程整合多物理参数的协同效应，并借助脉冲时序与宽度的调控，实现对各模态贡献权重的调节。另一种策略是动态编码，主要包括时 幅混合调制与频分复用。时 幅混合调制将低频参数(如温度)通过直流或缓变电压映射为稳态电导变化，同时将高频参数(如振动)通过叠加载波激励进行编码，利用忆阻的阈值切换等动态响应来捕捉瞬态信息。在频分复用中，为每个物理量分配不同的激励频率，通过频域分析将模态贡献分解到电导中。

图10单传感器忆阻器集成用于多模态传感。

在基于单个传感器与单个忆阻器的系统中，传感器通常采用摩擦纳米发电机(TENG)来检测压力信号，而忆阻器则集信号检测、融合与存储三种功能于一体。传统的架构将TENG直接连接至忆阻器的端口或栅极。TENG将机械刺激转换为动作电位信号并传输给忆阻器，该信号直接调控忆阻器的电导状态，与忆阻器自身对光、温度等物理量的固有响应电位相协同，从而实现多模态信号的耦合。在此类架构中，主要的融合策略是动态权重自适应融合，即通过算法实时调整压力信号与忆阻器衍生信号之间的权重占比。

另一种架构则引入专用的信号处理模块(如脉冲编码器或模数转换器)，先将TENG检测到的模拟压力数据转换为电脉冲或光脉冲。这些脉冲通常具有可调的幅度、频率或宽度。处理后的脉冲信号再被输入忆阻器，用以动态调节其突触权重。在此类设计中，基于脉冲编码的时空融合占据主导地位：压力信号被编码为脉冲序列，而忆阻器自身由光或温度触发产生的响应则表现为另一种脉冲形式。随后，两者通过尖峰时序依赖可塑性等突触规则进行融合。压力脉冲与忆阻器响应脉冲之间的时间相关性被用于动态调整电导权重，从而实现自适应的多模态整合。

图11忆阻器-多传感器集成用于多模态传感。

在多传感器与单忆阻器构成的多模态系统中，各传感器可被独立定制以适配目标信号，通过化学/生物传感器与物理传感器的协同工作，有效扩展了系统的感知维度。每个传感器独立检测特定物理量，从根本上避免了信号串扰。当单个传感器失效时，其余传感器仍能持续提供部分模态数据；各传感器可独立设定测量范围，以防止信号饱和。忆阻器则采用切换机制，依次处理来自不同传感器的信号，从而显著降低瞬时负载。

通常，多个传感器首先将感知信号转换为电压信号。传统的多模态融合方法通常将这些电压信号传输至专用的处理模块(如信号耦合模块、环形振荡器或脉冲编码器)进行转换，输出形式可能包括固定频率脉冲序列、幅度与频率调制的电压脉冲，或频率与宽度可调的光脉冲。转换后的信号随后被送入忆阻器，以动态调节其突触权重。为解决不同传感器与忆阻器之间的阻抗匹配问题，可通过引入缩放电阻器，将各传感器的运行电阻调整至与忆阻器兼容的范围。

IV 总结与展望

本文系统梳理了神经形态硬件中多模态信号处理涉及的核心物理机制、器件特性与系统集成方案，重点阐述了多模态信息融合的实现路径，包括信号整合方法与跨模态刺激的协同处理策略。同时，将现有多模态神经形态器件归纳为三类主要架构，并逐一剖析其优势与局限，从而为构建高性能神经形态系统提供理论依据与实践指引。

多模态神经形态感知系统的未来发展，将围绕硬件创新、算法融合与场景突破三大方向展开。一方面，通过仿生硬件与异构集成技术的进步，实现多模态传感器与神经形态器件在结构与功能上的深度融合，从而更精准地模拟生物系统的并行处理机制。另一方面，随着光电化学多场耦合器件、通感协同设计框架及情境自适应算法的持续成熟，系统的环境适应性能与能源效率将得到显著提升。相关进展有望广泛应用于机器人、自动驾驶、医疗电子等领域，最终推动“感知-决策-行动”闭环向更高程度的自主化与智能化演进。

作者简介

关于我们

Nano-Micro Letters《纳微快报(英文)》是上海交通大学主办、在Springer Nature开放获取(open-access)出版的学术期刊，主要报道纳米/微米尺度相关的高水平文章(research article, review, communication, perspective, highlight, etc)，包括微纳米材料与结构的合成表征与性能及其在能源、催化、环境、传感、电磁波吸收与屏蔽、生物医学等领域的应用研究。已被SCI、EI、PubMed、SCOPUS等数据库收录，2024 JCR IF=36.3，学科排名Q1区前2%，中国科学院期刊分区1区TOP期刊。多次荣获“中国最具国际影响力学术期刊”、“中国高校杰出科技期刊”、“上海市精品科技期刊”等荣誉，2021年荣获“中国出版政府奖期刊奖提名奖”。欢迎关注和投稿。

Web: https://springer.com/40820

E-mail: editor@nmlett.org

Tel: 021-34207624

如果文章对您有帮助，可以与别人分享！：Nano-Micro Letters » 松山湖材料实验室林生晃&湖南大学杨蓉：多模态神经形态器件与集成