一体化多功能触摸定位传感器与人机交互

全身沉浸式体验是人机界面日益发展的趋势。人机界面管理信息系统是人与机器之间为完成既定任务而进行信息传递和交换的媒介。触摸定位传感器是一种重要的人机界面,它可以用于我们的身体与虚拟或现实世界之间的各种交互。随着人工智能的发展,基于人机界面的智能网络安全设计已经成为金融和计算行业的一个显著应用,这就需要触摸定位传感器与深度学习协同工作。对于触摸板来说,单点触摸输入可以实现简单的点击、滑动、拖动等控制,多点触摸输入可以实现图像缩放、对象控制等熟练的操作识别。触摸定位传感器从结构简单的单一功能发展到高分辨率阵列结构的多功能。目前,作为虚拟现实、增强现实和元宇宙的电子可编程交互平台的触摸定位传感器,受到功能有限、不稳定、信号干扰和电极数量多的复杂结构的限制。

An All-In-One Multifunctional Touch Sensor with Carbon-Based Gradient Resistance Elements

Chao Wei, Wansheng Lin, Shaofeng Liang, Mengjiao Chen, Yuanjin Zheng, Xinqin Liao*, Zhong Chen*

Nano-Micro Letters (2022)14: 131

https://doi.org/10.1007/s40820-022-00875-9

本文亮点

1. 设计了一种只需要两个电极的多点触摸定位传感器,器件能对物体进行多种功能控制,具有零串扰、长期耐用、响应快、稳定性高和出色的时空动态分辨等特性。

2. 提出了梯度电阻元件结构并将其用于多点触摸定位传感器的构建,所构建的器件可同时对多个触摸位置进行准确的检测和识别。

3.基于深度学习算法与触摸定位传感器,构建了一种人工智能增强的用户验证系统,能够识别、学习和记忆用户不同触摸特征,为以触摸特征识别为基础的个性化人物识别系统提供样本。

内容简介

厦门大学电子科学与技术学院陈忠/廖新勤团队联合新加坡南洋理工大学Yuanjin Zheng教授提出并证明了一种一体化多功能触摸定位传感器(AIOM触摸定位传感器),该传感器仅具有两个电极,可用于多种人机交互系统。AIOM触摸定位传感器采用了一种被称为梯度电阻元件的新型功能结构,可以同时对多个触摸位置进行准确的检测和识别,为人工智能辅助人机交互提供了多种可能性和高实用性。图形化的功能敏感材料可以用于构建用户自定义的多点触摸定位传感器,器件具有零串扰、长期耐用、响应快、稳定性高和出色的时空动态分辨等特性。AIOM触摸定位传感器凭借其独特的多点触摸传感结构和响应特性,可实现多种VA/AR应用,包括自由弹奏钢琴和通过编程控制无人机,可有效地将一个或多个动态触摸转换为设定的指令。基于AIOM触摸定位传感器和深度学习算法的增强用户验证系统,能够识别、学习和记忆人机交互中固有的用户行为特征。这项工作不仅展示了推动传感器领域突破性发展的新战略,而且提供了一种科学和技术上可行的思维方式,以构建高效和多功能的触摸定位传感器,这些探索将有利于VR、AR和元宇宙时代的发展。

图文导读

AIOM触摸定位传感器的工作原理与设计

AIOM触摸定位传感器的工作机制受到生物感觉神经系统功能的启发。在生物学上,多次指尖触碰皮肤层,相当于多次外部机械刺激,会被多个机械受体转化为短暂的受体电位,如Meissner小体(MC)、Ruffini小体(RC)、Merkel盘(MD)、Pacinian小体(PC)。受体电位产生生物突触,释放神经递质,诱导神经元效应靶细胞产生突触后电位。随后,突触后电位沿着神经纤维和脊髓传递到大脑。最后,大脑将接收到的信号解码进行分析和判断,并对这些信号做出反馈动作,如促进运动神经元对骨骼肌进行神经支配进行运动。在这个生物感觉神经系统中,有几个核心组成部分,包括将外界机械刺激转化为受体电位的机械受体、诱导突触后电位的生物突触、融合并将突触后电位传递到中枢神经系统的神经纤维及分析、判断和决策的大脑。同样,普通的触摸传感系统也由许多部件组成,包括许多敏感单元、相应的大量电极、信号转换单元阵列等,来实现多点触摸的感知、转换、传输和识别功能。这种结构的器件受限于功能有限、信号易串扰、元件与电极数量多、结构复杂等。本文提出了梯度电阻元件的结构用于构建触摸定位传感器,证明了一种只需要两个电极的多点触摸定位传感器,而不需要M×N×2 或者 M + N个电极。通过巧妙的设计,器件能对物体进行多种功能控制。这种方法消除了信号串扰,防止了电极线之间的干扰,大大降低了人机交互系统的配置要求。

图1. (a) AIOM触摸定位传感器及其人机交互概念应用示意图(左),与人类感觉系统对比(右);(b) 和(c) 图为AIOM触摸定位传感器在0、1、2机械刺激下的工作机理和相应的等效电路;(d-f) 图为坐标纸、石墨膜和银导电膜的FESEM图像和EDS光谱。
II AIOM触摸定位传感器的性能与特点
为了分析AIOM触摸定位传感器的机械感应性能,本文构建了7个梯度电阻元件的AIOM触摸定位传感器,其中石墨薄膜的电阻分别为4、8、16、32、64、128和256 kΩ。每个梯度电阻单元的电阻(R ᵢ)的设计公式为: R ᵢ = 2ⁱ⁻¹ × Rₗ,其中Rₗ和i分别为第一个梯度电阻单元的阻值和梯度阻值单元的序号。根据实验经验,选择第一个梯度电阻元件的电阻为4 kΩ进行概念验证。本文对该触摸定位传感器响应阻值的趋势,响应时间,时空动态响应,循环响应和不同频率下的触摸响应进行了测试。
图2. (a) 不同触点接触不同活动触摸位置时响应阻值的典型趋势图;(b) AIOM触摸定位传感器响应时间测试。1个到7个活动触摸按钮施加于AIOM触摸定位传感器进行外部机械刺激;(c) 基于单点触摸的AIOM触摸定位传感器的时空动态响应;(d) 基于两点触摸到七点触摸不同组合的AIOM触摸定位传感器的时空动态响应;(e) AIOM触控定位传感器在不同的触控组合下进行的循环测试;(f) AIOM触摸定位传感器在不同频率下的两点触摸响应。
III 直线形AIOM触摸定位传感器用于虚拟钢琴演奏
本文展示了一种线性交互界面,用于自由弹奏钢琴音乐。当没有触摸时,所有的活动触摸按钮都处于断开状态,直线形触摸定位传感器处于待机模式。当手指触摸一个或两个活动触摸按钮时,直线形触摸定位传感器的响应阻值会根据需求快速生成,同时驱动电路的输出电压也会相应改变。随后,利用单片机对信号进行处理和分析。最后将相应的指令传输到计算机发出声音。由于不同的触摸组合可以自由切换,输出的电压会相应地发生变化。直线形触摸定位传感器可以实现多样性的触摸组合,进而可以演奏出更多种类的音乐。

图3. (a) 驱动直线形AIOM触摸定位传感器演奏钢琴音乐的电路原理图;(b) 直线形AIOM触摸定位传感器的俯视图和正视图;(c) 直线形AIOM触摸定位传感器用于单点触摸弹奏钢琴音乐的原理图和图像;(d) 直线形AIOM触摸定位传感器用于两点触摸演奏钢琴音乐的原理图和图像;(e) 直线形AIOM触摸定位传感器的响应电阻;(f) 产生相应音调的器件响应电压变化。

IV 圆形AIOM触摸定位传感器用于无人机控制

要控制无人机的9个飞行动作,通常要求设备将9个分布式传感元件与大量电极集成在一起。但这种方式有可能产生设计空间不足、生产周期长、信号处理复杂等问题。由于制造工艺的可扩展性和设计原理的通用性,作者们设计了圆形AIOM触摸定位传感器,以用于可编程的无人机控制。圆形AIOM触摸定位传感器由两个电极、五个梯度电阻元件组成。作为一种概念证明,圆形AIOM触摸定位传感器可以附着在手背上以控制无人机。当对圆形AIOM触摸定位传感器的触摸区域进行一点或两点接触时,器件会快速产生响应信号。通过设计,只包含5个活动触摸按钮的圆形触摸定位传感器就可以操作无人机的9个飞行动作。需要注意的是,这个器件还可根据需要,开发出更多的触摸组合,进而实现无人机多样化的可编程动作控制。圆形AIOM触摸定位传感器简单的结构和功能的通用性,有效避免了传统器件复杂的互联线路结构,消除了信号传输的串扰。

图4. (a) 一种基于圆形AIOM触摸定位传感器的可穿戴控制面板,该面板具有5个工作点,可控制无人机的9个飞行动作。左下:圆形AIOM触摸定位传感器结构的俯视图;(b) 圆形AIOM触摸定位传感器对单点触摸和组合式触摸的典型响应电阻及其对应的控制命令;(c) 与无人机控制命令相关的圆形AIOM触摸定位传感器上触摸组合照片;(d)基于圆形AIOM触摸定位传感器单点触控和组合式触控无人机飞行动作的典型照片。

基于S形AIOM触摸定位传感器的深度感知学习在人物识别中的应用

在增强用户验证系统中,生物识别技术越来越多地应用于网络安全和计算机用户隐私中。敲击动力学是一种重要的生物识别技术。其主要通过不同的触摸特征来捕捉用户的个人行为数据,包括触摸位置、持续时间和触摸间隔。作者们设计并构建了S形AIOM触摸定位传感器,用于用户识别与验证的智能键盘。基于S形AIOM触摸定位传感器,作者们提出了一种人工神经网络辅助的生物识别技术。在实验中,三个用户输入了相同的字符串。由于个人习惯的不同,每个用户的按键动态信息是不同的。通过将人工智能算法与S形AIOM触摸定位传感器相结合,用户访问控制系统能够有效地学习、适应和识别用户按键行为特征信息,并对用户进行识别与认证。

图5. (a) 基于S形AIOM触摸定位传感器的智能键盘原理图及其在用户识别和验证的应用示意图;(b) 3个用户通过S形AIOM触摸定位传感器输入相同密码的照片,通过基于动态行为特征的ANN算法可以对每个用户进行准确识别和验证。

作者简介

韦超

本文第一作者

厦门大学 博士研究生
主要研究领域
微纳米电子材料及柔性可穿戴电子器件研究。

廖新勤

本文通讯作者

厦门大学 副教授
主要研究领域
柔性电子、人机交互界面、可穿戴传感器、功能材料与敏感元件、人工智能等。

主要研究成果

厦门大学电子科学系副教授,博士生导师,厦门大学南强青年拔尖人才。主要从事智能传感器制备与应用开发研究,致力于将新型功能材料、敏感元件及器件设计与国家战略性新兴智能产业需求相结合,提出一系列优化元件结构、提高器件性能与稳定性、降低成本的新途径,研制出多种新型高性能传感器,促进柔性传感器从单功能到多功能集成化发展,探索智能传感器在健康监测、康复评价、人体增强、安全预警、VR/AR等新型智能领域的应用基础。相关研究取得了从理论基础到实际应用基础的创新成果,发表SCI文章36篇(其中,以一作一区TOP文章14篇、通讯作者文章10篇、影响因子大于15的文章有17篇、3篇高被引),获授权发明专利6项。研究成果为国家重大科学研究计划、国家重大科研仪器研制项目、新加坡国家研究基金会竞争性研究计划等项目的顺利圆满完成提供重要基础,被New Scientist、Materials Views China、新华网等二十多家国际知名的科技网站、新闻媒体亮点报道。担任40余个学术期刊的审稿人。

Email:liaoxinqin@xmu.edu.cn

图片

陈忠

本文通讯作者

厦门大学 教授
主要研究领域
生物医学电子学、磁共振与医学成像、LED照明与显示、信号和图像处理。

主要研究成果

闽江学者特聘教授,厦门大学电子科学与技术学院(国家示范性微电子学院)院长,厦门大学电子科学系教授、博士生导师,享受国务院政府特殊津贴专家,是厦大物理系、通讯系、化学系、机电工程系和人工智能研究院兼职教授。主要从事光电照明与显示技术、生物医学电子学及其应用研究,是厦门大学电子科学与技术一级学科博士点和博士后流动站学科带头人。现为中国物理学会理事,中国波谱学专业委员会副主任委员,厦门大学国家集成电路产教融合创新平台执行主任,福建省半导体照明工程技术研究中心主任,福建省半导体照明与显示行业开发基地主任,厦门市光电协会副理事长。已主持国家863计划、国家科技支撑计划、国家自然科学基金科学仪器专项和重点等重要科研项目30余项,授权发明专利128件(其中美国专利4件),发表论文中SCI收录500余篇,参与撰写国际科研专著6部章和合作编写教材5部,获得省部级科学技术一等奖3项和二等奖5项。

Email:chenz@xmu.edu.cn

撰稿:原文作者

编辑:《纳微快报(英文)》编辑部
关于我们

Nano-Micro Letters《纳微快报(英文)》是上海交通大学主办、在Springer Nature开放获取(open-access)出版的学术期刊,主要报道纳米/微米尺度相关的高水平文章(research article, review, communication, perspective, highlight, etc),包括微纳米材料与结构的合成表征与性能及其在能源、催化、环境、传感、电磁波吸收与屏蔽、生物医学等领域的应用研究。已被SCI、EI、PubMed、SCOPUS等数据库收录,2021JCR影响因子为 23.655,学科排名Q1区前5%,中科院期刊分区1区TOP期刊。多次荣获“中国最具国际影响力学术期刊”、“中国高校杰出科技期刊”、“上海市精品科技期刊”等荣誉,2021年荣获“中国出版政府奖期刊奖提名奖”。欢迎关注和投稿。
Web: https://springer.com/40820
E-mail: editor@nmlett.org

Tel: 021-34207624

如果文章对您有帮助,可以与别人分享!:Nano-Micro Letters » 一体化多功能触摸定位传感器与人机交互

赞 (0)