柔性触觉神经形态器件已成为人机协同发展的重要动力,然而,用人工智能实现其功能并进一步超越人类智能还面临着许多障碍与挑战。在这项工作中,研究团队提出了一种可拉伸自供能三维遥感触觉器件(3D remote tactile device, 3D-RTD),其通过导电-介电异质结构实现对外界物体在景深方向(depth-of-field, DOF)机械运动的感知。该器件能够通过感知信号的正/负、频率及振幅与外界物体DOF运动建立精确的逻辑关系。其感知机制通过静电场理论和多物理场模拟来揭示,感知性能通过微观/宏观交互的人工-生物混合系统进行验证。最后,作为神经界面贴片,3D-RTD的感知增强和辅助交互功能在避障场景中进行了演示,即大鼠在昏暗的环境中行走,在非接触状态下感受到潜在危险并传递信号给大脑,同时发生动作反馈,实现感觉-感知-交互全过程,这是传统的二维接触式传感器无法实现的。该工作展示了3D-RTD的场景联系与逻辑识别能力,并可与生物感知相结合,为多模态神经形态器件和类脑智能提供了一种新的选择。
10月26日,中国科学院深圳先进技术研究院-神经工程中心邰艳龙研究员、李光林研究员与德国马克思普朗克聚合物研究所有机电子研究团队Prof. Paschalis Gkoupidenis合作,以“An artificial remote tactile device with 3D depth-of-field sensation”为题在Science Advances上发表文章,朱珊珊助理研究员为第一作者。
图1 文章线上截图
图2 一种超越皮肤功能的三维景深触觉器件
为了评估3D-RTD作为虚拟突触的信息传递与连接功能,将其与大鼠的骨骼肌系统集成。当外界运动物体的DOF运动触发3D-RTD时,人工系统则激活大鼠后肢肌肉产生运动。如图3所示两个系统: (I) 3D遥感触觉系统(3D-RTS)和 (II) 刺激和力测量系统。
图3 人工3D遥感触觉系统(3D-RTS)集成到生物体神经肌肉系统中。
为了演示3D-RTS在感官增强与交互方面的性能,本研究展示了一个与大脑活动相关的避障场景。生活在昏暗环境或有视力障碍的人发生碰撞且跌倒的风险很高。如图4A所示,拐杖等传统的移动辅助工具仍然存在局限性:只能通过接触来检测地面上的障碍物。然而,悬挂于空中的危险则容易被忽略,碰撞风险并不能完全消除。从另一个角度来看,这类人群更有可能对周围非接触物体发展感知技能/映射。因此,在人工器件的帮助下增强他们对外界的感知能力非常重要。如图4B-F所示,大鼠的背部装载3D-RTD神经接口贴片,右后肢装载刺激电极,使其在昏暗的跑道中行走,且跑道中央的天花板上悬挂着PVDF薄膜作为非接触障碍物。当大鼠向前行走经过预先设置好的非接触障碍时,它会通过3D-RTS感知到“危险”,并产生实时感觉反馈、步态变化、以及大脑决定的动作反馈。展现了一个完整的感觉-感知-交互过程。
图4 三维景深触觉系统(人工-生物混合系统)在避障方面的应用,展示完整的感觉-感知-交互过程。
该工作得到了国家重点研发计划,国家自然科学基金、中国科学院海外人才项目、中国博士后基金、深圳市科技计划、深圳先进院创新基金等资助。
全文链接:https://www.science.org/doi/10.1126/sciadv.abo5314