常言道,眼睛是人类心灵的窗口。据统计,视觉在人感知外部世界时所提供的信息占比为83%。人的视线包含人脑注意机制的相关信息,隐含人的认知与意图,通过追踪眼睛的活动能够实现自然高效、响应快速的人机交互,在退化性疾病患者人机交互、颅脑神经诊疗、认知行为研究和智慧座舱等领域具有广泛的应用前景。隐形眼镜作为一种普适的技术,至今在全球范围内已有约1.5亿名隐形眼镜佩戴者。近年柔性光电子技术的发展,使隐形眼镜不再局限于近视校准的基础功能,逐步发展出具有医学诊断、释药、光电刺激、视觉增强等功能的智能隐形眼镜。隐形眼镜天然与眼睛合为一体,若能赋予其眼动追踪的功能,有望实现精准实时、轻量无感、自然高效的眼机交互应用。
图一:《碟中谍4》人机交互智能隐形眼镜
近日,南京大学徐飞教授、陆延青教授/南京航空航天大学陈烨研究员/江苏省人民医院袁松涛主任团队提出了一种具有眼动追踪功能的隐形眼镜。基于频率编码策略,该隐形眼镜具有无线无源、轻量无感、柔软安全的特点,能够实现高精度的眼动追踪和眼动命令识别。
图二:基于眼动追踪隐形眼镜的眼机交互系统
得益于研究团队在柔性微纳加工制备工艺的技术积累,四个无线射频位置标签在隐形眼镜四周制备获得,并共形封装在医疗级硅橡胶材质内。其具有和人眼角膜相匹配的曲率,可拉伸、耐挤压、耐弯折。
图三:丰富多样的眼机交互应用
用户佩戴眼动追踪隐形眼镜之后,通过简单的隐式校准过程构建眼动响应模型。该模型定标人眼眼球的个体差异、佩戴过程中射频标签位置的随机性以及阅读器空间位置,基于时序眼动追踪算法实现实时动态、高精度的眼动追踪。眼动角精度优于0.5°,甚至小于中央凹所提供的视角。进一步,该隐形眼镜能够识别用户自定义的多种眼部动作:眼动方位和闭眼,以命令编码的形式实现软硬件交互。
利用隐形眼镜进行眼动追踪和眼部命令识别,研究团队展示了丰富多样的眼机交互应用,例如文字书写、绘画、贪吃蛇游戏操控、网页浏览与切换、PZT摄像头操控、无人车驱动等。下图分别展示了贪吃蛇游戏眼动操控和活体兔子的无线无人车眼动跟随。
图四:基于眼动追踪隐形眼镜的贪吃蛇游戏交互
图五:基于眼动追踪隐形眼镜的活体兔子眼控无人车
隐形眼镜作为第三类医疗器械,且针对人眼对安全性、舒适性的极端要求,研究团队充分验证了眼动追踪隐形眼镜的生物安全性。该隐形眼镜的医疗级硅橡胶封装、其表面的亲水化改性和极薄的厚度使其水润透氧、舒适无感。硅橡胶的疏水基团使其比商用隐形眼镜更抵抗泪液中的蛋白沉积,更易消毒与清洗。此外,隐形眼镜通过72小时细胞毒性测试以及长达一周的长期活体兔眼刺激测试,表现出和商用隐形眼镜无明显差异。
图六:眼部生物相容性测试
总之,该隐形眼镜具有准确稳定的无线眼动追踪能力、丰富多样的交互模式、柔软舒适的结构特性以及生物安全的理化性质,有望开发新一代人机交互智能装备,为无人设备操控、眼脑医学诊疗、眼-脑科学研究、心理学研究提供设备基础。
该工作以“Frequency-encoded eye tracking smart contact lens for human-machine interaction”为题发表在《Nature Communications》上【Nature Communications, 2024, 15:3588】。南京大学徐飞教授、陆延青教授、江苏省人民医院袁松涛主任医师、南京航天航空大学陈烨研究员为文章的共同通讯作者,南京大学博士生朱衡天、杨欢和江苏省人民医院博士生徐思琪为文章共同第一作者,马园园、朱书庚、毛正艺对实验作出了重要贡献。江苏省人民医院胡仔仲副主任医师、南京大学江德臣教授、宁兴海教授、熊毅丰助理教授、潘荣容博士、徐郁蕊博士、陈薇薇博士生对实验提供了重要帮助。该研究得到国家自然科学基金委(61925502、62135007、62305153和 22025403)和国家重点研发计划(2021YFA1401103)的支持。
原文链接:https://doi.org/10.1038/s41467-024-47851-y
图文转载自【中国聚合物网】:http://www.polymer.cn/