
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于多尺度特征提取与全通道加权坐标注意力可变形卷积网络的眼状态分析TER-Net
【字体: 大 中 小 】 时间:2025年07月22日 来源:Biomedical Signal Processing and Control 4.9
编辑推荐:
针对传统眼区分割方法在自然光彩色图像中难以区分虹膜与瞳孔的难题,研究人员提出创新性单阶段网络TER-Net,通过多尺度特征提取模块(MFEM)和全通道加权坐标注意力机制(FCWCA-DCN)增强可变形特征提取能力,在自建ESLD-MIC数据集上实现90.4%的mAP,为可信情绪识别提供关键技术支撑。
在情感计算领域,传统基于面部表情或语音的分析方法存在明显局限——它们只能捕捉外在行为特征,却难以揭示真实的心理状态。就像演员可以完美控制面部肌肉展现虚假情绪,人们也能通过训练掩饰真实的内心活动。这种"信任危机"促使科学家寻找更可靠的生理指标,而眼睛——这个被誉为"心灵之窗"的器官,正因其难以自主控制的特性进入研究视野。
北京工业大学的研究团队在《Biomedical Signal Processing and Control》发表的研究中,直面自然光照条件下彩色眼区图像分析的三大挑战:虹膜与瞳孔颜色相近导致的区分困难、微小结构带来的分割难度,以及微表情状态下动态变化的捕捉难题。通过构建包含26名受试者六种情绪的ESLD-MIC数据集,并创新性地提出TER-Net网络架构,该研究实现了眼区结构的精准解析。
关键技术突破体现在三个层面:采用多尺度特征提取模块(MFEM)应对结构变形问题;设计全通道加权坐标注意力机制(FCWCA)增强可变形卷积(DCN)的偏移量生成能力;通过跨阶段部分连接(CSP)策略优化深浅特征融合。这些创新使模型在自建数据集和VisDrone小目标检测数据集上分别取得90.4%和40.2%的精度突破。
【相关研究现状】
现有眼区数据集多依赖专业红外设备采集,而TER-Net首次实现了普通摄像头自然光条件下的精准分析。相比传统卷积神经网络(CNN)依赖数据增强应对几何形变,该研究通过可变形卷积核自适应调整感受野,显著提升了对虹膜边缘等细微特征的捕捉能力。
【方法论创新】
FCWCA-DCN模块通过双路径结构同步处理空间坐标和通道权重,使偏移量预测精度提升1.4%。MFEM模块采用金字塔池化结构,在3×3和5×5卷积核协同作用下,有效提取多尺度特征。颈部网络设计的四级融合策略,则解决了深浅特征信息丢失问题。
【实验验证】
在包含1125张微表情眼图的ESLD-MIC测试中,TER-Net对瞳孔收缩状态的识别率达到92.7%,较次优算法提升1.8%。特别值得注意的是,在情绪诱发实验中,模型通过瞳孔直径变化成功区分出愤怒(3.2±0.5mm)与恐惧(4.1±0.3mm)的生理差异。
这项研究的突破性在于:首次将可变形卷积与注意力机制深度结合应用于眼动分析,为远程教育、驾驶员状态监控等场景提供了无需专业设备的可信情绪识别方案。伦理委员会批准文件(XXXB-2021-01)确保研究符合规范,而中央高校基本科研业务费(2025JKF02ZK10)的资助则体现了其应用价值。未来工作将聚焦于跨种族眼区特征的泛化能力提升,以及实时微表情捕捉系统的开发。
生物通微信公众号
知名企业招聘