《Journal of Multidisciplinary Healthcare》：NeuroMimicNet: A Multimodal Neuromorphic Framework for Early Screening and Cognitive Pattern Recognition in Children with Autism
编辑推荐：
背景 自闭症谱系障碍（ASD）是一种复杂的神经发育疾病，由社交、行为和沟通障碍组成，通常需要早期检测。目的 本研究提出了NeuroMimicNet，这是一种类脑事件驱动的神经形态计算框架，旨在用于自闭症儿童的早期筛查和认知模式识别。该框架集成了音频信号和面部表
背景 自闭症谱系障碍（ASD）是一种复杂的神经发育疾病，由社交、行为和沟通障碍组成，通常需要早期检测。目的 本研究提出了NeuroMimicNet，这是一种类脑事件驱动的神经形态计算框架，旨在用于自闭症儿童的早期筛查和认知模式识别。该框架集成了音频信号和面部表情图像作为多模态输入，以捕捉神经和行为模式。方法 音频模态涉及包括降噪和归一化在内的预处理步骤，而音频特征的神经形态处理则采用脉冲时序依赖可塑性（STDP）、Hebbian学习和受Loihi启发的脉冲神经处理模型来完成，以高效捕捉时间听觉模式。面部表情图像通过人脸对齐、调整大小和归一化进行预处理，并使用预训练的ResNet50卷积神经网络提取高级视觉特征。提取的音频和图像特征在特征级进行融合，形成统一的多模态表征。然后，使用监督分类模型将融合的特征分类为四个ASD严重程度级别，如典型、轻度、中度、重度。结果 使用基准脑电图（EEG）-自闭症数据集中的准确率、F1-score、精确率、召回率和计算效率来评估性能。实验结果表明，与传统深度学习模型相比，NeuroMimicNet实现了更高的准确率和更快的响应速度。结论 NeuroMimicNet突出了生物学启发的神经形态计算在儿童ASD筛查中的潜力。通过将多模态行为和神经线索与事件驱动处理相结合，该框架提供了改进的可解释性、可扩展性和临床相关性。
自闭症谱系障碍（ASD，一种复杂的神经发育疾病）的早期检测对于改善发育结果和实施针对性干预至关重要。传统的诊断方法高度依赖临床观察和标准化行为测试，这种方式不仅耗时且具有主观性，还受到临床医师间一致性的限制。近年来，尽管卷积神经网络（CNN）和循环神经网络（RNN）等深度学习模型被应用于基于神经生理和行为数据的ASD预测，但这些传统模型存在计算成本高、缺乏生物学可解释性、对大量标记数据依赖性强以及泛化能力不足的问题。此外，这些模型大多无法在临床环境中复制生物神经元系统复杂的时间动态和稀疏放电行为。为了解决上述问题，本研究开展了关于NeuroMimicNet的研究，这是一种受大脑启发的事件驱动神经形态计算框架，专门针对儿童自闭症的早期筛查和认知模式分析。研究得出结论，该框架通过生物可解释的类脑计算范式，能够有效提高分类的准确性和计算效率。这项研究的重要意义在于它满足了计算神经科学和医疗人工智能领域的空白，提供了一个高效、可扩展且具有高度临床相关性的多模态筛查工具。该论文发表在《Journal of Multidisciplinary Healthcare》上。
在技术方法层面，研究人员采用了一个多模态自闭症数据集（包含约3000个样本，涵盖音频和面部表情图像数据）。在数据预处理阶段，针对音频信号应用了小波去噪和幅值归一化，针对面部图像采用多任务级联卷积网络（MTCNN）进行人脸检测与对齐。在特征提取阶段，研究采用了预训练的ResNet50卷积神经网络提取面部视觉特征，同时通过部署在Intel Loihi神经形态处理器上的脉冲神经网络（SNN，一种模拟生物神经网络的时间驱动计算模型）结合脉冲时序依赖可塑性（STDP）和Hebbian学习规则处理音频特征。最后，利用条件表格生成对抗网络（CTGAN）进行数据增强以解决类不平衡问题，并通过监督分类模型对ASD严重程度进行分级。
性能分析
通过在基准数据集上与其他深度学习模型（如AlexNet-CNN、m_AutNet、BiLSTM和UASN）进行对比实验，研究发现NeuroMimicNet在准确率、精确率、敏感度和特异度等核心分类指标上均接近完美值（1.0），并且在假阴性率（FNR）和假阳性率（FPR）等错误指标上表现最低。同时，该框架在Jaccard指数、G-Mean和马修斯相关系数（MCC）等指标上全面超越其他方法，展现出对各类严重程度级别的平衡输出能力。此外，NeuroMimicNet的推理时间更短且交叉熵损失更低，证实了其更快的收敛速度和更低的计算开销。
数据集拆分对比分析
在70:30和80:20的训练/测试数据拆分实验中，NeuroMimicNet均被证明是性能最佳的模型。在70:30拆分中，该模型达到了0.9892的准确率，FPR仅为0.0034，FNR仅为0.0030。当训练数据增加至80%时，模型性能进一步提升，准确率达到0.993，MCC达到0.9918，这表明随着训练数据的增加，该框架具有出色的学习能力和高度的可扩展性，同时依然保持极低的假阳性与假阴性预测率。
消融研究与混淆矩阵
消融研究结果表明，移除音频信号、面部表情、注意力融合方法、CTGAN模块均会导致性能下降，其中移除多模态融合对性能影响最大，这证实了视听信号融合在ASD严重程度分类任务中的不可或缺性。通过混淆矩阵分析，研究发现绝大多数样本均被正确分类，数据点主要集中在矩阵对角线上，相邻严重程度类别之间的混淆极少。在更大比例的训练数据下，正确分类的数量进一步增加，各类别的误分类均有所减少。
ROC曲线分析与交叉验证
在受试者工作特征（ROC）曲线分析中，NeuroMimicNet在70:30和80:20数据拆分下的曲线下面积（AUC）分别达到了0.98和0.99，表现出极高的分类置信度和对不同ASD严重程度类别的优异区分能力。此外，五折交叉验证的结果显示，模型在各项指标上均保持高准确率与低标准差，证实了其出色的鲁棒性。
在讨论部分，研究人员指出NeuroMimicNet的核心优势在于其神经形态的音频处理管线。通过STDP和Hebbian学习规则，该模型能够捕捉基于帧的传统深度学习模型容易丢失的细粒度时间动态和韵律模式。结合ResNet50提取的面部微表情特征，多模态融合显著提高了特征表征的丰富度和区分度。研究结论表明，该网络实现了高达99.3%的分类准确率，并在精确率、敏感度和特异度上表现优异，同时显著降低了假阳性和假阴性率。通过将音频信号编码为脉冲序列并在神经形态硬件上运行SNN，该设计不仅有效捕捉了检测ASD所需的关键时间动态，还通过基于CTGAN的特征增强成功缓解了类不平衡问题。尽管受到数据集规模和人口异质性的限制，该框架的事件驱动特性使其具有低延迟和低能耗的优势，有望在实时辅助ASD筛查中得到广泛应用，未来研究将进一步整合脑电图（EEG）和眼动追踪等更多模态数据以加强诊断准确性。
