基于深度强化学习与范围损失函数的自适应主动学习模型在阿尔茨海默病早期检测中的创新应用

本研究针对阿尔茨海默病（AD）早期诊断中标注数据稀缺和传统静态学习策略的局限性，提出了一种融合深度强化学习（DRL）、范围损失函数（SLF）和差分进化（DE）算法的主动学习框架。该模型通过动态样本选择和超参数优化，在OASIS和ADNI数据集上分别实现了92.044%和93.685%的F-measure，显著降低了标注成本并提升了诊断效率，为神经退行性疾病的智能诊断提供了新范式。

　　

随着全球老龄化进程加速，阿尔茨海默病（Alzheimer's Disease, AD）已成为严峻的公共卫生挑战。目前全球约有5500万痴呆患者，预计到2050年将激增至1.39亿。AD作为一种不可逆的神经退行性疾病，其特征是脑内淀粉样斑块沉积和神经纤维缠结导致神经元丢失，引发进行性认知功能衰退。临床诊断通常依赖侵入性的脑组织活检（多为尸检后），或通过磁共振成像（MRI）、正电子发射断层扫描（PET）等神经影像技术进行推定诊断。其中MRI因具有非电离辐射、高组织对比度和分辨率等优势，成为检测脑组织萎缩和脑室扩大等AD早期异常的首选模态。

然而，传统机器学习方法在处理高维异构的MRI数据时面临显著挑战：一方面需要大量手工特征工程，难以捕捉数据中的非线性交互；另一方面依赖大规模标注数据集，而医学影像标注成本高昂且耗时。尽管卷积神经网络（CNN）在自动特征提取方面取得进展，但监督学习仍需大量标注数据。主动学习（Active Learning, AL）通过选择信息量最大的未标注样本进行人工标注，可降低标注成本，但传统AL策略基于静态启发式规则（如不确定性采样），无法适应模型训练过程中的知识演化。

为解决这些问题，由Zhisen He等国际团队在《npj Mental Health Research》发表的研究，提出了一种创新性的主动学习框架。该框架整合了深度强化学习（Deep Reinforcement Learning, DRL）的动态决策能力、范围损失函数（Scope Loss Function, SLF）的探索-利用平衡机制，以及差分进化（Differential Evolution, DE）算法的超参数优化技术，实现了在有限标注预算下的高精度AD早期检测。

研究采用的关键技术方法包括：1）基于多CNN架构的特征提取器，采用渐进式滤波器缩减策略增强特征粒度；2）DRL驱动的Q网络与分类器协同机制，通过状态（CNN特征向量+预测分数）、动作（标注决策）和奖励函数（熵损失与标注惩罚）的交互实现动态样本选择；3）SLF函数整合焦点损失（Focal Loss）、策略损失和熵损失，通过梯度调制防止过早收敛；4）随机编码与k均值聚类增强的DE算法，实现超参数自适应优化。实验采用OASIS（436例MRI）和ADNI（457例MRI）公开数据集，通过5折分层交叉验证评估性能。

研究结果

模型架构与算法设计：

提出的框架包含分类器模块、Q网络模块和超参数优化模块。分类器采用五层二维卷积层，滤波器数量从128递减至8，通过全连接层输出分类结果。Q网络接收CNN特征并输出标注决策动作，通过SLF调节探索与开发的平衡。DE算法采用基于聚类的新型突变机制，加速全局优化收敛。

性能评估与对比分析：

在OASIS数据集上，完整模型达到88.806%准确率和92.044% F-measure，较最优基线模型RESNET50 KNN提升5.5%准确率和5.7% F-measure。在ADNI数据集上表现更优，准确率达90.623%，F-measure为93.685%。消融实验证实SLF、AL和DE组件的贡献：移除DE导致准确率下降1.067%，移除SLF和AL分别造成性能显著退化。统计检验显示所有改进均具有显著性（p<0.01）。

计算效率与鲁棒性：

训练阶段模型在OASIS和ADNI数据集上分别耗时3056s和2930s，GPU内存占用22.1GB和23.4GB，优于VGG16和RESNET50 KNN等深度架构。对抗性测试（FGSM攻击）中模型保持83.838%（OASIS）和86.236%（ADNI）的准确率，显示强鲁棒性。决策时间分布分析表明70ms内可完成多数样本处理，满足实时应用需求。

损失收敛与奖励机制：

训练损失曲线显示，250周期内训练与验证损失紧密同步下降，无过拟合现象。DRL智能体的累积奖励在ADNI数据集上呈现更陡峭上升趋势，表明其更快适应环境策略。SLF的引入使损失收敛更平稳，波动减少40%以上。

结论与意义

该研究首次将DRL驱动的主动学习与SLF、DE算法整合于统一框架，解决了医学影像分析中标注成本高和模型适应性差的核心问题。通过动态样本选择机制，模型能优先选择信息量最大的未标注样本，使标注资源利用率提升50%以上。SLF函数通过调节梯度幅度防止策略过早收敛，DE算法则通过聚类引导的突变策略实现超参数全局优化。

研究的创新性体现在三方面：其一，将DRL的序列决策能力引入AD检测领域，克服了传统静态策略的局限性；其二，提出SLF函数解决DRL中的探索-开发困境，增强模型在复杂数据环境中的适应性；其三，采用随机编码与DE结合的方法，实现了连续/离散超参数的统一优化。

该技术框架不仅适用于AD诊断，还可扩展至帕金森病、多发性硬化等其他神经退行性疾病，甚至肿瘤早期检测领域。未来工作将聚焦于多模态数据融合（如PET与MRI联合分析）和跨中心数据验证，以进一步提升模型的临床适用性和泛化能力。