基于逆向强化学习的日常生活活动行为异常检测模型构建与应用

本研究针对老年人日常生活活动(ADL)行为异常检测难题，创新性地采用逆向强化学习(IRL)技术，通过构建马尔可夫决策过程(MDP)模型，成功实现了从ADL序列中推断奖励函数并建立阈值检测机制。实验证明该方法在CASAS数据集上F1值达0.762，为认知障碍等疾病的早期预警提供了新型半监督解决方案。

　　

随着全球老龄化加剧，老年人独立生活时的行为异常检测成为健康监护领域的关键挑战。传统方法多依赖深度学习技术，但存在标注数据需求大、时序特征利用不足等局限。尤其当面对复杂的日常生活活动(ADL)序列时，如何区分正常行为波动与潜在健康风险信号，成为困扰研究者的难题。Fateme Akbari和Kamran Sartipi在《Cognitive Systems Research》发表的这项研究，开创性地将逆向强化学习(Inverse Reinforcement Learning, IRL)引入该领域，为行为异常检测提供了新范式。

研究团队主要采用三项关键技术：1) 基于CASAS-Aruba数据集（含7个月11类ADL记录）构建高阶马尔可夫链模型；2) 开发深度最大熵IRL算法，通过滑动窗口(W=10)处理动态长度序列；3) 设计阈值融合机制(R_th=0.85)实现在线异常检测。通过合成序列注入法模拟阿尔茨海默病等典型症状，验证模型对ADL时长改变和顺序错乱的敏感性。

【行为表示】

将ADL事件建模为三元组e_i=(a_i,d_i,p_i)，通过滑动窗口转化为固定长度序列。研究发现离散化处理持续时间参数可有效降低状态空间复杂度，且不影响模型精度。

【问题建模】

创新性地将ADL序列转化为马尔可夫决策过程：状态s_t定义为最近W个ADL事件，动作a对应下一事件，转移函数T实现窗口滑动。这种表示方法成功捕获了活动间的时序依赖性。

【结果分析】

在注入10%合成异常数据的数据集上，模型展现出优异性能：最佳阈值(0.85)下F1达0.762±0.02，ROC-AUC为0.90±0.01，显著优于LSTM(0.672)和BERT(0.693)基线模型。热力图分析显示，模型能准确识别"睡眠中长时间洗澡"等非常规行为组合。

研究结论表明，IRL框架通过奖励函数R(s,a)建模，克服了监督学习对标注数据的依赖，且比策略函数更具可迁移性。尽管存在状态空间随序列增长而膨胀的局限，但该方法为ADL异常检测提供了可解释性强的新思路。特别值得注意的是，模型对"部分错序"行为的检测能力(通过交换"备餐"与"进食"顺序验证)，为早期发现执行功能障碍提供了技术可能。这项研究不仅推动了健康监护技术的发展，也为理解人类行为动机的计算建模提供了新视角。