行为科学中用于骨骼数据的深度插补方法（Deep Imputation for Skeleton Data，简称DISK）

提出基于深度学习的DISK方法，无需手动标注即可填补骨骼数据中的缺失值，适用于多动物、二维和三维场景，显著提升运动分析精度和实验数据利用率。

　　
本文提出了一种名为DISK（Deep Imputation for Skeleton data）的深度学习方法，专门用于填补动物骨骼追踪数据中的缺失值。该研究针对动物行为实验中常见的追踪误差问题展开，通过分析多物种、多场景的骨骼数据，验证了DISK在恢复缺失数据方面的有效性及其对行为分析的影响。

### 一、研究背景与问题提出
动物行为研究依赖高精度骨骼追踪数据，但现有追踪系统（包括光学标记和深度学习模型）常因遮挡、低光照或算法局限导致数据缺失。这种缺失不仅影响数据完整性，更导致行为分析结果偏差。例如，在药物干预实验中，缺失数据可能导致无法准确比较不同处理组间的步态特征差异。

传统解决方案如线性插值仅适用于短时缺失且数据分布稳定的情况，但在长序列或高动态场景中表现不足。此外，依赖人工标注的补充方法成本高昂且难以规模化。因此，开发自动化、通用的数据填补工具成为研究重点。

### 二、方法创新与实现
DISK的核心在于构建了一个端到端的深度学习框架，通过自监督学习模式实现多模态骨骼数据的填补。其技术亮点包括：
1. **动态缺失模拟训练**：在完整数据中随机引入与真实缺失特征（如缺失频率、持续时间、空间分布）高度相似的伪缺失数据，使模型学习到更具泛化性的填补能力。
2. **多任务融合架构**：采用Transformer作为基础架构，同时整合了时空图卷积网络（ST-GCN）的拓扑优势，确保模型既能捕捉长时序依赖，又能理解骨骼节点间的物理约束关系。
3. **不确定性量化模块**：通过扩展Transformer架构，在输出层同时预测关键点坐标及其置信区间，实现质量可控的填补。
4. **跨模态适应性设计**：支持2D平面追踪（如鼠类互动数据集）和3D运动捕捉（如人类动作数据集）的统一处理，兼容标记式与非标记式追踪系统。

### 三、实验设计与验证
研究团队构建了包含7个数据集的验证平台，覆盖啮齿类动物、鱼类及人类动作，总样本量超过百万帧：
- **鼠类行为数据集**（FL2、CLB）：包含药物干预下的自由活动记录，检测到填补后步态特征识别率提升37%
- **双鼠交互数据集**（2-Mice-2D）：验证多动物协同行为的填补效果
- **斑马鱼追踪数据集**（2-Fish）：测试非结构化水体环境下的填补精度
- **人类动作捕捉数据集**（CMU MoCap）：验证三维空间填补的泛化能力

对比实验显示，DISK在平均均方根误差（RMSE）上较次优方法降低42%-58%，关键点精度误差（MPJPE）减少35%-50%。特别在处理超过4个关键点同时缺失（占测试数据的21%场景）时，填补成功率仍保持85%以上。

### 四、关键技术突破
1. **时空联合建模**：通过引入骨骼拓扑结构约束（如关节间距阈值、肢体联动规律），显著提升填补精度。实验证明，考虑物理约束的模型在鱼类摆尾、鼠类后肢运动等复杂动作的填补误差降低至0.15mm级别。
2. **跨模态泛化能力**：在验证中，模型对3D骨骼（人类动作）和2D平面骨骼（鼠类互动）的填补表现无显著差异（P>0.05），验证了架构的跨模态适应性。
3. **增量式训练策略**：采用动态调整学习率的训练机制，在保证模型收敛速度的同时，有效处理不同数据集的量纲差异（如单位从米转换到厘米时的误差补偿）。

### 五、应用场景与实验结果
1. **行为事件检测增强**：在鼠类自由探索实验中，填补后步态检测覆盖率从57%提升至89%。通过分析踝关节速度-加速度特征，发现药物处理组在步幅长度（P<0.001）和单步持续时间（P<0.01）上存在显著差异。
2. **多动物协同分析**：在双鼠交互数据集中，通过填补双方尾鳍、前肢等关键点，成功识别出12种协同行为模式（如交替捕食、群体回避），其中7种为传统方法无法检测的微观交互。
3. **人类动作重建**：在CMU数据集上，模型对遮挡导致的缺失关节（如肩部、髋部）的填补误差控制在0.8cm以内，填补后的动作分类准确率达到92.3%。

### 六、方法局限性及改进方向
1. **数据依赖性**：训练集需包含至少2000个有效样本，对数据规模敏感（当样本量<500时，RMSE上升18%-25%）
2. **拓扑约束处理**：对非刚性连接的骨骼（如鸟类翅膀关节）填补效果下降约15%，需加强拓扑感知模块
3. **长时序依赖**：超过60帧的连续缺失填补误差增加约30%，计划引入记忆增强模块

### 七、学术价值与应用前景
本研究为动物行为学提供了标准化数据处理工具：
- **实验设计优化**：通过填补缺失数据，可将单次实验的有效分析时长从45分钟延长至90分钟以上
- **成本效益提升**：在rat7m数据集测试中，每分钟实验数据的完整利用率从32%提升至79%
- **跨物种迁移**：在迁移学习框架下，鼠类骨骼模型可推广到灵长类动物（验证误差率相差<5%）

该成果已开源（GitHub仓库），支持导入主流追踪系统（如DeepLabCut、SLEAP）的输出数据，为行为分析研究提供了可复用的技术平台。未来可结合强化学习框架，实现动态填补策略的自适应优化。