面向跨传感器飞行员动作识别的物理折射域间偏移建模（PRISM）

《Aerospace》：Physics-Refracted Interdomain Shift Modeling for Cross-Sensor Pilot Action Recognition

　　

飞行员操纵行为的监测是民用航空安全的核心。然而，标定的多相机系统无法安装在驾驶舱内，且单个可部署的深度相机产生的骨架质量下降。因此，识别必须在以传感模态变化为主导的时空偏移上进行迁移。本文提出物理折射域间偏移建模（Physics-Refracted Interdomain Shift Modeling, PRISM）。PRISM将级联的退化算子与对齐层相结合，并将域偏移视为可分离的而非不可观测的整体。五个基于物理的退化算子级联在输入端，再现了深度相机的主要误差机制。其参数由配对记录估计而非假定。随后两个特征空间层对齐边缘分布与类条件原型。在五个随机种子上取平均，将级联与两个对齐层相结合，可在无目标标签的情况下将时空卷积神经网络骨干的目标准确率从52.85%提升至98.98%。PRISM还消除了对齐强度的网格搜索。对25种强度组合的网格搜索将其最优点置于PRISM所选择的强度组合处。在全部六个测试骨干上增益显著，且对四名飞行员进行留一受试者旋转得到98.91 ± 0.41%的准确率。该框架为单传感器驾驶舱监测提供了一条可部署的路径。

飞行员操纵行为自动监测对民航安全至关重要。美国国家运输安全委员会（NTSB）对机组人员涉及的重大事故审查发现，37起中有31起与机组互监和交叉检查不足有关。然而驾驶舱内无法安装实验室级标定多相机系统，机身振动也易破坏标定；单个深度相机可部署，但其输出骨架受自遮挡、距离相关噪声和深度量化影响而退化。现有骨架动作识别基准共享训练与测试传感链，未评估传感器变化；驾驶舱相关工作多依赖生理或穿戴传感，可能干扰操作。因此，将实验室多视图精确骨架训练出的识别器迁移至驾驶舱单深度相机，且目标域无标签，构成无监督域适应（UDA）问题。现有UDA方法将域偏移视为黑盒，无法归因于物理原因，导致对齐强度依赖网格搜索。研究人员为此提出物理折射域间偏移建模（PRISM），将传感引起的时空域偏移显式分解、量化并去除。

研究人员采集了四个数据集：源域D1由两名研究人员在实验室工程模拟器使用八相机标定三角测量录制，共4816个样本；目标域D2由四名航线飞行员在波音737 MAX Level-D全飞行模拟器使用单个Intel RealSense D435i深度相机录制，共1600个样本；配对集D3在同一动作上同时采集深度和多视图骨架，用于估计退化算子参数；传感器表征集D4包含距相机0.331–2.221 m的原始深度帧，用于标定噪声、量化与投影参数。定义了八种典型右手操纵动作。PRISM由三层构成：L1在输入端级联五个物理退化算子，L2在中间特征图施加最大均值差异（MMD）边缘对齐，L3在输出特征上对齐类条件原型；对齐强度由逆引导策略从分解贡献导出。跨域准确率从52.85%提升至98.98%，期望校准误差（ECE）从0.3180降至0.0082，六种骨干上增益显著，留一受试者（LOSO）旋转准确率达98.91±0.41%，分解解释了80.10%的初始MMD。

**主要关键技术方法**：样本队列来源为两名研究人员（R1、R2）录制源域D1，四名航线飞行员（P1–P4）录制目标域D2。主要方法包括：①五个物理退化算子级联（距离相关深度噪声、深度量化、透视投影与检测噪声、每关节偏置与抖动、时间抖动），参数从D3配对记录和D4表征集估计；②两个特征空间对齐层——多尺度径向基函数核MMD边缘对齐和指数移动平均原型的类条件对齐；③逆引导权重策略，将各算子对四种差异度量的归一化贡献求逆映射为对齐强度，免除网格搜索。骨干为时空卷积神经网络（ST-CNN），输入四通道张量（三坐标加有效性掩码），经卷积残差块和全局池化分类。

**3.1 PRISM的性能**
**3.1.1 域间偏移的缩减**：直接在坐标层面测量源域D1训练集与D2未标注训练半集的MMD，初始值为1.380。按固定级联顺序应用五个算子后，其归一化贡献分别为0.155、0.003、2.296、1.369和1.176，φ₃与φ₄为主，合计占71.9%，整个级联移除80.10%的初始MMD。
**3.1.2 跨域分类性能**：在800个D2留出测试样本上，源only基线准确率为52.85±12.44%，宏F1为47.92±12.35%，ECE为0.3180±0.1236；PRISM配置对应为98.98±0.29%、98.98±0.28%和0.0082±0.0026，混淆矩阵显示类别正确聚集。

**3.2 比较研究**
**3.2.1 增强策略**：与各向同性高斯扰动、关节丢弃、全局缩放三种盲目增强相比，仅物理级联统计显著（p=0.0006），且获得最低ECE 0.0082和最小标准差0.29%，说明定向物理增强优于盲目录入。
**3.2.2 自适应层权重策略**：与均匀权重(1.00,1.00)和正比引导(0.82,1.27)相比，逆引导(0.55,1.10)准确率最高98.98%，显著优于均匀（p=0.0044）；正比引导仅92.95%甚至低于均匀基线。25点网格搜索中，逆引导点恰为最优单元，相邻单元次优。

**3.3 消融研究**：八种组合中全配置T1最高98.98%，源only基线T2为52.85%。单层贡献为L1 +1.13、L2 +0.09、L3 +1.75个百分点，说明三层互补：L3直接作用于分类特征贡献最大，L2将种子间标准差从3.88%降至0.35%，L1进一步修正输入。

**3.4 鲁棒性研究**：将每个算子参数乘以(1+δ)，δ∈{±0.1,±0.2}，共20个配置，目标域准确率保持在97.48%–99.28%之间，最大下降1.50个百分点（φ₄在δ=-0.2时），其余19个配置偏差在±1个百分点内，表明参数无需精确标定。

**3.5 骨干泛化**：替换为Transformer、时空图卷积网络（ST-GCN）、MVHANet、MS-G3D和CTR-GCN五种骨干。无适应时两个图卷积网络几乎退化为随机（批归一化统计偏移），PRISM后六种骨干均达97.08%–99.15%，增益均显著（p≤0.0026），且无骨干与ST-CNN显著差异，证明PRISM与架构无关。

**3.6 受试者泛化**：采用留一受试者旋转覆盖四名飞行员，各折准确率98.45%–99.31%，平均98.91%，折间标准差0.41%；二十次运行合并标准差0.67%，ECE平均0.0118。各折重新推导层强度，移动不超过均值的6.7%，算子贡献顺序一致，表明偏移源于传感器对而非人员。

讨论部分总结了PRISM性能提升源于对传感链的显式建模，使域偏移从不可知噪声变为可解释因素；物理算子沿真实测量轨迹移动源样本，因此优于盲目增强；三层结构互补，L3直接提升准确率，L2大幅降低方差，L1在输入级预补偿；逆引导权重之所以优于正比引导，是因为分解测量的是L1已移除的偏移而非残留偏移，过度对齐已补偿原因会破坏表征。鲁棒性结果表明参数可从相似标定或数据表继承。骨干泛化分析揭示批归一化统计偏移是脆弱骨干失败的原因，PRISM通过在训练中使源数据类目标化而修正该偏移。受试者泛化确认物理描述不依赖特定飞行员子集。

研究结论回答了三个研究问题：RQ1，多视图到深度迁移在民航驾驶舱可行，无目标标签下准确率从52.85%提升至98.98%，ECE降至0.0082，LOSO准确率98.91±0.41%，六骨干增益显著。RQ2，五个物理算子解释了80.10%的初始MMD，所有参数均从测量估计，级联增益显著（p=0.0006），且参数粗糙时仍优雅退化。RQ3，逆引导策略显著优于均匀权重（p=0.0044），正比变体低于均匀基线，25点网格搜索的最优点恰为规则所选，因此无需搜索目标标签。研究局限包括：数据仅覆盖右手动作和飞行员飞座位，未测试副驾驶左手机械镜像；物理模型忽略光照变化与机组互遮挡；任务为八类闭集识别，未包含开放集拒识；受试者规模仅四人，统计功效有限，需更大队列验证受试者无关性。