热成像与RGB成像的交叉光谱融合技术在客观疼痛评估中的应用

《PLOS Digital Health》：Cross-spectral fusion of thermal and RGB imaging for objective pain estimation

　　**摘要**
对于无法通过语言进行交流的患者（包括新生儿、认知障碍者、接受镇静治疗的患者以及因文化规范或忍耐力而抑制面部表情的患者），疼痛评估仍然是一个挑战。我们证明了将热成像与RGB面部表情分析结合使用，能够比单独使用任何一种方法提供更准确和更可靠的疼痛强度估计。我们的双摄像头系统记录同步的热成像和RGB视频，并通过一种跨光谱注意力融合（CSAF）模型以及时间变换器进行处理，以实现0–10量级的连续疼痛预测。在一项受控的实验室疼痛诱导研究中，50名健康成年人（年龄21–68岁，视频时长87.3小时）接受了冷压测试和压力测痛法；我们的系统平均绝对误差（MAE）为0.79，比仅使用RGB的方法（MAE为1.18，p<0.001）提高了33.1%。在一项现实世界的临床术后监测研究中，30名接受腹部手术的患者（年龄31–74岁，视频时长17.7小时）被监测；我们的系统MAE为1.08，比仅使用RGB的方法提高了28.5%（MAE为1.51，p<0.001）。在整个研究群体中（n=80），平均绝对误差为0.87，总体提高了29.3%。在更高疼痛强度下以及面部表情被抑制的困难人群中，这种方法的优势更加显著（在严重疼痛情况下提高了38.5%）。热反应比可见面部表情提前1.2±0.3秒出现，从而实现了更早期的疼痛检测。这项工作仅在校成人身上进行了验证；在儿科应用方面需要专门的验证。将其应用于临床实践需要多地点的前瞻性试验、监管机构的批准以及详细的实施计划。

**作者总结**
对于不能说话的患者——新生儿、认知障碍者或接受镇静治疗的患者——进行疼痛评估仍是医学领域面临的最大挑战之一。目前临床医生依赖的观察工具耗时且主观性强，且只能在离散的时间点进行评估，可能会导致错过疼痛发作。本研究探讨了基于摄像头的系统是否能够同时捕捉可见的面部表情（标准视频）和皮肤温度变化（热红外成像），从而比现有方法更准确和连续地估计疼痛强度。我们招募了80名参与者，他们要么接受控制性的疼痛刺激（冷水浸泡、压力测试），要么处于术后监测阶段。我们的跨光谱注意力融合模型通过学习热信号和视觉信号之间的互补性，将平均预测误差降低了29%。对于那些面部表情被抑制或处于高疼痛强度的患者，优势最为明显（最高可提高38%），这正是现有工具最容易失败的情况。皮肤温度变化在面部表情出现前约1.2秒就发生了变化，表明实现更早期的疼痛检测是可能的。这项工作仅在校成人身上进行了验证；未来需要在儿童和不同临床人群中进一步验证，才能考虑将其临床应用。

**1 引言**
非语言患者的疼痛评估[1]（如新生儿、认知障碍者和接受镇静治疗的患者）是临床医学中尚未解决的关键难题之一。现有的观察工具（FLACC、PAINAD、NIPS）提供了结构化的框架，但受到评分者间差异（ICC 0.55–0.75）、监测不连续性的限制，并且依赖于在面部表情被抑制或受到药物影响的情况下可能缺失的可观察行为线索[2,3]。使用RGB面部视频的自动化方法已经从动作单位检测（准确率60–70%）发展到卷积神经网络（CNN，准确率70–75%）[4,5]、时空长短期记忆网络（LSTM，准确率75–78%）和变换器架构（准确率78–83%）[6–8]，但这些方法都有一个根本性的局限性：它们只能访问表面光谱中可见的行为表达反应，而忽略了伴随疼痛出现的自主-血管反应[9,10]。热红外成像提供了一个非接触式的窗口，可以观察到这些自主反应——如外周血管收缩[11]、代谢热变化、交感神经系统激活——这些变化无论面部表情是否受控或缺失都能被检测出来[12,13]。可穿戴生理传感器可以捕捉类似的信号，但在实际应用中存在患者不适、感染风险、运动伪影和依从性等问题，尤其是在脆弱患者群体中更为严重。我们的同步热成像-RGB系统可以在不接触皮肤的情况下获取生理信号，因此激发了我们的研究兴趣。临床需求与当前技术之间的差距仍然很大。尽管单独使用RGB的自动化系统在受控条件下的基准数据集上能达到78–83%的3类准确率，但在临床应用中面临两个根本性障碍：首先，现实世界中的疼痛表现会因止痛药物、个体的忍耐力、文化规范[14]和认知障碍而减弱——而这正是客观测量最为重要的群体；其次，RGB方法仅能捕捉到疼痛的自主运动成分，而忽略了更难以抑制且与疼痛处理更直接相关的非自主反应[9,13]。我们的研究通过（i）结合可见光谱和热光谱成像来同时获取这两种成分；（ii）开发一种基于信号质量和疼痛严重程度的跨光谱注意力机制；以及（iii）在受控和术后监测环境中进行验证来解决这些挑战。这种方法的临床应用对于行为线索最不可靠的群体（如新生儿、认知障碍患者、接受镇静治疗的患者以及具有高度忍耐力的文化背景的患者）尤为重要，我们的结果特别显示了该方法对面部表情表达较弱的患者（改善了37.6%）和接受镇静控制的受试者（改善了32.1%）的益处。我们的研究验证了三个假设：H1（生理表现）：疼痛会在自主神经支配的面部区域引发可检测的热模式；H2（多模态互补性）：将热自主信号与RGB行为信号结合使用可以改善疼痛估计，尤其是在面部表情被抑制的情况下[15]；H3（时间动态）：热自主反应可能会先于行为表情出现，从而通过时间建模实现更早期的检测。我们的贡献包括：（1）一种新的跨光谱注意力融合架构（CSAF+Transformer）用于连续疼痛回归；（2）包含受控和临床组件的同步热成像-RGB疼痛数据集；（3）揭示生理机制和热疼痛特征的可解释性分析；（4）在具有挑战性的群体（面部表情表达较弱的患者、老年人、不同皮肤色调的人群）上的验证，证明了热成像增强的临床相关性。S1文件中的表A提供了全面的最新技术比较。

**2 方法论**
本研究的伦理声明已获得军事研究中心（IRB Protocol #2023–041-PAIN）的机构审查委员会批准。所有程序均遵循《赫尔辛基宣言》和相关的人体研究伦理指南[16,17]。所有参与者（或其法定监护人）在参与前均提供了书面同意书。数据隐私和保密性通过完全匿名化、安全加密存储以及仅限授权研究人员访问的方式得到保障。视频记录和原始面部数据在特征提取后自动删除，除非获得了长期保留的明确书面同意。

**2.1 系统概述**
图1展示了我们的完整流程：（1）同步的热成像（FLIR A655sc，640×480，7.5–14微米）和RGB（Canon EOS 90D，1920×1080）摄像头，帧率为30 fps；（2）面部检测、空间配准和五个面部区域的兴趣区（ROI）提取；（3）每种模式的独立ResNet-50编码器；（4）双向跨光谱注意力融合（CSAF）；（5）10秒时间窗口上的时间变换器；（6）生成0–10疼痛连续评分的回归头。

**2.2 数据采集和预处理**
硬件选择和同步细节在S1文件的表C中提供。简要介绍如下：选择FLIR A655sc是因为其具有较高的热灵敏度（<0.04°C），足以检测到0.3–1.5°C的疼痛相关温度变化。硬件触发的同步（NI USB-6001数据采集器，TTL脉冲，频率为30 Hz）确保摄像头间的时间偏移小于10 ms（验证中值：3.2 ms）。保持21–23°C、40–60%的受控环境以防止环境温度干扰。预处理步骤包括使用RetinaFace[18]进行面部检测（检测率为99.1%），并通过 homography H（平均配准误差为1.8像素）实现热成像与RGB图像的空间配准。提取五个面部ROI（眶周、额头、鼻子、脸颊、口周），并将每个ROI大小调整为128×128像素。算法1提供了完整的处理流程。

**2.4 跨光谱注意力融合（CSAF）**
CSAF模块通过双向跨注意力[22]学习热信号和视觉信号之间的互补关系：（1）（2）为每个区域和样本调整每种模式的贡献权重，使得模型在面部表情被抑制时更依赖于热信号。算法2详细描述了整个过程。

**2.5 时间变换器**
一个6层、8头的变换器（dmodel=512）通过位置编码模型在300帧（10秒）的时间窗口内模拟疼痛动态。平均和最大时间池化输入回归头以预测疼痛强度[23]。

**2.6 训练**
训练分为三个阶段：（1）独立模态编码器的预训练（20个周期）；（2）使用固定编码器的CSAF融合训练（30个周期）；（3）端到端微调（50个周期）。优化器使用AdamW（学习率lr=10^-4，采用余弦退火算法），批量大小为16，梯度裁剪（最大范数1.0）。完整实现细节见S1附件的表E；共训练了87M个参数，使用了4×NVIDIA A100 GPU（约48小时）。

**3 实验设置**
**3.1 数据集**
最终数据集总结：
- **数据集1**：50名受试者，312次会话，总时长87.3小时，共946万帧，帧率为30 fps，每帧附有NRS评分（0–10分）。
- **数据集2**：30名受试者，总时长17.7小时，共192万帧，每2分钟更新一次NRS评分。
结合两个数据集后共有80名受试者，总时长105小时，共1138万帧。

**3.2 评估指标**
主要指标是平均绝对误差（MAE）。选择MAE作为主要指标是因为：（1）我们的任务是基于0–10 NRS量级的连续回归，而非分类；（2）MAE具有直接的临床解释性（MAE=0.87对应于不到1分的疼痛程度，低于临床上认为有意义的1.5分差异）；（3）MAE在连续疼痛回归文献中是常用的指标[24–26]。以往的研究使用的分类标签过于粗略，不适用于本研究；保留3类准确率作为次要指标以便与那些研究进行比较。
次要指标包括皮尔逊相关系数（PCC）、类内相关系数（ICC）和3类准确率（低/中/高）。统计显著性通过带有Bonferroni校正的配对t检验进行评估，95%置信区间通过自助重采样计算（B=1000）。

**3.3 基线研究**
我们比较了九种基线方法：RGB-AAM + SVM[27]；RGB-CNN[7]；RGB-LSTM[8]；仅使用热成像；早期融合（信号串联）；晚期融合（平均预测）；RGB+生理数据（仅用于控制数据）；人类专家（3名ICU护士，样本量200）。

**4 结果**
**4.1 整体性能——验证H2假设**
我们的CSAF+Transformer方法的组合MAE为0.87±0.07（95%置信区间：[0.83, 0.91]），比最佳的仅使用RGB的方法（RGB-Transformer：MAE=1.23±0.10，p<0.001，采用带有Bonferroni校正的配对t检验）提高了29.3%。PCC为0.86，显著高于仅使用RGB的方法（0.72）；ICC为0.83，也高于仅使用RGB的方法（0.69）；准确率为82.4%，高于仅使用RGB的方法（72.8%）。这一39.3%的提升超过了以往架构创新的累积效果：CNNs额外提高了约5–8%，LSTMs额外提高了约3–5%，变换器额外提高了约2–4%。这支持了我们的观点，即访问根本不同的生理信号比对单一模态进行更复杂的处理具有更大的价值。表2展示了完整的比较结果；图2直观展示了结果。缩写：MAE = 平均绝对误差；PCC = 皮尔逊相关系数；ICC = 组内相关系数；AAM = 主动外观模型；SVM = 支持向量机；CNN = 卷积神经网络；LSTM = 长短期记忆。CSAF+Transformer相比RGB-Transformer的29.3%平均绝对误差提升超过了CNN→LSTM→Transformer架构演进的累计增益（总计约10-17%），这支持了模态增强比单一模态的架构优化提供更大增益的结论。

https://doi.org/10.1371/journal.pdig.0001424.t002
下载：PNG
更大图像
TIFF
原始图像

图2. 整体性能比较。
(a) 所有方法的平均绝对误差（主要指标，数值越低表示性能越好），显示CSAF+Transformer相比最佳的纯RGB基线（RGB-Transformer）提升了29.3%。
(b) 预测值与NRS真实值之间的皮尔逊相关系数（数值越高表示相关性越好）；CSAF+Transformer的相关系数（PCC = 0.86）接近专家评分者间的可靠性。误差条表示5折交叉验证的95%置信区间。
*** p < 0.001（配对t检验，Bonferroni校正）。

缩写：MAE = 平均绝对误差；PCC = 皮尔逊相关系数；NRS = 数字评分量表；CI = 置信区间。

https://doi.org/10.1371/journal.pdig.0001424.g002

4.2 数据集特定性能 — H2泛化
数据集1（受控）：MAE = 0.79±0.03 vs 纯RGB MAE = 1.18±0.10（提升33.1%，p < 0.001）。
数据集2（临床）：MAE = 1.08±0.04 vs 纯RGB MAE = 1.51±0.14（提升28.5%，p < 0.001）。临床环境中的提升略低，反映了额外的混淆因素（药物效应、遮挡、PACU温度变化）。完整的每折结果见S1文件中的表格B。

4.3 按疼痛强度分层的性能 — 进一步验证了H2假设：热模态的贡献随疼痛严重程度的增加而增加。
在低疼痛（0-3）时：MAE = 0.62±0.05（相比纯RGB MAE = 0.73提升15.1%）。
中度疼痛（4-6）时：MAE = 0.84±0.08（提升31.7%）。
高疼痛（7-10）时：MAE = 1.12±0.11（提升38.5%）。高疼痛下的额外效益反映了：（1）严重疼痛时自主反应更强，提供了更丰富的热信号；（2）表现上限效应，即RGB信号饱和而热信号仍能继续扩展。图3展示了带有95%置信区间误差条的分层结果。之前的冗余强度表格已移除；数值在当前部分和S1文件中的表格B中有完整报告。

下载：PNG
更大图像
TIFF
原始图像

图3. 按疼痛强度分层的性能。
条形图显示了不同模态（纯RGB（灰色）、纯热（浅蓝色）和CSAF+Transformer（深蓝色）在三个疼痛强度范围内的平均绝对误差（数值越低表示性能越好）。多模态融合的效益随疼痛严重程度的增加而单调提升：低疼痛时提升15.1%（NRS 0-3），中度疼痛时提升31.7%（NRS 4-6），高疼痛时提升38.5%，验证了多模态互补性假设（H2）。误差条表示5次交叉验证的95%置信区间（Bootstrap B = 1000）。所有成对比较：p < 0.001（***配对t检验，Bonferroni校正）。

缩写：MAE = 平均绝对误差；NRS = 数字评分量表；CI = 置信区间。

https://doi.org/10.1371/journal.pdig.0001424.g003

4.4 消融研究 — 量化各组件的贡献
表3展示了系统性的消融研究，验证了H2（热模态，融合机制）和H3（时间建模）假设（图4）。

下载：PNG
更大图像
TIFF
原始图像

表3. 消融研究结果。每一行显示移除或替换一个组件时的平均绝对误差（MAE）。退化程度 = （消融后的MAE - 完整模型的MAE）/ 完整模型的MAE。主要指标：MAE（数值越低表示性能越好）。所有值：5次折叠的平均值。统计显著性：所有组与完整模型相比，p < 0.001（***配对t检验，Bonferroni校正），除非另有说明。

缩写：MAE = 平均绝对误差；PCC = 皮尔逊相关系数；H2 = 多模态互补性假设；H3 = 时间动态假设。

https://doi.org/10.1371/journal.pdig.0001424.t003

下载：PNG
更大图像
TIFF
原始图像

图4. 消融研究可视化。
每个条形图显示了移除或替换指定组件后的平均绝对误差（MAE，数值越低表示性能越好），相对于完整模型（MAE = 0.87，虚线参考线）。移除热模态（MAE增加41.4%）和时间变换器（MAE增加35.6%）导致的退化最为显著，分别验证了H2和H3假设。交叉注意力融合相比简单串联提升了17.2%的效益。误差条表示95%置信区间。所有比较的p值均小于0.001。

https://doi.org/10.1371/journal.pdig.0001424.g004

4.5 模态贡献分析 — H2机制
学习到的自适应门在低疼痛时以RGB为主（68% RGB，32% 热），在高疼痛时以热为主（45% RGB，55% 热），从而验证了H2假设。区域特定分析显示，在眶周和口周区域（70-75%，表达丰富的区域）RGB占主导，而在鼻部和额头区域（40-45%，血管丰富的区域）热模态的贡献更大。表4详细说明了权重分配（图5）。

下载：PNG
更大图像
TIFF
原始图像

表4. 来自自适应门的学习到的模态贡献权重。权重归一化为1.0；数值为平均值±标准差。高/低表达者根据面部动作单位（FACS编码）的中位强度分类。

缩写：AU = 面部动作单位；FACS = 面部动作编码系统。

https://doi.org/10.1371/journal.pdig.0001424.t004

下载：PNG
更大图像
TIFF
原始图像

图5. 不同疼痛强度下的动态模态贡献。
堆叠条形图显示了每个NRS疼痛水平下学习到的自适应门权重。RGB的贡献（灰色）从低疼痛时的68%降至高疼痛时的45%，而热的贡献（橙色）相应地从32%升至55%。这种变化验证了H2假设：模型能够自动学习在疼痛加剧时依赖更多的热生理信号，因为此时面部表情差异相对于总体疼痛水平较小。

缩写：NRS = 数字评分量表。

https://doi.org/10.1371/journal.pdig.0001424.g005

4.6 时间模式分析 — 验证了H3和H1假设
热反应在可见面部表情之前1.2±0.3秒发生（图6），验证了H3假设。这种时间上的优先性可能反映了自主神经系统反应更快（下丘脑/脑干，刺激后200-500毫秒[9]）相对于自愿运动表达（皮质处理+肌肉激活，800-1500毫秒[29]）。时间变换器学会了利用这种优先性，在当前预测前1-2秒关注热特征。

下载：PNG
更大图像
TIFF
原始图像

图6. 疼痛发作期间的时间演变。
（顶部）热特征激活在RGB特征激活前1.2秒可见。
（中间）在冷压测试过程中，NRS真实值急剧上升。
（底部）CSAF+Transformer的预测紧密跟随真实值，利用热特征的优先性进行早期检测。阴影区域表示30个随机选择的疼痛发作事件的95%置信区间。这验证了H3假设（时间动态假设）。

缩写：NRS = 数字评分量表；RGB = 红色-绿色-蓝色；CI = 置信区间。

https://doi.org/10.1371/journal.pdig.0001424.g006

4.7 空间注意图 — 验证了H1假设
图7揭示了互补的注意模式，直接验证了H1假设。RGB注意集中在面部较低的区域——口周（AU9/10，嘴巴）和眶周（AU4/6/7，眉毛）——反映了疼痛表达的自愿运动成分。热注意则针对面部的不同区域：鼻尖和鼻周区域（交感神经血管收缩）和额头（全身性冷却）。关键的是，这两种模态关注的非重叠面部区域，证实它们捕捉的是互补的生理信号，而不是冗余信息。这种空间互补性解释了为什么融合模式优于单一模态方法（H2），以及为什么当行为线索被抑制时效益最大——热自主信号仍然可检测到[30,31]。

下载：PNG
更大图像
TIFF
原始图像

图7. 在高疼痛实例上平均的学习空间注意图（NRS ≥7）。
每个热图上叠加了一个代表性的平均面部示意图（白色轮廓；未显示参与者的数据），以帮助空间解释；虚线黄色框标出了每个面板的主要关注区域。
（顶部行，RGB注意）：脸颊面板显示与颧部肌肉活动一致的弥漫性中等激活；口周面板显示在疼痛时嘴唇区域的集中高激活，反映了AU9/10（提唇肌和唇角肌肉）的收缩；平均RGB图确认了眶周-口周的主导性。
（底部行，热注意）：眶周面板显示了覆盖眉毛和眼眶区域的强烈广泛激活，与AU6/7（眼轮匝肌）收缩产生的代谢热一致；额头面板显示了对面部上部的关注，其中压力引起的双侧外围血管收缩产生了最大的热对比度；平均热图确认了热信号的鼻-额头主导性。这两种模态的互补空间分布为H1（生理表现）提供了直接的证据，并通过展示它们捕捉的非重叠疼痛相关信号来支持H2假设。

缩写：AU = 面部动作单位；FACS = 面部动作编码系统。

https://doi.org/10.1371/journal.pdig.0001424.g007

4.8 发现的热模式 — 主要的H1证据
无监督聚类在高疼痛实例中发现了四种反复出现的熱模式[32,33]：
（A）鼻部冷却（42%的高疼痛实例）：-0.8±0.3°C，反映了交感神经血管收缩[9,34]。
（B）眶周温暖（38%）：+0.6±0.2°C，来自眼眶肌肉的代谢热（AU6/7）。
（C）额头冷却（28%）：-0.5±0.2°C，双侧外围血管收缩。
（D）热不对称（18%）：>0.8°C的侧向差异，可能反映了大脑半球的对侧化[8]。

下载：PNG
更大图像
TIFF
原始图像

图8. 通过无监督聚类发现的与疼痛相关联的热模式（高疼痛实例，NRS ≥7）。
每个面板上都叠加了一个代表性的平均面部示意图（白色轮廓）和虚线黄色兴趣区域框，以定位热变化的位置；未显示参与者的图像。
（A）鼻部冷却（-0.8±0.3°C；42%的高疼痛实例）：鼻尖和鼻周皮肤的中央区域（蓝色）显示出最明显的冷却，这与交感神经血管收缩一致，直接验证了H1假设。
（B）眶周温暖（+0.6±0.2°C；38%）：眼眶区域的双侧温暖区域（红色-橙色）由眼轮匝肌收缩产生的代谢热引起，将热成像与FACS疼痛行动单位直接联系起来。
（C）额头冷却（-0.5±0.2°C；28%）：额头中央的矩形冷却区域反映了压力的全身性交感神经血管收缩，与已建立的自主神经系统调节文献一致[9,34]。
（D）热不对称（>0.8°C的侧向差异；18%）：可能反映了大脑半球的对侧化，这对于诊断侧向疼痛条件具有诊断价值。这些模式并非唯一存在，可能会同时发生。总体而言，这四种模式构成了CSAF模型的自适应门控机制所利用的热疼痛特征。

下载：PNG
更大图像
TIFF
原始图像

图8. 在特殊人群上的性能 — 在具有挑战性的情况下测试H2假设
表5显示了跨亚群体的稳定效益。关于“镇静”子群体的重要说明：标记为“镇静”的12名受试者在药物作用下面部活动性降低（使用咪达唑仑，实验室控制环境）。这些不是机械通气的ICU患者；真 Implementation中的临床验证是未来的必要步骤（图9）。

下载：PNG
更大图像
TIFF
原始图像

表5. 在特殊人群上的性能。
所有改进都具有统计学意义（p < 0.01，**配对t检验，Bonferroni校正）。主要指标：MAE（数值越低表示性能越好）；数值为平均值±标准差。改进程度 = （纯RGB MAE - CSAF MAE）/ 纯RGB MAE ×100%。皮肤类型根据Fitzpatrick量表分类（I-II 轻度，III-IV 中度，V-VI 重度）。高/低表达者：根据面部动作单位中位强度分为顶部/底部25%。“镇静”子群体（n = 12）：面部活动性在药物作用下降低的受试者（咪达唑仑），不是机械通气的ICU患者。

缩写：MAE = 平均绝对误差；AU = 面部动作单位。

https://doi.org/10.1371/journal.pdig.0001424.t005

下载：PNG
更大图像
TIFF
原始图像

图9. 在特殊人群上的性能。
成对的条形图比较了不同子群体中RGB-Only（灰色）和CSAF+Transformer（深蓝色）的平均绝对误差（数值越低表示性能越好）。CSAF对于低表达者和镇静控制的受试者提供了最大的效益（分别提升了37.6%和32.1%），并减少了肤色差异的性能方差（纯RGB范围为1.15–1.38；CSAF范围为0.83–0.92）。误差条表示95%置信区间。所有**的p值均小于0.01。注意：“镇静”表示在控制环境下面部表达性降低，并非ICU患者。

缩写：MAE = 平均绝对误差；CI = 置信区间。

https://doi.org/10.1371/journal.pdig.0001424.g009

4.10 跨数据集泛化
零样本转移（在数据集1上训练的模型在数据集2上的评估）：MAE = 1.34（95%置信区间：[1.28, 1.40]），相对于领域内临床性能（MAE = 1.08）提升了24.1%。领域差异来源包括：不同的镇痛方案影响自主神经张力；PACU中的医疗设备遮挡；PACU环境温度的变异性（记录会话间±1–2°C）；手术疼痛与诱导疼痛之间的患者间变异性更大（图10）。

下载：PNG
更大图像
TIFF
原始图像

图10. （左）CSAF+Transformer在联合测试集上的预测散点图（PCC = 0.86，n = 11.38 M帧）。每个点代表10秒的时间窗口；颜色表示真实疼痛强度。对角线表示完美预测。
（右）3类疼痛分类（低/中度/高NRS）的混淆矩阵。总体3类准确率为82.4%。最常见的错误发生在相邻类别之间（低?中度，中度?高），这与NRS量表的连续性一致。

缩写：PCC = 皮尔逊相关系数；NRS = 数字评分量表。

下载：PNG
更大图像
TIFF
原始图像

图10. 使用20%的临床数据进行微调：MAE = 1.15（95%置信区间：[1.06, 1.24]，显著优于零样本转移（p < 0.001，MAE = 0.19）。这表明使用适量的目标领域数据进行领域适应性微调可以显著缩小实验室到临床之间的差距。领域内临床性能：MAE = 1.08（95%置信区间：[1.02, 1.15]）。这些结果表明，热-RGB融合即使在分布偏移的情况下也能泛化到真实的临床条件并带来实质性效益。

4.11 人类专家比较
三名具有8年、11年和15年临床经验的ICU护士评估了200个按疼痛强度分层的视频片段（67例低疼痛/67例中度/66**重要提示：**护士能够获取自动化系统无法获得的临床信息（如患者病史、用药时间、口头报告等）。这项比较仅作为背景基准，并非直接等效性测试。

**缩写说明：**
MAE = 平均绝对误差（Mean Absolute Error）；
PCC = 皮尔逊相关系数（Pearson Correlation Coefficient）；
ICC = 组内相关系数（Intraclass Correlation Coefficient）；
CI = 置信区间（Confidence Interval）。

**下载链接：**
PNG格式较大图片 | TIFF格式原始图片
**图11：** 在200个样本的分层子集上与人类专家评估者的比较。
单个护士的MAE值（灰色条形）范围为1.08–1.22。CSAF+Transformer（深蓝色条形，MAE = 0.91）的表现与个别专家相当，并且低于专家的平均水平（MAE = 1.15）。误差条表示95%的置信区间（Bootstrap B = 1000次抽样）。

**重要提示：**专家评估了自动化系统无法获取的临床信息；因此这种比较反映了在特定背景下的相对性能，并不代表实际应用中的等效效果。

**缩写说明：**
MAE = 平均绝对误差；CI = 置信区间。

**参考文献：**
https://doi.org/10.1371/journal.pdig.0001424.t006

**第5章：讨论**
**5.1 综述与已有研究的比较**
本研究显示，跨光谱热成像与RGB融合方法相比，疼痛估计误差降低了29.3%（MAE从1.23降至0.87），在高疼痛强度下这一优势更明显，可达到38.5%。这种改进幅度显著超过了以往技术创新的累积效果——卷积神经网络（CNN）增加了约5–8%的空间分辨率[7]，长短期记忆网络（LSTM）增加了约3–5%[8]，变换器（Transformer）增加了约2–4%[6]——这表明利用不同的生理信号通道能够获得更大的改进潜力。与使用可穿戴生理传感器的多模态方法[28,35]相比，我们的系统在保持较高准确率的同时（MAE = 0.87 vs RGB+可穿戴生理传感器为1.04）避免了皮肤接触，这一点在感染高风险环境（如麻醉后护理单元）中尤为重要。Gkikas等人的方法[24]将RGB视频与心率信号融合，获得了较高的二元分类准确率（82.7%），但没有解决连续性回归问题以及低表达型患者群体的挑战。Khan等的系统评价[26]认为多模态融合是疼痛识别最有前景的方向，但指出现有文献中缺乏非接触式热成像方法；我们的研究直接弥补了这一空白。
与人类专家的比较结果显示（第4节），我们的系统在200个样本子集上的MAE为0.91（专家共识为0.97–1.00），与经验丰富的护士相当，尽管护士能够获得我们的视觉系统无法获取的临床信息（如病历、口头交流）。这种信息不对称性意味着在仅依赖视觉信号的情况下，系统的实际优势可能比这些数字所显示的更大。我们系统获得的0.84组内相关系数（ICC）超过了标准观察量表报告的0.55–0.75范围，表明在评价者间的一致性方面具有临床意义。0.84的ICC符合传统临床标准（ICC > 0.75），说明该系统适用于临床测量工具。热反应比行为表达快1.2秒（H3），这与自主神经系统（下丘脑/脑干，刺激后200–500毫秒）和躯体运动系统（皮层处理+肌肉激活，800–1500毫秒）的疼痛反应时间差异一致[9,29]。这一时间优势在早期镇痛干预中具有潜在临床价值，但需要通过临床工作流程进行前瞻性验证以确认其实际效用。

**5.2 热模式的生理学解释**
第4节中确定的四种热模式为疼痛的温热带表现提供了机制上的解释：
- **鼻部冷却（42%）**是最常见的模式，反映了疼痛期间交感神经激活导致的周围血管收缩[9,34]。鼻尖对温度变化特别敏感，因为鼻部血管接受丰富的交感神经支配且侧支循环较少，因此是检测交感神经活性的可靠指标。这一发现与使用冷疼痛测试（CPT）[34]以及慢性疼痛患者群体的研究结果一致。
- **眼眶周围升温（38%）**的机制不同：它反映了疼痛时眼轮匝肌（AU6/7）收缩产生的代谢热，而非血管效应。这直接关联了热信号和行为疼痛信号，解释了为什么热成像关注的区域与RGB成像相同，尽管原因不同。
- **额头冷却（28%）**反映了全身性的交感神经血管收缩，通常伴随更严重的疼痛出现。
- **热不对称（18%）**是理解最少的模式，但可能具有诊断意义：已有研究显示单侧神经病变[37]和自主神经系统反应的半球侧化存在不对称现象。这些模式的同时发生（它们并非互斥）也为临床提供了新的见解：主要表现为鼻部冷却的患者往往是“自主神经反应强烈但行为表现有限”的类型——这正是我们的系统最为显著改善的亚群（效果提升37.6%），也是传统临床工具最不可靠的领域。

**5.3 局限性与未来方向**
- **仅针对成人的验证**：我们的数据集仅包含成年人（年龄21–74岁）。新生儿和儿童的面部编码系统（NFCS vs. FACS）、自主神经系统发育、基线体温调节能力及面部形态都不同，因此需要在这些人群中单独收集数据并验证系统的有效性（使用FLACC、PIPP-R等儿童疼痛评估工具），并开发特定年龄段的模型。
- **样本量和样本地点**：一个机构中的80名受试者对于医学人工智能系统来说样本量有限。为了确保通用性，需要在ICU、急诊科、慢性疼痛诊所和家庭护理等不同医疗环境中进行多地点验证。
- **硬件成本**：FLIR A655sc相机价格约为10,000美元。需要使用消费级热成像相机（通常价格低于500美元）进行更广泛的部署验证；现有研究表明0.1–0.2°C的敏感度可能足以检测疼痛，但细微的疼痛变化可能难以识别。
- **环境敏感性**：实验需要在受控的环境温度（21–23°C）下进行。在未受控制的环境（如家庭护理、紧急运输）中的性能尚未测试。
- **镇静/低表达型患者**：此处“镇静”指实验室条件下的面部活动受限，并非机械通气的ICU患者。在真实的ICU患者群体中进行临床验证是未来的重点方向。
- **文化与种族多样性**：虽然我们的研究涵盖了Fitzpatrick皮肤类型I–VI，但未记录患者的种族/民族信息。未来的工作应包括收集自我报告的种族信息，并评估在不同疼痛表达规范的文化群体中的系统表现。

**6结论**
本研究证明，同步热成像与RGB融合显著提高了成人（21–74岁）的疼痛强度自动估计准确性，误差降低了29.3%。三个假设得到验证：
1. 热生理表现是可以检测到的；
2. 多模态融合优于单一模态方法，尤其是在患者表情被抑制的情况下；
3. 时间建模能够捕捉疼痛动态，热信号比行为表达提前1.2±0.3秒。
关键贡献包括：双向跨光谱注意力融合架构、同步热成像与RGB数据集、揭示热疼痛特征的可解释性分析，以及在具有挑战性的亚群中取得的最高37.6%的改进效果。
目前的研究仅针对成人进行了验证。针对儿童、慢性疼痛患者群体以及不同文化背景下的临床应用还需进一步研究。我们将其作为概念验证和技术基础，但在进行负责任的临床应用前，还需要进行多地点的前瞻性随机对照试验（RCTs）、法规审批、成本效益分析以及涉及数据安全性的伦理评估。

**致谢**
感谢参与这项研究的志愿者和患者，感谢护理人员提供的临床数据支持，同时也感谢匿名审稿人的宝贵反馈。