《Journal of Industrial Information Integration》：Multimodal thermal sensing and predictive modeling for correcting non-uniform heating in microwave processing
编辑推荐：
针对非均匀加热问题，本研究提出脑启发多模态融合框架，结合红外热成像与分布式光纤传感，利用CNN提取空间特征，SNN捕捉时序动态，通过分层神经融合算法实现高精度温度场预测，并基于预测设计闭环伺服控制策略动态调整加热对象位置，显著提升微波加热均匀性。
陈阳蒙|黄荣浩|梁莉|杨新成|钱琦|严城
东华大学信息科学与技术学院，中国上海201620
摘要
非均匀加热仍然是工业热处理中的一个关键挑战，因为它会导致局部过热或欠热，从而影响产品质量、能源效率和可靠性。这一问题源于不均匀的电磁场、材料异质性以及实时热反馈不足，凸显了精确传感和闭环控制的必要性。本文提出了一种受大脑启发的多模态框架，结合了红外热成像和分布式光纤传感技术，能够捕捉不同材料和几何形状下的表面和内部温度动态，实现了更高的时空分辨率和更准确的非均匀加热模式重建。为了融合互补的空间-时间信息，设计了一种分层神经融合算法，该算法结合了卷积编码、门控记忆机制以及受大脑多感官整合启发的跨模态注意力机制。这种软硬件集成模型能够实现对时空热分布的准确预测，支持智能和自适应的热调节。利用这些预测结果，基于伺服电机的闭环控制策略可以动态调整加热物体的位置，以抑制局部过热并提高加热均匀性。在微波加热场景中的实验结果表明，该方法提高了加热均匀性，并具有很强的适应性，凸显了受大脑启发的多模态传感和预测控制在制造系统中的潜在应用价值。
引言
热分布不均匀是许多工业系统中的一个常见且关键的问题，从先进制造到食品加工都存在这一现象[1]、[2]、[3]、[4]、[5]。这些空间和时间上的不一致性不仅会降低产品质量和能源效率，还会在温度敏感的过程中带来安全隐患[6]。这种复杂性源于材料属性、容器几何形状和电磁场分布的变化，这些因素难以通过单一的传感方式观察到和协调。最近的数据驱动建模技术，特别是神经网络，为从多模态观测中学习这种非线性和耦合的热动态提供了新的可能性。然而，传统的神经网络往往无法实现准确的跨模态对齐，也难以捕捉到精细的空间-时间变化，导致在未见过的物理条件下的解释能力和泛化能力有限[5]、[7]、[8]、[9]、[10]、[11]。为了解决这些限制，人们越来越需要那些受生物学启发的、以感知为导向的框架，以便更好地建模、预测和调节非均匀环境中的热行为。微波加热虽然效率高，但存在持续的非均匀加热问题，尤其是在加热液体和固体时。因此，它成为验证此类框架的理想场景[12]、[13]。本研究开发了一种受大脑启发的多模态传感和预测控制框架，用于解决工业热处理中的非均匀加热问题，以微波加热作为代表性的验证案例。
在半导体制造、聚合物固化以及食品杀菌等工业热处理过程中，均匀的热分布至关重要。非均匀加热可能导致热应力、反应不完全或部分区域未煮熟，从而影响产品质量、安全性和效率。在食品加工中，它可能导致冷点处的微生物存活或热点区域的过熟现象。尽管微波加热具有体积大和能量传递迅速的优点，但由于复杂的电磁-热相互作用，它极易出现这些问题[14]。吴等人开发了一种耐微波的光纤热电偶阵列[15]。虽然红外相机能够快速进行非接触式表面映射，但无法捕捉内部温度变化。热电偶可以测量内部温度，但其灵活性有限且容易受到电磁干扰，不适合多点动态传感[16]、[17]、[18]。最近结合单点红外传感和时间序列预测的研究提高了时间分辨率，但在空间维度上仍然有限，阻碍了对非均匀加热的全面表征。
在许多工业热处理过程中，现有的研究通常依赖于单一的传感方法，如红外成像用于表面温度测量或热电偶用于内部温度测量。然而，这些方法的空间和时间覆盖范围有限，难以准确捕捉和模拟对工艺质量至关重要的非均匀加热行为[19]、[20]、[21]。陈等人分析了红外视频序列以跟踪加热区域的演变，并尝试提取关键加热特征[22]，而徐等人使用单点温度测量构建了基于LSTM的模型来预测内部温度趋势[23]。前者忽略了内部热扩散，后者缺乏空间热分布信息，限制了他们对复杂加热现象的建模能力。为了解决单一传感方法在捕捉非均匀加热方面的局限性，我们构建了一个结合红外热成像和光纤温度序列的多模态数据集。该数据集涵盖了多种食品类型、容器和放置方式下的表面和内部温度数据，为模拟复杂的微波加热行为提供了全面的空间-时间覆盖。
尽管多模态融合算法已经取得了显著进展，但现有方法在处理复杂任务时仍面临一些挑战。Nagrani等人提出的“注意力瓶颈”方法通过分层瓶颈增强了融合效果，但过度压缩跨模态信息会导致关键特征的丢失和表达能力的下降[24]。Yu等人报告称，当前的融合模型容易受到对抗性攻击的影响；即使只破坏一个模态，也会显著降低整体性能，表明各模态之间的冗余性有限[25]。Shi指出，许多生物医学融合方法缺乏适应动态模态关系的策略，导致结果不够理想[26]。尽管梁等人引入了对抗性表示学习和基于图的融合方法来缓解模态差异，但它们的方法仍然存在复杂性高和训练不稳定的问题[27]。此外，传统的融合方法常常忽略不相关的特征，并依赖于简单的串联方式，导致维度膨胀和性能下降。
本文提出了一种多模态预测框架，用于解决复杂热系统中普遍存在的非均匀加热问题。该框架结合了受多感官整合启发的融合算法，通过卷积特征提取、门控记忆动态和跨模态注意力机制，高精度且稳健地模拟了异构模态下的时空温度演变。为了支持和验证这一框架，通过同步收集不同材料类型、容器几何形状和放置配置下的红外热成像和光纤时间序列测量数据，构建了一个多模态热数据集。基于预测的温度分布，开发了一种基于伺服电机的闭环控制策略，用于动态调节物体位置，实现定向加热并提高整体温度均匀性。传感-预测-控制流程共同构成了一个封闭的自适应循环，为现实世界应用中的智能热调节提供了一种可扩展且可解释的方法。
本研究的主要贡献包括：
- 提出了一种受大脑启发的多模态融合算法，用于模拟时空温度演变。该算法使用温度自适应的卷积核和门控时间神经元来模拟热感觉处理和记忆动态。
- 提出了一种受弧束纤维结构启发的融合机制，增强了跨模态的互补性和预测的鲁棒性。
- 开发了一种结合红外成像和分布式光纤传感器的多模态传感系统，能够同步捕捉表面和内部温度，实现全场热特性分析，从而实现智能控制。
- 提出了一种闭环控制策略，将预测结果与伺服驱动的旋转相结合，动态重新分配微波场，提高加热均匀性。
本文的结构如下：第3节介绍了红外-光纤多模态温度传感系统的设计，包括红外成像和光纤测量。第4节介绍了受大脑启发的多模态融合方法，其中光纤时间序列数据由具有多阈值和门控神经元的脉冲神经网络处理，红外图像（80 × 62像素）由具有温度感知核的CNN分析，以构建动态温度场。第5节描述了实验研究，评估了不同材料和设置下的融合算法。第6节详细介绍了微波均匀加热控制逻辑和实验，利用融合的温度预测来驱动伺服控制的旋转系统，以提高加热均匀性。最后，第7节总结了本文并讨论了未来的研究方向。
相关工作
实现均匀加热是工业热处理中的一个关键问题，但目前尚未得到有效解决。本节回顾了现有的微波加热传感、建模和控制策略，并讨论了它们在解决非均匀性方面的局限性。
红外-光纤多模态温度传感系统的设计
本节介绍了一种多模态温度采集系统的设计，该系统结合了80 × 62像素的红外热成像传感器和8通道的光纤接触传感器。该系统能够在加热过程中同时获取时间序列热图像和分布式点式温度测量数据，提供互补的空间和内部热信息。两种模态之间的数据同步通过上位计算机实现
工业热系统中受大脑启发的红外-光纤多模态融合
如图5所示，提出了一种用于智能微波加热控制的受大脑启发的多模态融合模型。红外热图像（80 × 62像素）和光纤温度时间序列数据分别作为视觉和听觉模拟。卷积神经网络（CNN）使用温度自适应核从红外数据中提取空间特征，而脉冲神经网络（SNN）使用多阈值门控神经元捕捉光纤信号的时间动态。
实验研究
多模态数据集（表2）被划分为训练集、验证集和测试集，比例为70:15:15。每个子集包含在不同容器类型和方向下对液体（水）和固体（大米）样品进行微波加热时的同步红外图像和光纤温度时间序列数据。为了确保统计独立性，每个子集使用了不同的实验运行。模型通过学习来预测时空温度分布
微波均匀加热控制逻辑和实验
预测的温度场指导自适应控制。通过从模型输出中检测热点和冷点区域，系统计算温差（ΔT），并在温差超过5°C（对于液体）或10°C（对于固体）时调整转盘角度。这种反馈将预测转化为实时控制，有效提高了加热均匀性。
结论
本研究提出了一种多模态传感和控制框架，用于解决非均匀微波加热问题。通过结合红外成像和光纤温度传感，实时捕获了表面和内部温度场。开发了一种受大脑启发的融合模型，用于预测温度的时空演变，从而通过伺服电机实现闭环控制转盘角度。实验验证表明，这种自适应方法有效
CRediT作者贡献声明
陈阳蒙：撰写 – 审稿与编辑、撰写 – 原始草案、可视化、验证、软件、方法论、数据整理。黄荣浩：撰写 – 审稿与编辑、监督、项目管理、方法论、资金获取、形式分析、概念化。梁莉：软件、资源、形式分析、数据整理。杨新成：撰写 – 审稿与编辑、软件、形式分析。钱琦：软件、方法论、调查、数据整理。严城：
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。
