局部与全局结构双重融合嵌入深度非负矩阵分解在多视图聚类中的应用

《Expert Systems with Applications》：Local and Global Structure Double Fusion Embedding Deep Non-Negative Matrix Factorization for Multi-View Clustering

道路积雪检测与预测中，动态多模态融合框架DMtes通过改进InceptionNeXt提取图像特征，结合CatBoost建模环境数据，创新性地引入MFA机制和ECA注意力实现自适应模态权重分配与跨模态特征交互，利用SnowRoad-4K数据集验证其可提前两小时预测积雪覆盖并揭示环境因素的延迟影响，为复杂天气下的交通管理提供轻量化解决方案。

　　在当今社会，随着智能交通系统的发展，道路环境感知与预测技术变得愈发重要。特别是在极端天气条件下，如大雪、冰冻等，这些技术对于保障交通安全、提高道路通行效率具有不可替代的作用。然而，现有的道路表面雪情感知与预测方法在面对动态变化的环境以及异构的多模态数据源时，仍存在诸多挑战。这不仅限制了其在复杂天气条件下的泛化能力，也影响了其在实际应用中的表现。因此，研究一种能够有效应对这些挑战的新型多模态融合框架，具有重要的现实意义和应用价值。

本文提出了一种名为DMtes的动态多模态融合框架，旨在解决现有方法在极端天气条件下感知与预测能力不足的问题。该框架通过结合视觉图像和环境数据，实现了对道路表面雪情的高效和准确识别。具体而言，DMtes框架在图像处理部分采用了改进的InceptionNeXt模型，用于提取视觉特征。而在环境特征建模方面，则引入了CatBoost算法，以处理多时间点的表格型数据。此外，为了实现适应性与优化的模态融合，DMtes还引入了一种名为模态融合注意力（Modal Fusion Attention, MFA）的机制。MFA能够根据环境变化动态调整各模态的权重，从而在不同条件下实现更精准的融合效果。

在图像处理分支中，为了增强不同通道之间的依赖关系，DMtes还嵌入了高效的通道注意力（Efficient Channel Attention, ECA）机制。ECA能够帮助模型更好地捕捉图像中的关键信息，提升其对雪情识别的准确性。与此同时，为了增强非线性表示能力和多尺度特征交互，DMtes还采用了并行多层感知机（Parallel MLP, P-MLP）结构。这一结构不仅有助于模型处理复杂的图像信息，还提升了其对多尺度特征的感知能力。

在环境处理分支中，CatBoost算法被用来建模气象参数对路面条件的延迟影响。这种延迟效应是指气象因素如温度、风速和太阳辐射等，对雪覆盖状态的影响并非即时显现，而是存在一定的时间滞后。因此，通过CatBoost对这些延迟效应进行建模，有助于构建更准确的环境时间上下文，从而提升模型的整体性能。同时，受Split-Attention（SA）机制的启发，DMtes设计了一个新的MFA模块，用于动态调整两个分支的贡献。MFA能够根据模态的相关性进行自适应加权，优化跨模态特征的对齐与交互，使得模型在不同天气条件下具备更强的鲁棒性。

DMtes框架的创新性在于其不仅能够高效处理视觉和环境数据，还能够在复杂和动态的环境中实现更准确的雪情感知与预测。该框架采用了一种轻量化的架构设计，参数量仅为34.45百万，使得其在交通监控等对实时性要求较高的应用中具备显著的优势。此外，DMtes还构建了一个新的多模态数据集SnowRoad-4K，该数据集包含来自加拿大安大略省的4,857对图像与气象数据样本，涵盖了多种冬季天气条件。通过该数据集的实验验证，DMtes不仅展示了其在动态环境下的融合能力，还揭示了外部气象因素对雪覆盖状态的延迟影响，这一发现为智能交通系统在复杂天气条件下的决策提供了重要的参考依据。

DMtes的提出填补了当前研究中关于动态多模态融合与延迟效应建模的空白。在实际应用中，传统方法往往仅关注当前的雪情状态，而忽略了气象因素对雪覆盖的持续影响。这种局限性可能导致预测结果的偏差，从而影响交通管理的决策效率。而DMtes通过引入MFA机制和延迟建模策略，使得模型能够更好地理解雪情的演变过程，实现更准确的预测。这一能力对于智能交通系统在冬季等复杂天气条件下的运行至关重要，有助于提前采取应对措施，降低交通事故的风险。

在具体实施过程中，DMtes框架的两个分支分别负责处理视觉图像和环境数据。图像处理分支采用改进的InceptionNeXt模型，这一模型在结构上进行了优化，使其能够更高效地提取图像中的关键特征。同时，为了增强图像处理的准确性，DMtes还引入了ECA机制，该机制通过调整不同通道之间的注意力权重，提升了模型对图像细节的感知能力。此外，P-MLP结构的引入，使得模型能够更好地捕捉图像中的非线性关系和多尺度特征，从而提高其在复杂环境下的表现。

环境处理分支则采用CatBoost算法，这一算法在处理表格型数据方面表现出色，能够有效建模多时间点的气象参数与路面条件之间的关系。CatBoost通过其强大的特征选择和建模能力，使得模型能够准确捕捉气象因素对雪覆盖状态的延迟影响。这种延迟影响在实际中是一个复杂且重要的问题，因为气象因素的变化通常不会立即反映在路面条件上，而是需要一定的时间才能显现。因此，通过CatBoost对这一延迟效应进行建模，有助于提升模型的预测能力，使其在不同时间段内都能提供可靠的雪情预测。

为了实现两个分支之间的动态融合，DMtes引入了MFA机制。MFA的核心思想是根据各模态的贡献度和相关性，动态调整其在融合过程中的权重。这种机制能够有效应对环境变化带来的挑战，使得模型在不同天气条件下都能保持较高的识别和预测性能。MFA不仅能够优化跨模态特征的对齐，还能够增强不同模态之间的交互，从而提升整体模型的鲁棒性和准确性。

通过实验验证，DMtes在SnowRoad-4K数据集上的表现得到了充分证明。实验结果表明，DMtes在复杂天气条件下的雪情识别与预测能力优于现有方法，且其轻量化的结构使得其在实际应用中具备更高的效率。此外，实验还揭示了外部气象因素对雪覆盖状态的影响存在约两小时的延迟效应，这一发现为智能交通系统在冬季的决策提供了重要的理论依据。例如，在预测道路表面雪情时，可以结合气象数据的变化趋势，提前采取相应的交通管理措施，如调整限速、增加除雪作业等，从而有效降低交通事故的发生率。

DMtes框架的成功不仅在于其在技术上的创新，还在于其在实际应用中的价值。通过将视觉信息与环境数据相结合，DMtes能够提供更加全面和准确的道路表面雪情感知与预测。这不仅有助于提升交通管理的智能化水平，还能够为公众提供更安全的出行环境。在未来的智能交通系统中，DMtes有望成为道路表面雪情监测的重要工具，为交通管理部门提供有力的数据支持和决策依据。

此外，DMtes的研究还为多模态融合技术的发展提供了新的思路。传统的多模态融合方法往往采用静态的融合策略，这在面对动态变化的环境时可能无法充分发挥其潜力。而DMtes通过引入MFA机制，使得融合过程能够根据环境条件进行动态调整，从而提升模型的适应性和鲁棒性。这一设计理念对于其他多模态融合任务同样具有借鉴意义，如行人检测、交通流量预测等。

在数据集的构建方面，SnowRoad-4K的建立为后续研究提供了宝贵的数据资源。该数据集不仅包含了丰富的视觉图像信息，还涵盖了多种气象参数，如温度、风速、降雪量等。这些数据能够帮助研究人员更全面地理解雪情的变化规律，为模型的训练和优化提供坚实的基础。同时，SnowRoad-4K数据集的多样性也使得DMtes框架能够在不同的冬季天气条件下进行验证，从而确保其在实际应用中的广泛适用性。

综上所述，DMtes框架的提出不仅解决了现有方法在极端天气条件下感知与预测能力不足的问题，还为智能交通系统在复杂天气环境下的运行提供了重要的技术支持。通过结合视觉图像与环境数据，并引入动态融合机制和延迟效应建模策略，DMtes能够在不同时间段内提供更准确的雪情预测，为交通管理决策提供有力的数据依据。未来，随着技术的不断进步和数据的进一步积累，DMtes框架有望在更广泛的场景中得到应用，为提升道路安全和交通效率做出更大的贡献。