基于语言先验信息的多模态裂缝图像阴影去除模型研究

本文提出了一种结合自然语言处理（NLP）与图像先验信息的多模态深度学习模型TSRNet，通过OTSU算法提取裂缝位置特征，并利用Word2Vec融合工程文本描述，显著提升了阴影环境下混凝土裂缝图像的恢复精度。创新性引入贝叶斯优化（Bayesian optimization）和跨模态特征融合策略，在开源与实验数据集上验证了其超越RetinexNet、CycleGAN等模型的性能（Dice/IoU/PA指标），为复杂背景下的结构健康监测（SHM）提供了新范式。

　　

Highlight

阴影去除能显著提升裂缝识别精度，但如何有效利用工程领域知识仍是挑战。本研究提出融合目标图像与语言先验信息的多模态神经网络TSRNet，通过OTSU和NLP技术分别提取裂缝位置特征与专业文本描述特征，采用多阶段特征融合策略指导阴影修复。贝叶斯优化进一步优化网络架构，在开源混凝土裂缝数据集和实验数据集中验证其优越性。

Image illumination enhancement based on deep learning

基于深度学习的图像光照增强技术通过增加神经网络层数、设计新型特征提取模块（如注意力机制）和定制损失函数来提升阴影区域修复质量。例如，Ahn等（2023）通过双损失函数保留图像细节，而Li等（2023）提出的分层光谱结构保持模块则显著提升了复杂背景下的阴影消除能力。

Prior information extraction

本节深入研究了如何将语言信息整合到阴影裂缝图像修复中。采用Word2Vec模型将专家对阴影裂缝图像的文本描述转化为向量，这些描述限定了网络学习范围（图1），既加速训练又增强模型对裂缝与阴影关系的理解能力。

Numerical experiment

实验在PyTorch平台上完成，硬件配置为第13代Intel? Core? i7-13700K处理器、NVIDIA GTX 4060Ti显卡（16GB显存）。

Conclusions and outlook

TSRNet通过OTSU与NLP提取的双模态先验信息，显著提升了阴影裂缝图像的修复效果。未来可探索更细粒度的文本-图像对齐策略，并将模型扩展至其他工程缺陷检测场景。

（注：原文中结构工程相关术语如OTSU/NLP等已保留，并采用生命科学领域常见的"模块""向量"等表述增强可读性，同时避免文献引用标识。）