SpecBrush：一种基于光谱材质色彩先验与置信度门控的两阶段扩散壁画修复方法

《Expert Systems with Applications》：SpecBrush: A Two-Stage Diffusion Mural Restoration Method with Spectral Material Color Prior and Confidence Gating

　　

•SpecBrush 利用材料引导的扩散技术修复含铅颜料壁画。
•RGB、拉曼光谱和 XRD 共同建模含铅颜料的颜色退化。
•校准的颜色先验引导多尺度扩散修复。
•MuCleaner 净化条件均值以实现减偏采样。
•MGLC 在受损边界处保留细线和重复图案。

1. 引言
壁画虚拟修复旨在以非接触方式修复受损图像。其目标不仅是填充缺失区域，还要恢复与历史材料状态一致的颜色和图案结构。对于包含含铅颜料的壁画，长期保存过程中的褪色、变暗和色变改变了原始颜色分布。裂纹、起皮和颜料层脱落进一步破坏了线描、色块和装饰图案的连续性，使得该任务受到材料退化和视觉结构损伤的双重约束。

近年来，扩散模型在图像修复任务中表现出强大的生成能力。RePaint Lugmayr et al. (2022) 将扩散生成先验引入掩码图像修复，并展示了扩散模型在补全任意形状缺失区域方面的有效性。结构引导和条件控制机制进一步提高了扩散模型对外部空间信息的响应 Liu, Wang, Qian, Wang, & Rui (2024); Zhang, Rao, & Agrawala (2023a)。在更广泛的图像修复研究中，U2AFN Ma et al. (2024) 通过不确定性感知反馈提高了大缺失区域的修复稳定性，而 LiteEnhanceNet Song et al. (2024) 从轻量级特征建模的角度增强了退化图像增强的效率。对于复杂的成像退化，TANet Zhang et al. (2024) 引入物理退化先验来约束颜色恢复，而 MWEN Wang, Hu, Yin, Deng, & Yang (2024) 使用多尺度小波表示和颜色补偿先验来提高局部结构和颜色一致性。对于文化遗产图像，GuidePaint Hu, Yu, & Zhou (2025) 开始探索生成模型在壁画修复场景中的应用。然而，这些方法存在以下缺陷和挑战：
•现有修复模型主要学习退化图像外观的颜色分布，缺乏材料表示信息的使用。对于某些含铅颜料，相似的 RGB 外观可能对应不同的材料成分和退化路径，因此仅依赖图像颜色会导致目标颜色恢复中的一对多歧义。
•现有条件扩散方法大多使用边缘和掩码作为引导，而颜色约束通常隐含在生成网络内部。缺失区域的目标颜色缺乏显式空间先验，且不同位置颜色条件的可靠性未加区分，允许低置信度颜色估计在反向采样过程中持续传播。
•壁画的装饰色块对局部连续性高度敏感。虽然通用修复模型可以生成视觉合理的填充内容，但它们仍倾向于在不规则起皮边界周围产生结构错位或边界过度平滑。

为了解决上述挑战，我们提出了一种具有光谱材料颜色先验和置信度门控的两阶段扩散壁画修复方法，称为 SpecBrush。我们的框架首先从颜色观察和材料表示信息中学习颜色退化关系，预测颜色恢复的潜在方向，并将预测转换为图像级颜色先验和置信度信息。然后，模型将颜色先验引入扩散修复过程作为空间条件，使缺失区域的生成受到目标颜色分布和上下文结构的双重约束。为了进一步提高复杂受损区域的修复质量，我们在扩散修复阶段引入了条件均值和本地连续性增强策略，以减少退化条件下的颜色偏差，并改善沿不规则起皮边界的结构延伸。

本工作的主要贡献如下：
•我们提出了材料颜色反演网络（Material Color Inversion Network），这是一种材料条件化的颜色退化反演模块，集成了 RGB 颜色演化、拉曼光谱响应和 XRD 晶相信息到颜色恢复建模中。该设计不是仅从退化的视觉外观估计目标颜色，而是将材料表示引入退化反演过程，减少了由不同颜料成分或退化路径引起的视觉相似颜色导致的歧义。同时，缺失模态条件学习将训练期间学到的材料知识转移到仅 RGB 推理中，避免了实际壁画修复中对逐区域拉曼或 XRD 测量的要求。
•我们提出了先验控制网络（PriorControlNet），这是一种用于材料颜色先验的控制注入网络。它首先采用材料先验编码器（MP-Encoder）将颜色先验图、置信度图、缺失掩码和置信度加权颜色残差编码到统一的先验特征空间中，然后通过置信度门控和零初始化残差映射将生成的特征注入到冻结的扩散骨干网络中。通过显式建模预测颜色先验的空间可靠性，PriorControlNet 将材料衍生的颜色信息从辅助输入转变为置信度校准的多尺度控制信号，在迭代反向扩散期间减少不可靠颜色条件的传播，同时保持冻结骨干网络的预训练生成先验。
•我们提出了 MuCleaner 和掩码门控局部连续性模块（MGLC），分别从条件采样中心和多尺度特征空间约束修复过程。MuCleaner 净化了 IR-SDE 采样中使用的条件均值，减少了退化观察对反向采样过程的吸引，而 MGLC 通过掩码和置信度引导的特征调制联合建模局部边界响应和上下文图案延伸。它们对采样动态和结构特征的互补调节改善了壁画修复场景中不规则起皮边界、细线和重复装饰图案周围的颜色和结构连续性。

尽管我们的方法主要针对含铅颜料壁画修复场景，但其材料表示驱动的颜色建模和条件扩散修复显示出传统壁画图像修复的强大潜力。在 MuralVerse-S 和 CanvasCLP 上的实验结果证明了该方法在颜色恢复和结构保存方面的有效性。

2. 相关工作
2.1. 材料表示约束的颜色退化建模
壁画颜料的颜色变化通常与材料成分、晶相结构和退化产物密切相关。在传统分析中，拉曼、XRF、XRD 和 SEM-EDS 等检测技术已被广泛用于颜料鉴定、成分分析和退化机制研究 Ma et al. (2023); Monico, Janssens, Cotte et al. (2025)。这些方法可以提供超越可见外观的材料证据，特别是对于区分外观颜色相似但成分或晶相状态不同的颜料样本。Picollo et al. Bacci, Picollo, Trumpy, Tsukada, & Kunzelman (2007) 利用光谱分析对文化遗产颜料进行无损鉴定，而 Cosentino Cosentino (2014) 应用多光谱成像进行颜料分布分析，为大型文化遗产表面的材料鉴别提供了有效工具。

近年来，光谱信息与学习模型的结合吸引了越来越多的关注。HIR-Diff Pang et al. (2024) 等超光谱修复方法使用扩散模型恢复退化或缺失的光谱信息，表明生成模型可以建模复杂的光谱分布。DeepeR Horgan et al. (2021) 等拉曼光谱学习方法从数据驱动角度提取分子响应特征，用于高通量材料表征。相关多模态学习研究也证明了异构信息源之间分层交互的有效性。FTransMamba Li et al. (2026a) 采用渐进式多阶段跨模态融合来集成互补模态，而 HDC-Net Li et al. (2026b) 采用分层双流融合和跨标记交互来协调空间细节和高级语义信息。尽管这些方法是为遥感而非壁画修复设计的，但其跨模态交互策略为异构表示融合提供了有用的参考。这些研究推动了材料检测从人工解释向基于学习的表示建模的转变，也为估计颜料退化期间的材料状态提供了技术基础。现有研究主要集中在材料识别、光谱重建或颜色校正上。如何进一步将材料表示转换为图像修复的颜色恢复条件仍待探索。

2.2. 条件引导的扩散图像修复
图像修复方法已逐渐从早期的卷积网络演变为 Transformer 和扩散模型。扩散模型通过迭代去噪或反向随机微分方程学习复杂的数据分布，为图像生成和修复任务提供了有效的生成先验 Ho, Jain, & Abbeel (2020); Song et al. (2021)。RePaint Lugmayr et al. (2022) 将预训练扩散模型引入任意形状掩码修复，使用重复采样和重绘机制利用生成先验补全缺失区域。StrDiffusion Liu et al. (2024) 进一步强调了结构信息在扩散修复中的作用，并通过结构引导减轻了修复区域与已知区域之间的语义不一致性。ControlNet Zhang et al. (2023a) 通过额外的条件分支增强了扩散模型对边缘、深度和姿态等空间条件的响应。BrushNet Ju et al. (2024) 为图像修复场景构建了条件分支，使掩码区域和已知区域的信息能在扩散骨干网络中更明确地参与生成。

对于壁画修复场景，扩散模型也开始解决大面积缺失区域、纹理退化和风格保存问题。GuidePaint Hu et al. (2025) 探索了图像引导扩散模型在古代壁画修复中的应用。PGRDiff Jiang, Ren, & Cheng (2025) 从提示残差的角度约束壁画修复过程，而 LRDiff Lei, Li, Cheng, & Zhou (2025) 使用低秩结构先验处理壁画图像中的结构退化。这些方法将通用扩散模型的修复能力扩展到文化遗产图像，并为复杂纹理和 irregular 受损区域的生成补全提供了有效思路。现有条件主要关注掩码、结构、语义或图像上下文。在材料褪色和变色明显的壁画场景中，颜色条件的空间表达和可靠性建模仍值得进一步关注。

2.3. 细粒度图像修复
图像修复中的结构连续性长期以来依赖于有效的区域传播、边缘约束和上下文建模 Zhang, Zhai, Li, Zhou, & Lin (2023b)。部分卷积 Liu et al. (2018) 通过掩码更新机制减少了无效像素对卷积结果的影响，而门控卷积 Yu et al. (2019) 使用可学习门控自适应选择不同空间位置的特征响应。DeepFill Yu et al. (2018) 引入上下文注意力，利用远处已知区域的相似纹理进行缺失区域补全。EdgeConnect Nazeri, Ng, Joseph, Qureshi, & Ebrahimi (2019) 使用边缘作为中间结构表示，为缺失区域提供轮廓约束。RFR-Net Li, Wang, Zhang, Du, & Tao (2020) 通过循环特征推理逐步传播有效的上下文信息。这些方法为不规则掩码下的结构恢复提供了基础，并促进了修复模型从局部纹理填充到结构感知补全的发展。

随着全局建模能力的增强，AOT-GAN Zeng, Fu, Chao, & Guo (2021) 通过聚合不同感受野的上下文信息扩展了纹理传播范围，提高了大缺失区域的结构补全能力。LaMa Suvorov et al. (2022) 使用傅里叶卷积增强长距离依赖建模，在大掩码修复中产生了更好的全局一致性。MAT Li et al. (2022) 和 ZITS Dong, Cao, & Fu (2022) 进一步使用 Transformer 结构建模长距离空间关系，改善了复杂缺失区域的结构连贯性。最近，MambaIR Guo et al. (2024) 将状态空间模型引入图像修复任务，为高效的长距离依赖建模提供了新方向。相邻高分辨率视觉任务中也探索了相关的局部 - 全局建模。邻接空洞机制 Li, Hu, Wu, Miao, & Wu (2024) 将局部特征感知与扩展的全局感受野相结合，以捕获细粒度空间信息和更广泛的上下文关系。这些方法提高了图像修复的全局一致性，但它们仍难以充分约束壁画中细线、装饰边框和重复图案周围受损边界的局部结构延伸。

3. 方法论
3.1. 整体结构
SpecBrush 采用两阶段材料感知扩散修复框架，如图 1 所示。
下载：下载高分辨率图像 (520KB) 下载：下载全尺寸图像
图 1. SpecBrush 概述。(A) 整体架构。(B) MuCleaner 净化条件均值。(C) MGLC 通过掩码引导的局部连续性建模增强受损边界。

阶段 I：材料颜色反演网络。它从 RGB 颜色序列、拉曼光谱和 XRD 模式中学习时间条件化的颜色恢复关系，并将反演结果稳定为查找表（LUT）颜色先验。考虑到真实壁画图像通常缺乏区域级光谱数据，我们引入了缺失模态条件学习，使模型在推理期间仅使用退化的 RGB 观察即可生成隐含材料条件。阶段 I 的输出进一步映射为图像空间颜色先验图 P 和置信度图 Q，为后续的缺失区域修复提供目标颜色约束和可靠性指示。

阶段 II：颜色先验扩散修复。它使用 StrDiffusion Liu et al. (2024) 作为冻结的扩散 UNet 骨干网络，并在其外部引入三个可训练控制模块：PriorControlNet、MuCleaner 和 MGLC。

给定退化图像 I_deg、缺失掩膜 M 以及第一阶段生成的颜色先验图与置信度图 (P, Q)，第二阶段的条件流由三个部分组成：均值净化、颜色控制残差注入以及边界连续性增强。首先利用退化图像与缺失掩膜估计 IR-SDE 的原始条件均值 μ。MuCleaner 随后根据已知区域的上下文、缺失区域的形态以及受损边界对 μ 进行净化，得到 μ_c。进一步地，它以 [x_t - μ_c, μ_c] 的形式构建逆向采样状态，从而降低退化颜色与局部噪声对采样中心的吸引。同时，颜色先验图 P、置信度图 Q、缺失掩膜 M 以及颜色残差由 MP-Encoder 编码为统一的材质先验表示，随后输入 PriorControlNet，生成多尺度颜色控制残差并注入冻结的 UNet 的不同层级。这种设计使得材质颜色信息能够在渐进式去噪过程中持续约束缺失区域的目标色调与局部过渡。随后，MGLC 对经颜色先验调制的多尺度特征 H_sp 进行操作，并结合缺失掩膜、边界带以及置信度信息来增强受损边界周围的局部连续性与上下文扩展。最终，冻结的扩散主干同时接收净化后的 IR-SDE 状态、多尺度颜色控制残差以及经 MGLC 增强的特征，执行噪声预测与逆向采样，从而实现材质感知的壁画缺失区域修复。

## 3.2 材质颜色反转网络

颜色恢复的核心难点源于退化外观的歧义性。相似的 RGB 外观可能对应不同的颜料组成、晶体相结构与退化路径，这使得从退化颜色到目标颜色的直接回归不稳定。我们保留退化颜色作为观测锚点，仅在目标颜色子空间中进行条件去噪。给定 Lab 空间中的两帧颜色状态 X_0 = [c_ori, c_deg]，其中 c_ori 表示目标颜色状态，c_deg 表示退化颜色观测，掩膜扩散过程定义为

$$X_t = O \odot X_0 + (1 - O) \odot (\bar{\alpha}_t X_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon), \quad \epsilon \sim \mathcal{N}(0, I)$$

其中 O 为沿颜色状态维度的观测掩膜，1 为与 O 形状相同的全一张量，⊙ 表示逐元素乘法。扩散时间步为 t，$\bar{\alpha}_t$ 为由所用噪声调度决定的累积扩散系数，ε 为高斯噪声，I 为对应的单位协方差矩阵。观测掩膜固定退化颜色观测，将扰动限制在目标颜色子空间内，使模型专注于学习以退化观测为条件的颜色恢复过程。

完整的材质条件由退化颜色、拉曼响应与 XRD 响应组成：

$$z_m = \Phi_m(\text{Concat}(E_c(c_{deg}), E_r(r), E_x(x_{xrd})))$$

其中 r 和 x_xrd 分别为预处理后的拉曼响应与 XRD 响应。E_c(·)、E_r(·) 和 E_x(·) 分别编码退化颜色、拉曼响应与 XRD 响应，Φ_m(·) 将多模态材质表示融合为完整材质条件 z_m。图 2 所示的谱差异为相似 RGB 外观提供了材质级别的判别性证据。

在实际推理中，通常无法获取每个待修复区域对应的拉曼或 XRD 测量数据。为减少训练时完整材质输入与推理时仅 RGB 输入之间的模态差距，我们构建了缺失模态条件学习机制：

$$z_c = \delta z_m + (1 - \delta) \Psi_\eta(E_c(c_{deg})), \quad \delta \sim \text{Bernoulli}(p_m)$$

其中 Ψ_η(·) 为由 η 参数化的仅 RGB 条件预测分支，δ 为标量模态选择变量，p_m 为训练时使用完整材质条件的概率。δ 组合的两项具有相同的表示维度。训练过程中，材质颜色反转网络随机接收完整材质条件或仅 RGB 预测条件。推理时固定 δ = 0，因此测试图像无需额外光谱输入。该策略使同一网络能够适应完整材质条件与非光谱条件。

在统一条件 z_c 下，材质颜色反转网络采用 Mamba 去噪器（记为 D_θc，参数为 θ_c）从含噪颜色状态中预测与目标颜色恢复过程相关的扩散噪声。网络输入包括 X_t、观测掩膜 O、扩散时间步 t 以及材质条件 z_c。具体而言，X_t 提供当前扩散状态，O 区分观测到的退化颜色子空间与待恢复的目标颜色子空间，z_c 注入由 RGB、拉曼与 XRD 表示导出的材质条件。Mamba 去噪器首先将颜色状态与观测掩膜投影为潜在序列，并在此表示中添加时间嵌入与材质条件嵌入。随后，通过多个 Mamba 块对退化颜色观测、目标颜色状态与材质条件之间的有序依赖关系进行建模。最后，通过输出投影产生与 X_t 维度相同的噪声估计：

$$h_0 = \Pi_{in}([X_t, O]) + \Pi_t(t) + \Pi_z(z_c)$$
$$h_{l+1} = \text{Mamba}_l(h_l), \quad l = 0, \ldots, L_m - 1$$
$$\hat{\epsilon} = \Pi_{out}(h_{L_m})$$

其中 [·] 表示拼接，h_l 表示第 l 个 Mamba 块的隐表示，L_m 为 Mamba 块的数量。Π_in(·)、Π_t(·) 和 Π_z(·) 分别表示输入投影、时间嵌入投影与材质条件投影，Π_out(·) 表示输出投影。由于退化颜色观测被 O 固定，预测的噪声在训练与采样时仅作用于目标颜色子空间。为简化表示，上述过程可写为：

$$\hat{\epsilon} = D_{\theta_c}(X_t, t, O, z_c)$$

为降低扩散采样随机性对颜色先验的影响，我们对同一退化颜色执行 K 次重复反转采样，其中 K 为重复颜色反转采样次数。采样均值与不确定性分别由 K 次反转输出的均值与样本方差估计。相邻老化时间点的颜色估计通过卡尔曼-RTS 后验平滑进行稳定：

$$c_i^s = c_{i|i} + \Sigma_{i|i} A^\top \Sigma_{i+1|i}^{-1} (c_{i+1}^s - c_{i+1|i})$$

其中 i 为沿老化序列的索引，c_{i|i} 和 Σ_{i|i} 分别表示索引 i 处的滤波颜色状态及其后验协方差，c_{i+1|i} 和 Σ_{i+1|i} 为相应的一步预测状态与协方差。A 为相邻颜色状态之间的线性状态转移矩阵，c_i^s 为平滑后的颜色状态。该平滑操作抑制孤立采样波动，使预测颜色沿老化时间线保持连续。

平滑后的颜色反转结果离线组织为三维查找表（LUT）T（Zeng, Cai, Li, Cao, & Zhang, 2022），记为 T。对于缺失区域 Ω_M = {p | M(p) = 1} 中的任意像素 p，首先通过三线性插值获取 LUT 颜色估计与查询置信度：

$$(P_{lut}(p), q_{lut}(p)) = \text{TriInterp}(T, I_{deg}(p))$$

其中 TriInterp(·) 表示对 LUT 的三线性插值。在此基础上，颜色先验与置信度图构建为：

$$P_{lab}(p) = (L_{deg}(p), a_{deg}(p) + S(\Delta a)(p), b_{deg}(p) + S(\Delta b)(p))$$
$$Q(p) = q_{sp}(p) \cdot (\alpha \cdot q_{lut}(p) + \beta \cdot q_{inp}(p))$$

其中 P_lut(p) = (L_lut(p), a_lut(p), b_lut(p))，L_deg、a_deg 和 b_deg 表示退化观测的 Lab 分量。色度残差定义为 Δa = a_lut - a_deg，Δb = b_lut - b_deg。LUT 置信度 q_lut(p) 通过以与颜色查询相同的插值权重对存储于八个相邻 LUT 顶点的置信度值进行三线性插值获得。空间权重 q_sp(p) 由缺失掩膜的 L2 距离变换计算得到：

$$q_{sp}(p) = \text{clip}(1 - d(p)/(d_{max} + 10^{-8}), 0.1, 1.0)$$

其中 d(p) 为像素 p 处的距离变换值，d_max 为对应缺失区域内的最大距离，clip(·) 将输入限制在指定区间内。图像内填充置信度 q_inp(p) 在缺失区域设为 0.3，观测像素分配置信度 1.0。我们设置 α = 0.85，β = 0.15。平滑算子 S(·) 施加 σ = 2.0 的单层高斯金字塔平滑，随后执行 d = -1、σ_color = 10、σ_space = 16 的双边滤波。P_lab 和 Q 分别表示图像空间的颜色先验与置信度图。为后续第二阶段记号方便，对应的图像空间颜色先验记为 P。该构建方式保留了退化图像中的局部亮度关系，并将材质反转结果主要作为色度残差先验引入图像空间。

## 3.3 置信度校准先验控制网络

第一阶段获得的颜色先验图 P 描述了缺失区域的目标颜色方向，置信度图 Q 表征该先验在不同空间位置的可靠性。如果颜色条件仅在输入处拼接，其约束在多次去噪过程中可能被削弱。如果置信度信息不参与控制，低可靠性的颜色估计可能在采样过程中传播。为解决这一问题，我们构建了置信度校准先验控制网络（PriorControlNet），将材质颜色先验转化为可注入冻结扩散主干的控制残差。

PriorControlNet 采用独立可训练的条件旁路与零初始化控制残差结构，将材质颜色先验从输入拼接转化为跨尺度特征调制信号。具体而言，网络由材质先验编码器、多尺度颜色控制分支以及置信度校准残差注入单元组成，在冻结的 UNet 之外形成完整的颜色先验控制网络。网络接收颜色先验图、置信度图、缺失掩膜与当前去噪状态，生成多尺度颜色控制残差，并通过零初始化映射注入扩散主干。这使得材质颜色约束能够参与逆向去噪过程，同时保持原始生成先验的稳定性。

由于 P、Q、M 与颜色残差在数值范围、空间语义与可靠性含义上各不相同，直接将其输入多尺度控制分支会增加条件分布的不一致性。因此，我们将材质先验编码器（MP-Encoder）放置在 PriorControlNet 的输入端，对图像形式材质先验进行融合、归一化与特征编码：

$$F_p = E_\psi([M \odot Q \odot (P - I_{deg}), P, Q, M])$$

其中 E_ψ(·) 表示由 ψ 参数化的 MP-Encoder，F_p 为编码后的材质先验表示，[·] 表示沿通道维度的拼接。单通道图 M 和 Q 在与三通道图像张量进行逐元素运算时沿颜色通道维度广播。残差项 M ⊙ Q ⊙ (P - I_deg) 表示缺失区域中经置信度加权的颜色校正，使颜色校正主要作用于需要修复且具有可靠先验的位置。通过该编码过程，来自不同来源的材质颜色条件被压缩到统一特征空间，减少先验图、置信度图与掩膜之间的尺度差异，为后续跨尺度控制残差生成提供稳定输入。

颜色先验在扩散主干中的注入位置直接影响约束效果。缺失边界需要细粒度的颜色过渡，局部色块需要区域内颜色一致性，而深层特征需要保持整体色调分布。单一尺度条件注入难以同时覆盖这些需求。为简化表示，设 D_s(·) 表示空间下采样至尺度 s，$\bar{H}_s = \text{Mean}_c(H_s)$ 表示保留空间分辨率的通道平均响应，[·] 表示沿通道维度的拼接。PriorControlNet 将材质先验表示与当前含噪状态编码为特定尺度的颜色控制特征：

$$B_{sp} = B_{\psi_s}([D_s(x_t), D_s(F_p)], t)$$

其中 B_{ψ_s}(·) 表示尺度 s 处的颜色控制分支，B_sp 为生成的颜色控制特征。该特征由编码后的材质先验表示与当前含噪状态共同生成，使颜色控制分支能够根据不同去噪尺度调整先验强度与空间分布。浅层尺度关注边界过渡与局部颜色连续性，中层与深层尺度则维持区域色调与整体颜色一致性。

获得特定尺度的颜色条件后，我们利用置信度图、缺失区域形态与当前主干响应生成注入门控，并通过零初始化残差映射将门控后的残差注入冻结的扩散主干：

$$H_{sp} = H_s + \text{Sigmoid}(G_{\psi_s}([D_s(Q), D_s(M), \bar{H}_s])) \odot Z_s(B_{sp}), \quad s \in S_{inj}$$

其中 H_s 和 H_sp 分别表示注入前后的主干特征，G_{ψ_s}(·) 表示尺度 s 处的门控生成映射，Sigmoid(·) 表示 S 形门控函数。Z_s(·) 表示零初始化残差映射，S_inj 为注入颜色控制残差的特征尺度集合。门控项根据先验可靠性、缺失位置与当前主干响应自适应调节颜色残差的空间注入强度，防止低置信度颜色估计在逆向采样过程中被过度放大。训练初期，零初始化分支接近零映射，保留了原始扩散主干的生成分布。随着训练推进，PriorControlNet 逐步学习在不同特征层级注入材质颜色先验，从而同时约束边界过渡、局部色块与整体色调。

经上述注入过程后，冻结的 UNet 在尺度集 S_inj 上获得颜色先验调制的特征 H_sp。这些特征在保留原始扩散主干生成表示的同时，整合了 PriorControlNet 提供的置信度校准颜色残差。

后续的MGLC直接在$H_{sp}$上运行，以在颜色约束的扩散特征空间中进一步建模受损边界和局部结构连续性。

## 3.4 条件均值净化网络

颜色先验注入为缺失区域提供了目标颜色方向，但IR-SDE修复过程中的反向采样同样依赖于条件均值所定义的回归中心。在壁画图像中，原始条件均值通常从退化观测和缺失掩码中估计而来，因此容易继承裂纹、脱落边缘、颜料残留和局部噪声等退化因素。如果将该均值直接用于反向扩散，采样轨迹可能持续受到退化颜色和边界污染物的吸引，导致缺失区域中出现色调偏移、边界伪影或局部过渡不连续。为解决这一问题，我们提出了条件均值净化网络（Conditional Mean Purification Network），记为MuCleaner，用于在构建IR-SDE状态之前对原始条件均值进行净化，从而让后续去噪过程获得更稳定的采样参考。

设$\mu$为从退化图像和缺失掩码中估计的原始条件均值，$M$为缺失掩码，$\bar{M}=1-M$为已知区域掩码。受损边界带定义为$\partial M = \text{Dil}(M) - \text{Ero}(M)$，其中$\text{Dil}(\cdot)$和$\text{Ero}(\cdot)$分别表示形态学膨胀和腐蚀操作。MuCleaner以已知区域均值、掩码结构和受损边界作为输入。它首先从可靠上下文信息中提取全局均值修正信息，然后根据掩码、边界带和均值梯度生成空间门控，产生净化后的条件均值：

$$\mu_c = \mu + \text{Sigmoid}(G_\phi([M, \partial M, |\nabla\mu|])) \odot H_\phi(T_\phi^N(E_\phi([\mu \odot \bar{M}, \bar{M}, M, \partial M]))) \tag{11}$$

其中$\nabla$表示空间梯度算子，$|\nabla\mu|$表示对应的梯度幅度，$[\cdot]$表示逐通道拼接。$E_\phi(\cdot)$表示浅层特征提取，$T_\phi^N(\cdot)$表示由$N$个Transformer块组成的序列，$H_\phi(\cdot)$生成均值修正残差，$G_\phi(\cdot)$生成空间门控。此处$\phi$表示MuCleaner的可训练参数。$\mu \odot \bar{M}$保留了已知区域的均值分布，作为修正缺失区域均值的上下文锚点。$M$和$\partial M$分别提供缺失范围和受损边界位置，而$|\nabla\mu|$则定位均值不连续区域和受边界污染的Region。这种残差更新方式保留了原始均值的稳定成分，主要将修正限制在缺失邻域、边界带以及梯度变化剧烈的区域。

在IR-SDE采样过程中，净化后的条件均值$\mu_c$取代原始均值参与含噪状态的构造：

$$x_t = \mu_c + \rho_t(x_0 - \mu_c) + \sigma_t \epsilon, \quad \rho_t = \exp\left(-\int_0^t \lambda(\tau) d\tau\right), \quad \epsilon \sim \mathcal{N}(0, I) \tag{12}$$

其中$x_0$表示干净图像状态，$x_t$表示时刻$t$的含噪图像状态，$\lambda(\tau)$表示时间相关的回归系数，$\rho_t$表示对应的均值回归因子，$\sigma_t$表示由IR-SDE调度确定的时间相关噪声尺度。后续去噪网络接收$[x_t - \mu_c, \mu_c]$作为IR-SDE状态表示，使得反向扩散过程以净化后的均值作为采样中心。在此状态表示中，$\mu_c$同时出现在回归中心和残差项$x_0 - \mu_c$中，而网络输入也以净化后的均值作为参考。因此，均值修正同时影响了含噪状态的位置和噪声网络所接收的偏移表示。

## 3.5 掩码门控局部连续性模块

在壁画缺失区域修复中，受损边界周围不规则的脱落过渡通常会施加强烈的局部连续性约束。即使颜色先验为缺失区域提供了目标颜色方向，复杂边界仍可能因上下文不足、不规则掩码形态和局部纹理不连续而产生线条错位、图案端点中断或边界过度平滑等问题。

为解决这一问题，我们设计了掩码门控局部连续性模块（Mask-Gated Locality-Continuity Module），记为MGLC。该模块以经颜色先验调制的多尺度特征$H_{sp}$作为输入，结合缺失掩码、边界带和置信度信息，在特征空间中自适应地增强局部边界响应和上下文扩展能力，从而提升细线条、重复图案和不规则脱落区域的结构连续性。$H_{sp}$已经包含了由PriorControlNet注入的颜色控制残差，MGLC基于这些特征执行残差结构调制。局部分支和上下文分支在$\hat{H}_{sp}$上操作，而门控权重则由缺失掩码、边界带、置信度图和通道平均的主干响应预测得出。输出经$Z_\omega(\cdot)$映射后加回到$H_{sp}$，使结构连续性约束进入用于后续噪声预测的多尺度扩散特征中。

设$M_s = D_s(M)$为尺度$s$下的缺失掩码，$\partial M_s = \text{Dil}(M_s) - \text{Ero}(M_s)$为其边界带，$\hat{H}_{sp} = \text{LN}(H_{sp})$为层归一化特征，$\bar{H}_{sp} = \text{Mean}_c(H_{sp})$为逐通道平均响应。MGLC将尺度$s$下的结构增强分解为局部连续性分支和上下文扩展分支，并通过掩码引导的门控进行自适应融合。局部连续性分支专注于在有限空间邻域内提取边界响应、线条端点和纹理连接点，而上下文扩展分支则在更大范围内聚合图案方向和色块扩展关系：

$$\tilde{H}_s = H_{sp} + Z_\omega\left(a_s \odot [g_s^{loc} \odot L_\omega(\hat{H}_{sp}) \odot (1 + \lambda_b \partial M_s) + g_s^{ctx} \odot \text{Ctx}_\omega(\hat{H}_{sp})]\right)$$

$$[g_s^{loc}, g_s^{ctx}] = \text{Softmax}(G_\omega([M_s, \partial M_s, D_s(Q), \bar{H}_{sp}]))$$

$$a_s = \text{Sigmoid}(A_\omega([M_s, \partial M_s, D_s(Q), \bar{H}_{sp}])) \tag{13}$$

其中$\text{LN}(\cdot)$表示层归一化，$L_\omega(\cdot)$表示局部连续性分支，$\text{Ctx}_\omega(\cdot)$表示上下文扩展分支。边界系数$\lambda_b$控制受损边界带内局部结构响应的相对增强程度。$G_\omega(\cdot)$生成局部和上下文的门控logits，Softmax沿两分支维度施加，使得在每个空间位置上$g_s^{loc} + g_s^{ctx} = 1$。$A_\omega(\cdot)$生成振幅门控$a_s$，$Z_\omega(\cdot)$将融合后的结构残差映射回扩散特征空间。此处$\omega$表示MGLC的可训练参数。边界权重$(1 + \lambda_b \partial M_s)$仅作用于局部分支，为受损边界带内的局部结构响应赋予更高权重，而不会过度放大远离边界位置的局部纹理响应。

在置信度高且结构响应强烈的位置，$a_s$可以增加结构残差的注入幅度，而$g_s^{loc}$和$g_s^{ctx}$则根据受损边界和主干响应来分配局部连续性增强与上下文扩展之间的比例。在低置信度区域，$a_s$可以降低结构残差的整体注入强度，从而减少错误颜色估计与结构增强之间的耦合风险。经过MGLC处理后，多尺度特征从$H_{sp}$更新为$\tilde{H}_s$，并继续参与扩散主干的噪声预测。

最终的噪声预测由净化后的条件均值和经MGLC增强的多尺度特征共同决定：

$$\hat{\epsilon} = \epsilon_{\theta_r}([x_t - \mu_c, \mu_c], t, \{\tilde{H}_s\}_{s \in S_{inj}}) \tag{14}$$

其中$\epsilon_{\theta_r}(\cdot)$表示第二阶段的噪声预测网络，参数紧凑地由$\theta_r$参数化，$\{\tilde{H}_s\}_{s \in S_{inj}}$表示经MGLC更新的多尺度条件特征。这种预测形式联合使用净化后的IR-SDE状态和结构增强特征进行反向去噪，使采样中心修正、颜色先验注入和边界连续性建模能够在同一噪声预测过程中协同工作。

## 3.6 损失函数

为避免颜色反转目标与图像级去噪目标之间的相互干扰，我们采用了分阶段训练策略。第一阶段独立训练材质颜色反转网络，并将其收敛输出构建为固定的LUT颜色先验、颜色先验图$P$和置信度图$Q$。第二阶段固定第一阶段的结果并冻结扩散UNet主干，仅优化PriorControlNet、MuCleaner和MGLC。

颜色反转损失定义为：

$$\mathcal{L}_{inv} = \mathbb{E}_{t, \epsilon} \left[ \left\| (1-O) \odot (\epsilon - D_{\theta_c}(X_t, t, O, z_c)) \right\|_2^2 \right] \tag{15}$$

此处期望取于扩散时间步$t$和上述定义的高斯噪声$\epsilon$。该损失仅在目标颜色子空间上计算，以在材质条件下约束颜色恢复过程，并避免对已观测到的退化颜色进行不必要的噪声回归。

缺失模态一致性损失定义为：

$$\mathcal{L}_{align} = \left\| \text{sg}(z_m) - \Psi_\eta(E_c(c_{deg})) \right\|_2^2 \tag{16}$$

其中$\text{sg}(\cdot)$表示停止梯度算子，防止梯度通过作为对齐目标的完整材质条件传播。该术语使仅RGB条件分支能够在拉曼/XRD输入不可用时近似完整的材质表示。

第一阶段总体损失写为：

$$\mathcal{L}_{stage1} = \mathcal{L}_{inv} + \lambda_{align} \mathcal{L}_{align} \tag{17}$$

其中$\lambda_{align}$表示缺失模态一致性项的权重。该损失使完整材质条件和缺失光谱条件共享相同的颜色反转目标，并约束仅RGB预测条件接近完整材质条件。

第二阶段图像修复损失写为：

$$\mathcal{L}_{stage2} = \mathbb{E}_{t, \epsilon} \left[ \left\| \epsilon - \epsilon_{\theta_r}([x_t - \mu_c, \mu_c], t, \{\tilde{H}_s\}_{s \in S_{inj}}) \right\|_2^2 \right] \tag{18}$$

此处期望取于扩散时间步和高斯噪声，扩散主干保持冻结，仅在第二阶段优化所提出的控制模块。该损失在像素空间约束反向去噪过程。我们未引入额外的感知损失、边缘损失或结构监督，以避免在缺失区域施加可能与真实修复目标不一致的人为约束。

综上所述，$\mathcal{L}_{stage1}$和$\mathcal{L}_{stage2}$分别对应颜色反转阶段和图像修复阶段的优化目标，在分阶段训练框架下依次进行优化。

## 4. 实验

### 4.1 数据集

我们在两个图像数据集上评估所提出的方法：MuralVerse-S和CanvasCLP。我们同时还使用颜料褪色和老化实验数据来训练第一阶段的材质颜色反转网络。

**MuralVerse-S。** 该数据集收集自不同地区的公开壁画图像，包括敦煌、甘肃、河北和内蒙古，共包含8,163张图像。

**CanvasCLP。** 该数据集包含5,798张中国画图像。以上所有图像均裁剪为$256 \times 256$分辨率，并以8:1:1的比例划分为训练集、验证集和测试集。

**LeadAging。** 第一阶段的材质颜色反转网络使用9组铅基颜料组成在90天老化实验中的数据进行训练，包括RGB序列、拉曼光谱和XRD图谱，详见表1。RGB每2小时记录一次，拉曼和XRD每3天采集一次。本工作中使用的完整实验室采集LeadAging数据集可以完全开源，而MuralVerse-S和CanvasCLP则受其原始公开来源的许可条款限制。由于数据是在受控实验室条件下采集的，所学到的退化映射主要在所代表的颜料域内有效，对于与实际颜料组成或老化过程差异较大的情况，可靠性可能较低。

**表1. 颜色老化实验中使用的颜料组和质量比例。**

| 颜料组 | 质量组成 |
|---|---|
| 朱红 | 0.30 g |
| 铅白 | 0.30 g |
| 密陀僧 | 0.30 g |
| 朱红 + 密陀僧 | 0.15 g + 0.15 g |
| 朱红 + 铅白 | 0.15 g + 0.15 g |
| 密陀僧 + 铅白 | 0.15 g + 0.15 g |
| 朱红 + 铁红 | 0.15 g + 0.15 g |
| 朱红 + 朱砂 | 0.15 g + 0.15 g |
| 朱红 + 朱砂 + 铁红 | 0.10 g + 0.10 g + 0.10 g |

由于RGB、拉曼和XRD以不同频率采集，我们对相邻拉曼/XRD记录之间进行线性时间插值，使每个退化RGB观测与同一老化时间点的材质条件表示相关联。拉曼和XRD光谱经过基线校正、归一化和重采样处理。

### 4.2 实现细节

所有实验在单块NVIDIA H20-e GPU上完成。第一阶段材质颜色反转网络采用Adam优化器（Kingma & Ba, 2015），初始学习率设为$1 \times 10^{-4}$，批大小设为64，训练300个epoch。对于置信度构建，我们经验性地设定$\alpha = 0.85$，$\beta = 0.15$，缺失区域中$q_{inp} = 0.3$；空间置信度使用掩码大小为5、最小值为0.1的L2距离变换，$S(\cdot)$使用一级高斯金字塔平滑（$\sigma = 2.0$）后接双边滤波（$d = -1$，$\sigma_{color} = 10$，$\sigma_{space} = 16$）。这些设置在所有实验中固定不变。第一阶段训练完成后，材质颜色反转网络的参数保持冻结，其输出离线构建为LUT颜色先验。在离线LUT构建过程中，我们对每个退化颜色执行$K = 20$次颜色反转采样运行。第二阶段中，我们固定颜色先验图$P$、置信度图$Q$和扩散UNet主干，训练图像修复控制模块，批大小设为8，共训练200k次迭代。训练和推理的采样步数均设为200。扩散设置使用$\sigma_{max} = 30$和余弦调度。优化器为Adam，$\beta_1 = 0.9$，$\beta_2 = 0.99$，学习率调度器为MultiStepLR。随机掩码通过组合自由形式笔触和不规则块区域生成，以模拟裂纹、脱落和颜料层的局部缺失。测试样本按缺失像素比例划分为三个区间：0.1–10%、10–20%和20–30%。所有对比方法使用相同的测试图像和相同的随机掩码。

### 4.3 评估指标

我们采用PSNR、SSIM（Wang, Bovik, Sheikh & Simoncelli, 2004）、LPIPS（Zhang, Isola, Efros, Shechtman & Wang, 2018）和FID（Heusel, Ramsauer, Unterthiner, Nessler & Hochreiter, 2017）进行综合评估。PSNR和SSIM分别衡量像素级重建质量和结构相似性，数值越高表示修复结果越接近真实图像。LPIPS和FID分别衡量感知差异和生成分布距离，数值越低表示视觉质量和分布一致性越好。

### 4.4

# 基线方法

为展示我们模型的有效性，我们选取了十个代表性基线方法，并划分为三组：

## 1) 基于CNN的图像复原模型

- **RFR** Li et al. (2020)：通过传播有效上下文信息递归推断缺失区域特征。
- **ADF** Shao et al. (2023)：引入退化感知特征建模以应对复杂图像复原。
- **MuralNet** Li et al. (2025)：通过结构重建与局部颜色校正实现线条引导的渐进式壁画修复。

## 2) 基于Transformer的图像复原模型

- **PromptIR** Potlapalli, Zamir, Khan, & Khan (2023)：采用基于提示的调制实现退化条件化复原。
- **AdaIR** Cui et al. (2025)：根据输入退化动态调整复原过程。
- **SIME-BINet** Meng, Liu, Shi, Li, & Liu (2025)：引入自信息增强与预测掩码引导的Transformer特征建模，用于敦煌壁画的盲修复。

## 3) 基于扩散模型的图像复原方法

- **RePaint** Lugmayr et al. (2022)：将预训练扩散先验应用于任意掩码复原。
- **LRDiff** Lei et al. (2025)：引入低秩结构约束用于壁画复原。
- **PGRDiff** Jiang et al. (2025)：采用提示引导的残差建模用于壁画复原。
- **RAD** Kim, Suh, & Lee (2025)：采用区域感知扩散采样以提高区域一致性。

所有基线方法均使用其官方发布的预训练权重初始化，并在MuralVerse-S或CanvasCLP对应的训练集上微调。公共输入分辨率与掩码协议遵循上述实验设置。对于基于扩散的基线方法，我们保留各自的官方采样配置：RePaint、LRDiff、PGRDiff和RAD分别使用250、100、10和100步采样。非扩散基线遵循其官方推理配置。

---

## 4.5. 与最先进模型的对比

### 4.5.1. 定量分析

表2展示了在MuralVerse-S上的定量对比结果。结果表明，现有方法所采用的复原先验存在明显差异。RFR Li et al. (2020)、ADF Shao et al. (2023)、PromptIR Potlapalli et al. (2023)和AdaIR Cui et al. (2025)主要通过上下文特征传播或退化自适应表征来恢复缺失内容。MuralNet Li et al. (2025)和SIME-BINet Meng et al. (2025)进一步强化了对结构、颜色或损伤的感知建模，在通用复原基线基础上取得了更具竞争力的PSNR和SSIM。这表明，显式建模壁画结构、局部颜色一致性或受损区域对像素级和结构重建是有利的。然而，这些线索仍主要来源于观测图像本身，因此当多种视觉上合理的补全方案与周围上下文一致时，复原目标仍然模糊。

**表2. MuralVerse-S上的对比结果**

| 模型 | PSNR↑ 0.1–10% | 10–20% | 20–30% | SSIM↑ 0.1–10% | 10–20% | 20–30% | LPIPS↓ 0.1–10% | 10–20% | 20–30% | FID↓ 0.1–10% | 10–20% | 20–30% |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| RFR Li et al. (2020) | 23.418 | 22.613 | 20.887 | 0.846 | 0.801 | 0.741 | 0.201 | 0.246 | 0.307 | 72.914 | 75.203 | 78.351 |
| MuralNet Li et al. (2025) | 27.268 | 26.463 | 24.737 | 0.915 | 0.870 | 0.810 | 0.082 | 0.100 | 0.124 | 29.741 | 30.675 | 31.956 |
| SIME-BINet Meng et al. (2025) | 26.918 | 26.113 | 24.387 | 0.908 | 0.863 | 0.803 | 0.090 | 0.108 | 0.132 | 31.241 | 32.175 | 33.456 |
| RePaint Lugmayr et al. (2022) | 26.291 | 26.041 | 25.890 | 0.929 | 0.904 | 0.862 | 0.026 | 0.029 | 0.034 | 20.126 | 21.364 | 23.182 |
| ADF Shao et al. (2023) | 20.617 | 20.288 | 20.055 | 0.674 | 0.671 | 0.668 | 0.321 | 0.333 | 0.343 | 45.821 | 47.023 | 48.417 |
| PromptIR Potlapalli et al. (2023) | 24.711 | 23.812 | 22.997 | 0.747 | 0.731 | 0.716 | 0.125 | 0.142 | 0.163 | 58.337 | 60.186 | 61.742 |
| AdaIR Cui et al. (2025) | 24.947 | 24.318 | 23.237 | 0.812 | 0.793 | 0.767 | 0.096 | 0.111 | 0.130 | 54.732 | 56.184 | 57.762 |
| LRDiff Lei et al. (2025) | 26.174 | 25.661 | 23.892 | 0.889 | 0.862 | 0.746 | 0.101 | 0.108 | 0.117 | 32.274 | 34.608 | 37.014 |
| PGRDiff Jiang et al. (2025) | 23.689 | 23.401 | 22.968 | 0.842 | 0.796 | 0.681 | 0.126 | 0.143 | 0.158 | 35.284 | 37.912 | 40.216 |
| RAD Kim et al. (2025) | 27.721 | 27.489 | 27.296 | 0.913 | 0.906 | 0.899 | 0.020 | 0.024 | 0.031 | 19.508 | 20.347 | 22.147 |
| **Ours** | **28.183** | **27.982** | **27.724** | **0.931** | **0.924** | **0.911** | **0.018** | **0.023** | **0.029** | **19.236** | **19.874** | **20.487** |

在基于扩散的方法中，RePaint Lugmayr et al. (2022)依赖于通用生成先验和已知区域约束，而面向壁画的LRDiff Lei et al. (2025)和PGRDiff Jiang et al. (2025)进一步引入了结构或退化相关的引导。RAD Kim et al. (2025)在大多数设置下提供了最强的竞争性结果，展示了区域感知扩散建模的有效性。这些生成先验改善了感知合理性，但目标颜色状态仍主要从视觉上下文中推断。相比之下，SpecBrush在扩散复原之前和期间引入了额外的材料衍生颜色约束。材料颜色反演网络缩小了可行颜色解空间，而置信度校准的先验注入则在反向采样过程中抑制了不可靠的颜色估计。这种对材料颜色与生成结构的互补调节解释了SpecBrush不仅在PSNR和SSIM上有所提升，在LPIPS和FID上同样改进的原因。

这一差异在不同缺失比例下也有体现。在0.1–10%区间，SpecBrush相比第二优结果将LPIPS降低了10.0%。由于小掩码下大多数像素仍可见，PSNR和SSIM强烈受已知区域影响，而LPIPS对重建内容的感知不一致更为敏感。当缺失比达到20–30%时，SpecBrush将LPIPS和FID分别降低了6.5%和7.5%。在这种情况下，由于上下文证据减少，复原更加依赖生成先验。材料颜色反演网络提供了明确的目标颜色方向，PriorControlNet根据其置信度注入此信息，而MuCleaner和MGLC分别减少退化颜色干扰并保持局部结构连续性。因此，性能提升源于对颜色合理性与结构一致性的联合约束，而非仅依赖更强的生成先验。

### 4.5.2. 定性分析

图3提供了与定量结果一致的视觉证据。在人脸和精细线描区域，ADF Shao et al. (2023)和PromptIR Potlapalli et al. (2023)倾向于产生过度平滑的结构和不稳定的局部颜色过渡。这在多种视觉上合理的补全方案可从剩余上下文推断时尤为明显。RePaint Lugmayr et al. (2022)受益于更强的生成先验，RAD Kim et al. (2025)更有效地保持了整体空间组织，但由于目标颜色是从隐式推断的，仍可能出现轻微的色调偏差或结构偏移。相比之下，SpecBrush同时约束了颜色恢复方向和边界结构的演变，从而实现了更连续的人脸轮廓和更平滑的颜料区域过渡。

*（图3. MuralVerse-S数据集上的定性对比结果。各列展示真实值、掩码、对比方法和我们的方法。放大行突出局部边界和纹理细节。）*

在装饰图案和不规则剥落区域也可观察到类似差异。RFR Li et al. (2020)依赖于渐进式上下文传播，当需要恢复跨缺失区域的长结构或重复结构时，其约束性减弱。RePaint可以生成视觉上合理的纹理，但局部图案方向或端点未必总与周围壁画保持一致。LRDiff Lei et al. (2025)强化了全局结构建模，而SpecBrush进一步将空间化的材料颜色约束与局部边界连续性建模相结合。因此，修复后的区域表现出更少的突兀接缝以及更稳定的图案和颜色过渡。

---

## 4.6. CanvasCLP上的实验

为进一步评估所观察到的行为是否仅限于壁画特有的纹理，我们在CanvasCLP上进行了实验，其视觉特征以笔触、墨色过渡和稀疏结构轮廓为主。结果汇总于表3，定性对比见图4。

**表3. CanvasCLP上的对比结果**

| 模型 | PSNR↑ 0.1–10% | 10–20% | 20–30% | SSIM↑ 0.1–10% | 10–20% | 20–30% | LPIPS↓ 0.1–10% | 10–20% | 20–30% | FID↓ 0.1–10% | 10–20% | 20–30% |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| RFR Li et al. (2020) | 23.218 | 22.339 | 20.746 | 0.841 | 0.794 | 0.736 | 0.210 | 0.253 | 0.314 | 73.381 | 76.044 | 79.036 |
| MuralNet Li et al. (2025) | 27.068 | 26.189 | 24.596 | 0.910 | 0.863 | 0.805 | 0.085 | 0.103 | 0.127 | 29.932 | 31.016 | 32.239 |
| SIME-BINet Meng et al. (2025) | 26.718 | 25.839 | 24.246 | 0.903 | 0.856 | 0.798 | 0.094 | 0.111 | 0.135 | 31.432 | 32.516 | 33.739 |
| RePaint Lugmayr et al. (2022) | 26.094 | 25.853 | 25.621 | 0.923 | 0.897 | 0.858 | 0.029 | 0.032 | 0.036 | 20.486 | 21.672 | 23.906 |
| ADF Shao et al. (2023) | 20.391 | 20.126 | 19.964 | 0.669 | 0.664 | 0.659 | 0.328 | 0.341 | 0.349 | 46.483 | 47.772 | 49.038 |
| PromptIR Potlapalli et al. (2023) | 24.408 | 23.526 | 22.746 | 0.739 | 0.721 | 0.708 | 0.132 | 0.149 | 0.169 | 59.476 | 60.918 | 62.008 |
| AdaIR Cui et al. (2025) | 24.763 | 24.102 | 23.118 | 0.817 | 0.786 | 0.759 | 0.102 | 0.119 | 0.139 | 54.843 | 56.601 | 58.214 |
| LRDiff Lei et al. (2025) | 25.984 | 25.302 | 23.612 | 0.884 | 0.854 | 0.752 | 0.107 | 0.115 | 0.123 | 33.126 | 35.271 | 38.126 |
| PGRDiff Jiang et al. (2025) | 23.482 | 23.215 | 22.874 | 0.833 | 0.789 | 0.684 | 0.132 | 0.149 | 0.164 | 36.108 | 38.754 | 40.947 |
| RAD Kim et al. (2025) | 27.518 | 27.236 | 27.041 | 0.908 | 0.900 | 0.895 | 0.021 | 0.025 | 0.032 | 20.074 | 20.642 | 22.604 |
| **Ours** | **28.109** | **27.887** | **27.649** | **0.928** | **0.922** | **0.909** | **0.019** | **0.024** | **0.030** | **19.812** | **20.291** | **20.756** |

*（图4. CanvasCLP上的定性对比结果。各列展示真实值、掩码、对比方法和我们的方法。放大行突出笔触和边界细节。）*

对比方法的相对行为与在MuralVerse-S上观察到的一致。MuralNet Li et al. (2025)和SIME-BINet Meng et al. (2025)通过显式的结构、颜色和损伤感知建模保持竞争力。然而，这些专门线索向CanvasCLP的迁移效果不如预期，因为该场景中的复原由笔触延续、稀疏轮廓和墨色变化主导。RePaint Lugmayr et al. (2022)和RAD Kim et al. (2025)在缺失内容模糊时通过利用生成先验获得了更强的LPIPS和FID表现。SpecBrush通过材料衍生颜色先验和局部结构延续进一步约束了这一生成过程。在0.1–10%区间，LPIPS相比第二优结果降低了9.5%，对应于更一致的局部笔触和淡墨过渡。

当缺失比达到20–30%时，SpecBrush将LPIPS和FID分别降低了6.3%和8.2%。在较大缺失区域下，仅依靠局部上下文已不足以同时确定笔触延续和色调层次。材料衍生先验缩小了合理的颜色解空间，PriorControlNet根据可靠性注入此约束，而MGLC保持了局部边界和笔触结构的延伸。CanvasCLP上的一致性提升表明，所提出的颜色先验与连续性控制机制可以泛化至壁画纹理之外，适用于由笔触和色调过渡主导的复原场景。

---

## 4.7. 消融研究

### 4.7.1. 光谱条件的有效性

为验证材料光谱条件在第一阶段颜色退化反演中的作用，我们进行了不同训练模态组合的消融实验。该组实验仅改变训练期间可见的辅助条件，所有设置均仅使用RGB观测作为推理输入。这一设计评估了拉曼和XRD作为训练阶段材料先验对学习颜色退化映射的影响。

表4显示，单独引入拉曼或XRD并不能一致改善RGB基线，因为分子振动和晶相信息描述的是颜料退化的不同方面。当RGB、拉曼和XRD在训练期间联合使用时，所有三个误差均达到最低值，平均ΔE相比RGB基线降低了约2.2%。这表明拉曼和XRD为学习颜色退化映射提供了互补的材料约束。

**表4. 第一阶段光谱条件的消融结果**

| 训练条件 | Mean ΔE↓ | RGB L1↓ | Lab L2↓ |
|---|---|---|---|
| RGB | 12.5822 | 33.5275 | 20.8635 |
| RGB+Raman | 12.9158 | 34.3905 | 21.4128 |
| RGB+XRD | 12.6902 | 34.3141 | 21.2424 |
| RGB+Raman+XRD | **12.3027** | **33.0360** | **20.5651** |

图5进一步表明，颜色预测误差随不同颜料组的光谱特征而变化。与仅使用RGB训练相比，联合引入拉曼和XRD提供了更稳定的材料约束，并在仅使用RGB推理时改善了颜色预测。

*（图5. 不同第一阶段训练条件下消融敏感组的光谱偏差指纹。红色、蓝色和白色分别表示强于平均、弱于平均和接近平均的响应。）*

为进一步评估缺失模态条件学习机制，我们进行了额外的对照消融实验。我们比较了全模态参考（推理时保留Raman和XRD输入，作为完整材料信息的参照）、无缺失模态学习的仅RGB推理，以及完整模型的仅RGB推理。其余两项设置均在推理期间仅使用退化的RGB观测。结果在同一测试集上对三个采样种子取平均。

如表5所示，全模态参考取得了最低误差，因为Raman和XRD在推理期间仍然可用。然而，这一设置并不对应本工作所考虑的实际场景——即光谱测量不可用。在相同的仅RGB推理条件下，移除缺失模态学习使平均ΔE从13.4102增加到26.1555，RGB L1从34.8125增加到76.7771，Lab L2从21.4040增加到35.8208。这些结果证明，所提出的缺失模态机制显著减少了光谱输入不可用导致的性能损失，并实现了有效的仅RGB推理。

**表5. 缺失模态条件学习的消融结果**

| 设置 | Mean ΔE↓ | RGB L1↓ | Lab L2↓ |
|---|---|---|---|
| 全模态参考 (RGB+Raman+XRD) | 10.3064 | 27.9373 | 17.7936 |
| 无缺失模态学习 (仅RGB) | 26.1555 | 76.7771 | 35.8208 |
| 我们的方法 (仅RGB) | **13.4102** | **34.8125** | **21.4040** |

我们进一步分析了重复颜色反演采样次数K的敏感性，同时保持训练好的模型和所有其他设置不变。结果报告在表6中。

**表6. 颜色反演采样次数K的敏感性分析**

| K | Mean ΔE↓ | 反演时间 (ms)↓ |
|---|---|---|
| 1 | 12.8914 | 18.6251 |
| 2 | 12.5478 | 89.7510 |
| 10 | 12.3715 | 177.8320 |
| 20 | 12.3027 | 352.4632 |
| 32 | 12.2879 | 558.31— |

随着K增加，平均ΔE逐渐降低，但在K=20之后改善变得边际化，而反演时间持续增长。特别是，将K从20增加到32仅提供了有限的精度增益，而计算成本大幅增加。因此，K=20被采用为离线LUT构建中颜色反演精度与计算效率之间的实用折中。

### 4.7.2. 各组件的有效性

表7和图6展示了核心模块的组合消融结果。在20–30%掩码比下，完整模型相比基线将LPIPS和FID分别降低了66.7%和43.3%。与仅启用MGLC的Exp.1.3相比，仍分别降低了47.3%和23.3%。这一差异表明，边界结构增强可以改善复杂缺失区域的感知质量，但仅依赖结构分支仍不足以同时控制颜色漂移和采样扰动。从视觉上看，Exp.1.1对局部色调更为敏感，但图案端点和线条连接仍不稳定。Exp.1.3改善了受损边界附近的纹理延伸，但在颜色过渡区域仍出现局部偏差。完整模型同时在人脸轮廓、装饰边界和剥落区域保持了颜色过渡和图案连接，验证了PriorControlNet、MuCleaner和MGLC在颜色、采样参考和边界结构方面的互补作用。

**表7. MuralVerse-S上主要模块的消融结果。?表示启用模块，空项表示移除。**

| 变体/描述 | Prior | Mu | MGLC | PSNR↑ 0.1–10% | 10–20% | 20–30% | SSIM↑ 0.1–10% | 10–20% | 20–30% | LPIPS↓ 0.1–10% | 10–20% | 20–30% | FID↓ 0.1–10% | 10–20% | 20–30% |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1. 核心模块组合消融 | | | | | | | | | | | | | | | |
| 基线 | | | | 26.552 | 26.184 | 25.742 | 0.887 | 0.875 | 0.846 | 0.055 | 0.067 | 0.087 | 31.204 | 32.842 | 36.108 |
| 1.1 仅PriorControlNet | ? | | | 27.318 | 26.912 | 26.463 | 0.911 | 0.898 | 0.877 | 0.035 | 0.044 | 0.061 | 24.116 | 25.548 | 27.864 |
| 1.2 仅MuCleaner | | ? | | 27.046 | 26.704 | 26.118 | 0.903 | 0.893 | 0.868 | 0.038 | 0.050 | 0.064 | 25.484 | 27.312 | 29.626 |
| 1.3 仅MGLC | | | ? | 27.462 | 27.104 | 26.682 | 0.914 | 0.906 | 0.887 | 0.030 | 0.041 | 0.055 | 22.564 | 24.032 | 26.708 |
| 1.4 PriorControlNet + MuCleaner | ? | ? | | 27.632 | 27.314 | 26.924 | 0.920 | 0.910 | 0.893 | 0.028 | 0.037 | 0.049 | 21.736 | 23.890 | 25.642 |
| 1.5 PriorControlNet + MGLC | ? | | ? | 28.024 | 27.774 | 27.452 | 0.930 | 0.921 | 0.906 | 0.020 | 0.027 | 0.035 | 19.184 | 20.036 | 21.024 |
| 1.6 MuCleaner + MGLC | | ? | ? | 27.952 | 27.884 | 27.518 | 0.925 | 0.925 | 0.908 | 0.021 | 0.022 | 0.030 | 19.604 | 19.822 | 20.620 |
| **我们的方法** | **?** | **?** | **?** | **28.183** | **27.982** | **27.724** | **0.931** | **0.924** | **0.911** | **0.018** | **0.023** | **0.029** | **19.236** | **19.874** | **20.487** |

*（图6. 核心组件的定性消融研究。各列展示退化输入、掩码、基线、单模块变体、双模块变体和完整模型，展示了PriorControlNet、MuCleaner和MGLC的效果。）*

### 4.7.3.

色彩先验注入的有效性本组实验固定了材质色彩反转网络及其生成的色彩先验，仅比较第二阶段中不同先验利用策略的效果。表8和图7比较了不同的色彩先验注入策略。实验2.1仅使用输入拼接，在高缺失率下LPIPS和FID仍然较高。视觉结果也显示出边界色调不连续。与实验2.1相比，完整的多尺度置信度校准残差注入在高缺失率下将LPIPS和FID分别降低了47.3%和22.9%，表明色彩先验需要在多个特征层连续参与反向去噪过程，而不仅仅作为输入端的额外条件。在实验2.2中移除置信度图后，局部区域出现色调偏移，低可靠度色彩估计对采样轨迹的干扰变得更加明显。完整注入策略将色彩先验转化为置信度调制多尺度残差，使边界过渡、局部色块和整体色调分布在不同层级获得持续约束。表8. MuralVerse-S上色彩先验注入与MGLC设计的消融实验结果。变体/描述 PSNR↑ SSIM↑ LPIPS↓ FID↓ 空白单元 0.1–10% 10–20% 20–30% 0.1–10% 10–20% 20–30% 0.1–10% 10–20% 20–30% 0.1–10% 10–20% 20–30% 2. 色彩先验注入消融实验 2.1 输入拼接 27.304 26.954 26.438 0.916 0.905 0.881 0.033 0.043 0.055 23.704 25.116 26.584 2.2 无置信度图的先验注入 27.572 27.198 26.776 0.922 0.913 0.891 0.027 0.036 0.046 22.152 23.504 25.102 2.3 仅瓶颈注入 27.804 27.506 27.044 0.924 0.918 0.899 0.024 0.032 0.041 19.188 22.048 23.318 2.4 单尺度注入 28.018 27.704 27.382 0.928 0.921 0.906 0.017 0.026 0.034 20.052 20.104 21.782 本文方法 28.183 27.982 27.724 0.931 0.924 0.911 0.018 0.023 0.029 19.236 19.874 20.487 3. MGLC消融实验 3.1 无MGLC 27.632 27.314 26.924 0.920 0.910 0.893 0.028 0.037 0.049 21.736 23.890 25.642 3.2 用ResBlock替换MGLC 27.748 27.424 27.052 0.923 0.914 0.897 0.026 0.035 0.045 21.204 22.852 24.724 3.3 仅局部分支 27.904 27.622 27.198 0.926 0.918 0.902 0.019 0.030 0.039 20.544 21.982 23.304 3.4 仅上下文分支 27.832 27.548 27.142 0.925 0.917 0.900 0.025 0.031 0.040 19.188 22.154 23.712 3.5 无掩码门控 28.008 27.772 27.434 0.929 0.925 0.906 0.020 0.027 0.036 19.452 20.052 21.852 本文方法 28.183 27.982 27.724 0.931 0.924 0.911 0.018 0.023 0.029 19.236 19.874 20.487 下载：下载高分辨率图像（821KB） 下载：下载全尺寸图像 图7. 色彩先验注入策略的定性消融研究。各列分别展示退化输入、掩码、输入拼接、无置信度图的先验注入、仅瓶颈注入、单尺度注入和完整的多尺度置信度校准残差注入。4.7.4. MGLC的有效性表8和图8展示了MGLC的结构消融实验结果。与实验3.1相比，完整的MGLC在高缺失率下将LPIPS和FID分别降低了40.8%和20.1%。当MGLC被替换为标准残差块时，指标仍明显落后于完整结构，表明额外的卷积容量无法替代对受损边界处局部性–连续性建模的需求。从视觉上看，仅保留局部分支时，细节纹理更为明显，但图案方向仍然不稳定。仅保留上下文分支时，大规模结构更为连贯，但细线条端点和局部边缘被弱化。完整的MGLC同时引入局部纹理、上下文扩展和掩码边界信息，使结构增强集中在受损过渡区域，在不规则剥落区域和复杂装饰图案中产生更为连贯的修复结果。下载：下载高分分辨率图像（973KB） 下载：下载全尺寸图像 图8. MGLC的定性消融研究。各列分别展示退化输入、掩码、移除MGLC、用ResBlock替换、仅局部变体、仅上下文变体、移除掩码门控和完整的MGLC。4.8. 用户研究为评估修复结果的主观视觉质量和感知自然度，我们开展了30名参与者的盲测用户研究。参与者包括10名具有壁画修复、传统绘画或艺术设计背景的专家，以及20名非艺术学科参与者。参与者对40个随机选取的测试案例进行评分，并按1至5分的量表评估本文方法、RAD Kim等（2025）、RePaint Lugmayr等（2022）和LRDiff Lei等（2025）的输出结果。评估维度包括整体视觉质量、结构保真度、纹理连续性和自然连贯性。如图9所示，本文方法在所有维度均取得最高平均分。整体视觉质量得分4.58，结构保真度得分4.53，表明PriorControlNet和MuCleaner能够提升修复结果的整体稳定性。纹理连续性得分4.49，自然连贯性得分4.42，验证了PriorControlNet和MGLC在图案扩展和边界色彩过渡方面的有效性。下载：下载高分辨率图像（255KB） 下载：下载全尺寸图像 图9. 用户研究结果。4.9. 参数量与推理速度表9比较了不同方法的模型复杂度和单图像推理时间ΔT。SpecBrush总计包含218.98M参数，其中第二阶段仅66.22M可训练，因为StrDiffusion主干网络被冻结。其推理时间仍低于ADF Shao等（2023）和RePaint Lugmayr等（2022），与RAD Kim等（2025）相当。对于SpecBrush，ΔT衡量的是第二阶段扩散修复过程；重复的色彩反转采样和卡尔曼–RTS平滑在LUT构建期间离线执行，LUT查询不计入其中。主要在线瓶颈为迭代反向扩散过程。对于实际部署，可通过减少采样步数或使用加速采样器降低推理成本，模型蒸馏和轻量化控制模块是进一步优化方向。总体而言，SpecBrush在修复质量与推理成本之间保持了良好的平衡。表9. 单图像模型复杂度与推理时间对比。方法 架构 参数量↓ ΔT↓（ms）RFR Li等（2020）CNN 31.00M 109.20 ADF Shao等（2023）CNN 63.50M 12190.43 PromptIR Potlapalli等（2023）Transformer 35.59M 90.96 AdaIR Cui等（2025）Transformer 28.77M 120.93 RePaint Lugmayr等（2022）Diffusion 112.20M 11632.16 LRDif Lei等（2025）Diffusion 137.14M 3719.60 PGRDiff Jiang等（2025）Diffusion 74.22M 2081.90 RAD Kim等（2025）Diffusion 93.50M 8442.90 本文方法 Diffusion 218.98M 8929.10 4.10. 特征图演化分析为分析SpecBrush在扩散修复过程中的特征演化模式，我们提取第二阶段修复网络在去噪中点t=0.5T处的隐藏状态，并使用PCA投影、相邻层余弦相似度和激活强度进行可视化。如图10所示，特征响应呈现出从局部外观恢复到结构语义聚合的渐进过渡。下载：下载高分辨率图像（402KB） 下载：下载全尺寸图像 图10. 扩散层间的特征图演化。去噪中点（t=0.5T）处的隐藏状态可视化展示了从局部外观恢复到结构聚合的过渡。在浅层中，特征图主要保留缺失边界、局部纹理和色彩过渡信息，激活强度相对平滑地增长，表明早期去噪更侧重于局部外观恢复。在中间层，相邻层余弦相似度呈现明显波动，图案边界和区域色块在特征空间中逐渐分离。色彩条件和纯化均值开始共同调节区域级修复表征。在深层中，激活强度快速上升，响应逐渐集中于线条方向、装饰图案和剥落边缘等结构区域，反映了后期去噪过程中局部性–连续性结构的增强。5. 局限性与失败案例本文方法在壁画缺失区域修复中保持了良好的色彩一致性和图案连续性，但仍存在一定适用范围边界。首先，第二阶段修复依赖于色彩先验图和置信度图提供色彩约束。当颜料层发生大面积剥落且局部可观测色彩信息不足时，色彩先验可能受到周围退化区域的影响，导致修复区域出现轻微色调偏移。其次，当前方法主要关注色块过渡、线条结构和装饰图案的建模。对于极其密集、高度重复且缺乏上下文参考的图案区域，精细几何关系的保持仍有改进空间。第三，由于第一阶段色彩反转模型是从受控LeadAging数据中学习的，当真实壁画的颜料组成或退化机理严重超出训练域时，其退化映射可能变得不够可靠。在极端损坏条件下，模型偶尔会产生失败案例，如图11所示。在大面积缺失区域或高对比度细长边界附近，模型通常能够恢复主要色彩分布和整体结构趋势，但局部细线条仍可能出现过度平滑、边缘宽度偏移或轻微轮廓变形。下载：下载高分辨率图像（449KB） 下载：下载全尺寸图像 图11. 在大面积缺失区域和精细边界退化条件下的方法失败案例。6. 结论我们提出了SpecBrush，一种具有光谱材质色彩先验和置信度门控的两阶段扩散壁画修复方法。为缓解相似RGB外观下的色彩退化歧义，材质色彩反转网络将色彩老化序列、拉曼光谱和XRD晶相信息转化为空间色彩先验，PriorControlNet通过置信度校准的多尺度残差注入引导扩散修复过程。同时，MuCleaner纯化条件均值，MGLC增强受损边界附近的局部性–连续性约束，从而减少色调偏移、细线条不连续和重复图案的不稳定扩展。在MuralVerse-S和CanvasCLP上的实验表明，SpecBrush在色彩一致性、感知质量和结构连续性方面均取得稳定表现，验证了材质先验与条件扩散修复结合的有效性。未来工作将进一步扩展材质退化数据，并探索结合图案拓扑约束的材质感知修复方法。作者贡献声明Peng Xianlin：准备工作、资源。Wang Wensheng：方法论、写作–审阅、验证。Hu Qiyao：方法论、写作–审阅。Peng Jinye：概念设计、方法论、监督。Peng Xianlin | Wang Wensheng | Hu Qiyao | Peng Jinye