TIIS：基于Transformer的可逆神经网络图像隐写术

《Journal of Visual Communication and Image Representation》：TIIS: Transformer-based invertible neural network for image steganography

　　

摘要

现有的基于可逆神经网络的图像隐写方法在有效挖掘合适的隐藏区域和融合载体图像特征方面存在局限性，这限制了其信息隐藏性能。为了克服这一问题，本文提出了一种基于 Transformer 的可逆图像隐写（TIIS）模型。认识到不同的图像区域表现出不同的信息隐藏容量，我们设计了一个频域 Transformer 模块（FTM）。FTM 促进不同频域之间的交互，以精确定位适合数据隐藏的高频区域，从而提高隐写图的视觉质量。为了实现秘密信息与载体图像之间的深度融合，我们引入了跨注意力模块（CAM）。CAM 将载体图像的关键特征整合到隐藏过程中，确保嵌入的秘密信息与载体图像的结构和内容特征保持一致。此外，为了减少搜索最佳隐藏位置的复杂性，我们设计了一个隐藏引导模块（HGM）。这引导秘密信息的嵌入指向载体图像中的复杂纹理区域，显著增强了隐写安全性。广泛的实验结果表明，TIIS 始终优于现有最佳方法，将隐写图的 PSNR 提高了高达 3.99 dB，提取的秘密图像提高了高达 4.70 dB，同时实现了强大的抗隐写分析能力，AUC 为 0.5202。

引言

随着数字通信技术的广泛采用，图像隐写在信息安全领域变得越来越重要。利用载体图像的固有冗余特性，该技术将秘密数据（例如文本、音频或图像）嵌入到载体中，其中只有授权接收者可以使用特定方法提取隐藏信息 [1], [2], [3]。在实际应用中，图像隐写不仅必须在高嵌入容量下保持视觉不可感知性，还必须确保信息提取的完整性和准确性。

传统的图像隐写方法 [4], [5], [6] 通常依赖于设计失真函数来识别失真最小的嵌入位置，然后修改空间域或频域中的系数值以隐藏秘密数据。然而，现有失真函数的精度有限，不可避免地会在嵌入过程中对图像元素产生实质性改变。如果此类修改超过感知阈值，很容易被隐写分析器检测到，从而严重损害隐写的安全性和实用性。为了解决这个问题，研究人员采用了生成对抗网络（GANs）[7], [8], [9] 来构建失真函数。GANs 由生成器和判别器组成，利用对抗训练使生成器产生与真实载体图像无法区分的隐写图，从而准确量化修改风险。此外，整合综合征网格编码（STC）[10], [11], [12] 增强了安全性。然而，其基于网格的编码路径对累积失真施加了严格约束，导致当容量超过 0.5 bpp 时产生可感知的失真。此外，其固定维度的编码矩阵无法适应高容量特征变化，将最大容量限制在 1 bpp，无法满足日益增长的实际需求。

近年来，基于深度学习的图像隐写在信息安全领域取得了重大进展。这些方法能够实现端到端的图像隐藏，并对秘密数据进行无损重建。当前方法主要分为两类：编码器 - 解码器框架和基于可逆神经网络（INN）的方法 [13], [14], [15]。前者采用独立的编码器 - 解码器网络进行隐藏和提取。具体来说，基于卷积神经网络（CNN）的解决方案在嵌入容量方面取得了突破 [16], [17], [18], [19], [20], [21]。然而，受限于局部感受野，CNN 无法充分建模全局图像结构和语义上下文，常常引入伪影和失真。为了减轻这种全局信息缺失，引入了空间域 Transformer [22]。然而，频域信息的表征仍然不足，导致隐写图的边缘和纹理区域出现明显的伪影。此外，编码器 - 解码器框架中隐藏网络和提取网络之间的低耦合进一步限制了性能。

为了增强网络耦合，基于 INN 的隐写应运而生 [23], [24], [25], [26]。作为一种专门架构，INN 在正向和反向传播中表现出严格的可逆性 [27], [28], [29], [30]，能够实现无损隐藏和精确提取（即不对载体图像进行不可逆更改，完全恢复秘密信息）。尽管具有这些优势，但现有的 INN 方法存在关键局限性：(1) 特征融合不足：嵌入过程没有充分利用载体图像的结构特征。因此，这种不充分的集成会降低图像质量并降低数据提取性能。(2) 引导机制缺陷：缺乏基于载体图像的内容自适应引导，损害了嵌入安全性和有效性。

为了应对这些挑战，我们提出了一种用于图像隐写的基于 Transformer 的可逆神经网络，称为 TIIS，它联合利用了频域感知嵌入、语义融合和自适应安全引导。TIIS 的核心是频域 Transformer 模块（FTM），它通过门控跨频域交互增强频域感知，有效定位视觉敏感的嵌入区域。为了对齐载体图像和秘密图像之间的语义结构，跨注意力模块（CAM）自适应计算亲和图，实现动态且内容感知的特征融合。此外，隐藏引导模块（HGM）引入了可微纹理复杂度图，引导数据嵌入到统计上复杂的区域，促进高隐蔽性和增强安全性。本工作的主要贡献总结如下：

• 1.
  我们提出了 TIIS，一种将频域 Transformer 与可逆神经网络相结合用于图像隐写的新框架。设计的 FTM 精确定位高频区域用于数据嵌入，以提高隐写图质量。

• 2.
  我们引入了 CAM，它自适应地建模载体图像和秘密图像之间的相关性，提高了融合质量。

• 3.
  我们设计了 HGM，利用纹理复杂度图引导嵌入过程指向视觉复杂区域，从而增强隐藏信息的不可感知性和安全性。

本文其余部分组织如下：第 2 节详细介绍了图像隐写的相关工作。第 3 节描述了所提出的 TIIS 框架的整体架构和核心模块。第 4 节提供了全面的实验和一些分析，以验证在嵌入容量、视觉质量和安全性方面的优越性，并由消融研究补充。最后，第 5 节总结了工作。

章节片段

编码器 - 解码器方法

基于编码器 - 解码器的图像隐写采用编码器 - 解码器架构进行数据嵌入和提取。Baluja 等人 [16] 率先提出了一种使用卷积层进行逐像素嵌入的 CNN 模型，但其简单的结构经常引起颜色失真。后续研究通过架构增强提高了性能：MISDNN [17] 纳入了残差连接，而 DAH-Net [18] 采用了多尺度特征融合，在嵌入方面产生了适度的增益

TIIS 的整体结构

所提出的 TIIS 模型包括前向隐藏和后向提取过程，如图 1 所示。在前向隐藏期间，载体图像 $x_c$ 和秘密图像 $x_s$ 首先通过离散小波变换（DWT）分别进行分解。变换结果随后被送入级联的仿射耦合块（ACBs），其中每个 ACB 集成了频域 Transformer 模块（FTM）、跨注意力模块（CAM）和隐藏引导模块（HGM），并与三个

实验设置

(1) 数据集和参数：使用 DIV2K 中的 800 张图像进行训练。测试集包括来自 DIV2K [39] 的 100 张图像、来自 COCO [40] 的 8000 张图像和来自 ImageNet [41] 的 8000 张图像。数据增强包括随机翻转和裁剪，所有图像调整为 256 × 256 大小。超参数设置为 ${\lambda }_c=$64, ${\lambda }_r=$1, ${\lambda }_f=$1。采用 Adam 优化器，初始学习率为 $2\times 10^{?4}$。

(2) 基线：为了展示 TIIS 的优越性，与深度

结论

本文提出了 TIIS，一种基于可逆神经网络的图像隐写模型，该模型集成了频域 Transformer。引入了频域 Transformer 模块（FTM）以利用自注意力和门控机制精确定位适合信息隐藏的高频区域，从而增强隐写图的不可感知性。为了处理隐藏过程中对载体图像结构内容的关注不足问题，一个

CRediT 作者贡献声明

Jinxian Zhang: 写作 - 初稿，软件，方法学。 Zuowen Jiang: 写作 - 审阅与编辑，监督。 Yuhang Zhou: 写作 - 审阅与编辑，监督，概念化。 Zhouyan He: 写作 - 审阅与编辑，监督。 Chuan Zhang: 写作 - 审阅与编辑，监督。 Ting Luo: 写作 - 审阅与编辑，监督。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能会影响本文中报告的工作。

致谢

本工作得到 国家自然科学基金（批准号：62471264）和 宁波市自然科学基金（批准号：2024J022, 2024J457）的支持。

Jinxian Zhang|Zuowen Jiang|Yuhang Zhou|Zhouyan He|Chuan Zhang|Ting Luo