综述：跨模态映射与可控图像生成的理论框架、技术进展以及多源异构协作下的未来前景 陈明军（Mingju Chen）、 林志浩（Zhihao Lin）、 宋晓菲（Xiaofei Song）、 罗阳明（Yangming Luo）、 段学洋（Xueyang Duan）、 李森元（Senyuan Li） 以及谢晨（Chen Xie）

《Sensors》：Theoretical Framework, Technical Evolution, and Future Prospects of Cross-Modal Mapping and Controllable Image Generation Under Multi-Source Heterogeneous Collaboration Mingju Chen, Zhihao Lin, Xiaofei Song, Yangming Luo, Xueyang Duan, Senyuan Li and Chen Xie

　　

摘要

随着扩散模型的快速发展，视觉合成已经从仅依赖文本输入的方式，转变为能够利用多源异构传感器信号（例如音频、3D数据以及生理数据）进行精确控制的生成。本文对多源协作下的跨模态映射和可控生成技术进行了系统性回顾。更具体地说，我们提出了一种统一的“跨模态映射与注入”分类方法，该方法抽象出了异构信号的干预逻辑。从根本上说，我们以一种不依赖于特定框架的方式分析了这些机制，明确了从传统U-Net架构向可扩展架构（如Diffusion Transformers，简称DiTs）的转变过程，并追踪了从单源驱动到复杂多源协作模式的技术演变。我们的机制分析表明，无缝的特征融合在很大程度上依赖于梯度冲突解决、严格的仲裁机制以及在多约束场景下的动态解耦。此外，通过系统化当前的评估指标，并利用性能博弈分析（例如帕累托优化），我们揭示了内在的质量可控性权衡，从而为技术选择提供了科学依据。研究认为，要克服现有的生成技术局限，需要结合硬件在环（HIL）部署、偏微分方程（PDE）驱动的物理约束以及因果推理方法，这为下一代鲁棒且实时的生成模型奠定了基础。