基于IB（Intensive Banking）模型的自适应滤波与考虑资源预留的对比度正则化的可靠时间图表示学习方法

《Neurocomputing》：Towards reliable temporal graph representation learning with IB-inspired adaptive filtering and reservation-aware contrastive regularization

　　摘要
时间图表示学习是许多信息系统的基础。其中一个核心挑战是，在构建上下文时支持时间预测的历史证据可能很稀疏，在潜在融合过程中可能被扭曲，或者受到模糊辅助监督的误导。为了解决这一挑战，本文提出了IBERG（一种受信息瓶颈启发的方法），用于提高时间图表示学习的可靠性。IBERG将预测可靠性定义为在因果上下文、潜在输入或辅助监督不完善的情况下仍能保持准确和稳定的时间预测的能力，并在上下文构建、融合调节和监督模糊性调节过程中遵循渐进的预测证据保留原则。具体来说，上下文适应交互聚合器（CAIA）从因果端点历史中构建查询条件化的上下文证据；信息过滤融合模块（IFFM）通过伯努利门和稀疏先验KL正则化对原始-上下文块融合施加局部变分选择瓶颈；以及 reservation-感知图对比正则化（RA-GCL）通过显式预留状态对成对模糊性进行建模，并使用源于预留的可靠性权重来减弱不确定的负面排斥。在对八个基准数据集进行的广泛实验中，无论是在传递式还是归纳式时间链接预测设置下，IBERG都表现出了一致的竞争性能。受控消融实验、敏感性分析、观察扰动实验和实证效率比较进一步验证了所提出设计的贡献、稳定性和实用性，其中观察扰动结果特别支持在交互特征缺失、交互特征噪声和历史交互稀疏化情况下的比较稳定性。

引言
连续时间时间交互图是许多信息系统的基础，包括社交平台、金融交易网络和生物交互系统，这些系统的连接模式及相关信号会随时间连续演变[1]。可靠的表示学习对于下游决策至关重要，因为不可靠的时间嵌入可能导致欺诈信号被遗漏、风险评估不稳定或推荐质量下降。与静态图学习不同，时间图模型必须捕捉在演变上下文、异构信号和非平稳噪声下的时间有序交互。因此，核心目标是学习具有时间意识的表示，即使在历史上下文、潜在特征或辅助监督不完整、受干扰或模糊时也能保持预测性和稳定性；这种能力被称为预测可靠性。
早期的连续时间时间图模型主要使用循环记忆更新来传播历史交互[2]。基于Transformer的方法随后将时间邻域建模为交互序列，通过自注意力和共现编码来捕捉长距离依赖性[3]、[4]。最近的研究进一步引入了频域先验，如谱分析，以指导序列建模中的时间分辨率选择[5]。这些进展大大增强了时间图学习。然而，大多数现有方法倾向于使用表达能力更强的编码器或更丰富的时间模式，而忽视了一个基本挑战：支持特定时间预测的历史证据可能很稀疏，在潜在融合过程中可能被扭曲，或者受到不确定的辅助监督的误导。这一挑战贯穿时间表示学习的多个阶段。当观测值稀疏或异质时，查询交互的因果历史可能提供不足的上下文支持。现有方法可能严重依赖原始边属性[4]，或者采用以平滑为导向的时间建模，这会抑制包含突发交易峰值和罕见事件偏差的信息性短期变化。即使在构建了上下文证据之后，潜在融合也必须确定上下文细化特征应如何改变相应的原始时间证据。串联和固定融合无论时间漂移、缺失观测值或特征损坏都应用统一的集成规则，而非约束的自适应融合可能会过分强调平滑后的上下文特征[6]。对比监督引入了额外的不确定性[7]：名义上的负对可能由于时间接近性或共享的结构上下文而仍然语义模糊，导致无区别的排斥与监督预测目标相冲突。这些限制会逐渐削弱上下文支持，破坏潜在融合，并误导辅助监督。
这些观察表明，可靠的时间图表示学习需要统一处理稀疏上下文、不稳定融合和模糊监督，而不仅仅采取孤立的解决方案。因此，IBERG采用预测可靠性作为目标属性，并以渐进的预测证据保留作为组织原则：在因果上下文构建过程中加强查询相关的证据，在潜在融合过程中保守地整合证据，在监督规范化过程中保护其免受模糊对比排斥的影响。CAIA、IFFM和RA-GCL分别在上下文、表示和监督阶段实现了这一原则。
为了解决这些挑战，本文提出了IBERG，一种受信息瓶颈启发的方法，用于提高时间图表示学习的可靠性。其IB解释是局部的而非端到端的：IFFM对原始-上下文融合决策进行变分伯努利选择参数化，并将其规范为稀疏先验。由此产生的KL项限制了选择政策关于其融合输入的信息量，同时监督目标保持了任务对齐。因此，IBERG并不优化最终图表示的完整经典IB目标。
IBERG在三个协调的阶段实现了预测证据保留原则。在上下文阶段，上下文适应交互聚合器（CAIA）从因果交互历史中构建查询条件化的、拓扑感知的证据，以在稀疏或异质观测下加强上下文支持。在表示阶段，信息过滤融合模块（IFFM）自适应地将原始时间块与其上下文细化的对应部分融合。其伯努利门控制上下文替换，而稀疏先验KL正则化限制了上下文使用策略的信息容量。在监督阶段，reservation-感知图对比正则化（RA-GCL）通过显式预留状态对成对模糊性进行建模，并减弱不确定的负面排斥。CAIA、IFFM和RA-GCL分别在上下文构建、潜在融合和辅助监督过程中调节预测证据。
本文的主要贡献如下：
- 预测可靠性定义。本文将预测可靠性定义为连续时间时间图模型在因果上下文、潜在输入或辅助监督不完善的情况下仍能保持准确和稳定预测的能力。因此，IBERG采用渐进的预测证据保留作为上下文构建、潜在融合和监督规范化的统一原则。
- 三阶段面向可靠性的实现。IBERG通过三种互补机制来实现这一原则：CAIA构建查询条件化的因果上下文，IFFM结合自适应时间块融合和局部变分伯努利瓶颈来控制上下文使用决策，RA-GCL明确地对成对模糊性进行建模以调节不确定的负面排斥。
- 全面的实证验证。在传递式和归纳式链接预测设置下的基准时间交互图实验表明，IBERG表现出了一致的竞争性能。进一步分析了交互特征缺失、交互特征噪声、历史交互稀疏化和预留感知对比调节对所提出的三阶段设计的相应可靠性方面进行了评估。
本文的其余部分组织如下。第2节回顾了时间图表示学习、图对比学习和图信息瓶颈方法。第3节介绍了初步工作和问题表述。第4节介绍了IBERG，第5节报告了实验评估。第6节总结了本文。

相关工作
本节从三个与所提出的面向可靠性的框架最相关的角度回顾了相关文献：时间图表示学习、图对比学习和图上的信息瓶颈方法。讨论进一步根据建模对象和优化角色定位了IBERG：CAIA相对于时间上下文、状态空间、聚类、矩阵分解和图谱方法；RA-GCL相对于视图构建。

初步工作
本节明确了连续时间时间设置、预测可靠性和时间链接预测任务，并回顾了IFFM中局部变分选择瓶颈背后的经典信息瓶颈原则。表2总结了主要符号。

提出的方法
本节介绍了IBERG作为一个三阶段架构，它通过在因果上下文构建、潜在融合调节和监督模糊性调节过程中逐步保留预测证据来支持预测可靠性。

实验
本节评估了IBERG在连续时间时间链接预测方面的性能。评估包括在传递式和归纳式设置下与代表性基线的比较，包括随机、历史和归纳式负样本采样；对CAIA、IFFM、RA-GCL、KL正则化、预留权重、时间块化和Transformer主干进行了组件和受控机制的消融；以及在交互特征缺失情况下的鲁棒性测试。

结论
本文提出了IBERG，用于面向预测可靠性的时间图表示学习。IBERG通过涵盖因果上下文构建、潜在融合调节和监督模糊性调节的渐进预测证据保留原则来解决上下文不足、不稳定潜在融合和模糊辅助监督的问题。在这种框架下，CAIA从因果端点历史中构建查询条件化的上下文支持，IFFM进行调节。

CRediT作者贡献声明
Xianghui Li：写作 - 审稿与编辑、写作 - 原始草稿、可视化、验证、资源、方法论、调查、形式分析、数据 curatorial、概念化。Liqing Qiu：写作 - 审稿与编辑、监督、资源、项目管理、形式分析、概念化。Weidong Zhao：写作 - 审稿与编辑、验证、监督、资源、形式分析。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
Xianghui Li获得了中国烟台山东技术商业大学的学士学位，目前在中国青岛的山东科技大学攻读计算机科学与技术硕士学位。他的当前研究兴趣包括图表示学习、图对比学习和数据挖掘。
Xianghui Li | Liqing Qiu | Weidong Zhao
中国青岛山东科技大学计算机科学与工程学院，266590