《Cell Reports Physical Science》：A scalable estimator of higher-order information in complex dynamical systems
编辑推荐：
摘要专业翻译
理解复杂系统需要刻画其如何执行分布式计算并整合信息。信息论提供了若干用于描述复杂信息结构的量，其中集体协调模式源于超越成对（beyond-pairwise）的高阶相互依赖。然而，将这些方法应用于大型系统时，其较差的扩展性构成了严重阻碍，且很少有度
摘要专业翻译
理解复杂系统需要刻画其如何执行分布式计算并整合信息。信息论提供了若干用于描述复杂信息结构的量，其中集体协调模式源于超越成对（beyond-pairwise）的高阶相互依赖。然而，将这些方法应用于大型系统时，其较差的扩展性构成了严重阻碍，且很少有度量是专门为多元时间序列数据设计的。在此，研究人员引入了?-信息（M-information），一种量化复杂动力系统中高阶信息整合的新度量。研究人员证明，?-信息可通过凸优化问题（convex optimization problem）计算，并推导出一种稳健、高效且随系统规模优雅扩展的算法。?-信息对噪声具有鲁棒性，能够索引人工神经元群体中的临界行为，并在猕猴和小鼠神经影像数据中追踪意识水平与任务表现。最后，?-信息可被纳入现有信息分解框架（information decomposition framework），以揭示信息动力学的全面分类学，有助于阐明大型复杂系统中的集体计算。
论文解读文章
一、研究背景与问题
理解复杂系统的核心挑战在于如何刻画其集体相互作用。从生物网络、社会动态到物理过程，复杂系统的一个显著特征是涌现出超越简单成对关系的集体非线性动力学。这些高阶行为产生了无法还原为个体组分的宏观性质，且往往比低层描述更具功能信息量和因果预测力。尽管信息论方法为量化统计依赖及其跨时空尺度的组织提供了原理性且计算高效的途径，但现有高阶信息度量面临四项核心挑战：（1）捕获多元变量之间的全部高阶相互依赖；（2）随系统规模高效扩展；（3）适用于随时间联合演化的动力系统，区分时间演化产生的相关性与稳态分布中的相关性，并自然容纳过去与未来状态之间的有向源-目标结构；（4）显式且独立地识别高阶贡献，而非仅将其表达为高阶与低阶依赖之间的平衡。现有方法仅能满足部分条件：例如Chechik等、Balduzzi和Tononi以及Rosas等的方法解决了条件（1）和（2），部分信息分解框架满足条件（1）、（3）和（4），但据研究人员所知，尚无现有度量能同时解决全部四项挑战。
二、研究内容与核心贡献
为应对上述问题，研究人员引入了?-信息（M-information），一种用于复杂动力系统中高阶信息的新型估计量。该方法建立在Bertschinger等以及Griffith和Koch提出的联合信息（union information）概念之上，并将其推广至包含多输入多输出的更一般场景。研究人员的核心贡献包括四个方面：第一，引入?-信息作为复杂系统中高阶依赖的新型多元信息论度量；第二，证明?-信息在高斯分布中可通过凸优化问题高效计算；第三，在合成模型上展示其行为，并利用真实脑活动数据证明其实证应用潜力；第四，将?-信息与现有信息分解框架整合，为动力系统中的信息流提供精细分类。
三、关键技术方法
研究人员首先从数学上定义了??-信息（W-information，即“双重联合”信息）和?-信息，前者作为低阶（成对）信息的度量，后者作为高阶（超越成对）信息的度量，两者满足成对依赖性、非负性和存在性三个条件。在高斯系统中，研究人员证明??-信息的计算可转化为凸优化问题，并通过Cholesky分解对可行集进行无约束参数化，采用Adam优化器进行梯度优化。在合成验证中，研究人员使用了线性高斯玩具系统（COPY、TRANSFER和XOR门的高斯类比）、均匀自回归模型（uniform VAR）和模块化自回归模型（modular VAR），以及Wilson-Cowan（WC）非线性神经元群体模型。在实证应用中，研究人员分析了猕猴128通道皮层脑电图（ECoG）数据（涵盖清醒、自然睡眠、浅麻醉和深麻醉状态）和小鼠视觉辨别任务中的Neuropixels高密度探针记录数据（涵盖正确、错误、不确定和被动四种试验条件）。此外，研究人员还提出了BROJA-ΦID分解框架，将??-信息与BROJA部分信息分解（PID）相结合，实现对多元信息动力学的16种信息模式分解。
四、研究结果
4.1 高阶信息的度量
研究人员通过定义??-信息和?-信息，建立了将两个随机向量之间共享的信息分解为低阶（成对）和高阶（超越成对）成分的原理性框架。命题1表明，在三个假设条件下，??-信息和?-信息分别是系统低阶和高阶信息的唯一度量；若存在性条件不满足，则二者分别退化为低阶和高阶信息的上下界。定理1证明，对于联合高斯变量，??-信息的计算可通过凸优化求解且具有唯一解。
4.2 实验1：玩具系统
在COPY、TRANSFER和XOR三种高斯系统中，??-信息在COPY和TRANSFER中捕获了几乎全部依赖，而?-信息仅在XOR系统中检测到高阶成分，验证了该度量正确区分低阶与高阶信息结构的能力。
4.3 实验2：均匀自回归过程
在均匀VAR模型中，??-信息随噪声相关性c趋近1而增长，反映共同噪声源驱动的冗余增加；?-信息在耦合强度a趋近1且噪声不相关（c趋近0）时达到最高，有效捕获了不由共享噪声介导的动力学协作。
4.4 实验3：模块化自回归过程
在模块化VAR模型中，固定总互信息后，低噪声相关性下?-信息仅在自耦合和交叉耦合均较高时较大；高噪声相关性下该模式反转，仅非对称耦合配置能维持高阶结构。这一反转发生在临界噪声相关性c*≈0.7处，且该临界值随系统规模增大而降低。
4.5 与现有信息论量的比较
与O-信息（O-information）、O-信息率（OIR）和冗余-协同指数（RSI）的比较表明，O-信息和RSI对噪声相关性c不敏感，OIR对耦合强度a不敏感，且三者仅捕获高阶与低阶信息的平衡而非各自贡献。??-信息和?-信息对耦合强度和噪声相关性均敏感，能区分稳态与动态依赖，并显式分离高阶与低阶成分。
4.6 实验4：非线性神经动力学
在Wilson-Cowan模型中，?-信息在临界振荡区域最高，能清晰区分亚临界、临界和超临界三种动力学状态，且对噪声注入具有鲁棒性；而??-信息无法区分临界与亚临界状态。
4.7 偏差校正与可扩展性
在Wishart分布随机协方差矩阵的测试中，小系统在较少样本下估计误差即降至5%以下，大系统约需1000个样本即可将偏差控制在可接受范围；10000个样本时误差低于1%。计算时间随系统规模高效扩展，且随可训练参数呈亚线性增长。
4.8 猕猴大脑中的意识丧失
在猕猴ECoG数据中，?-信息在清醒状态下显著高于睡眠和麻醉状态，且该效应在额叶、顶叶、中央、颞叶和枕叶五个主要皮层区域中空间均匀。由于??-信息在各状态间无显著差异，此前报道的OIR变化纯粹由高阶信息增加驱动，表明意识水平与大脑集体动力学中表达的信息密切相关。
4.9 小鼠大脑中的视觉决策
在小鼠视觉辨别任务中，正确决策时群体活动的?-信息最高，被动状态下最低，且效应随n元组（n-plet）规模增大而增强。试验后半段?-信息较前半段下降，提示感知表现初期由分布式协作支持，适应后计算转移至低阶成分。区域分析显示，正确与错误试验的差异主要体现在皮层内及皮层-中脑相互作用中。
4.10 基于??-信息的信息分解
研究人员提出的BROJA-ΦID框架在玩具系统中能正确识别主导信息原子，证明其能区分不同类型的整合动力学，不仅可评估总高阶信息，还能揭示具体哪些信息原子贡献了该高阶信息。
五、讨论与结论
在相关工作方面，研究人员指出信息分解方法在量化高阶信息中具有基础性作用，但现有PID框架的应用受限于信息模式超指数增长。本研究的??-信息和?-信息通过将低阶信息定义为联合信息的最小化，有效规避了这一瓶颈。研究结论表明，??-信息和?-信息是面向大型动力系统的低阶和高阶信息结构的新型信息论度量，其计算可转化为凸优化问题，算法稳健高效。在合成系统上的验证显示了其对噪声的鲁棒性和对临界行为的索引能力；在真实脑活动数据中，?-信息的高值反映意识水平和准确的感知表现。此外，基于??-信息和?-信息的信息分解框架为多元信息动力学提供了更精细的分析工具。未来工作可探索更高效利用ΔP几何结构的优化器、推广至其他分布、进一步刻画噪声相关性与高阶信息结构的相互作用、研究?-信息随时间滞后的变化，以及开发?-信息的局部化版本以识别驱动高阶依赖的具体变量子集。
