Pulvinar通路作为深度视觉神经网络中的跳跃连接(skip connections)
《Frontiers in Neuroimaging》:Pulvinar pathways as skip connections in deep neural networks for vision
【字体:
大
中
小
】
时间:2026年05月14日
来源:Frontiers in Neuroimaging
编辑推荐:
摘要
引言:人们认为丘脑 pulvinar 通过丘脑间通路调节皮层间的通信,但这种调节的计算后果仍不清楚。
方法:在一个分层的卷积视觉模型中测试了一个受 pulvinar 启发的最小化长距离跳跃通路,该通路实现为从早期特征图到晚期特征图的学习投影,并结合了一个增益控制的门控机
摘要
引言:人们认为丘脑 pulvinar 通过丘脑间通路调节皮层间的通信,但这种调节的计算后果仍不清楚。
方法:在一个分层的卷积视觉模型中测试了一个受 pulvinar 启发的最小化长距离跳跃通路,该通路实现为从早期特征图到晚期特征图的学习投影,并结合了一个增益控制的门控机制。该架构在两个互补的实验中进行了评估:CIFAR-10 分类任务和在噪声背景下的接近阈值对比度检测任务。
结果:在 CIFAR-10 分类任务中,增强 pulvinar 的模型并没有主要作为一个统一的准确性提升器;相反,它重新塑造了依赖于对比度的响应缩放并稳定了内部表示,这与增益控制一致。这些效应在匹配的表示制度下仍然存在,表明性能差异不能仅用表示几何的变化来解释。在接近阈值检测任务中,类似 pulvinar 的调节系统地重新分配了检测结果,这与在不确定性下决策标准的改变一致,并且在特定制度下支持了更好的区分能力。
讨论:这些发现共同表明,受 pulvinar 启发的连接主要贡献于增益和决策标准的控制。我们提出 pulvinar 调节感官证据如何被加权并转化为决策,而不是直接提高任务准确性。
1 引言
丘脑 pulvinar 在当代丘脑-皮层计算理论中变得越来越重要。与经典模型提出的作为感官信息的被动中继不同,现在认为 pulvinar 是一个积极的调节枢纽,它塑造了皮层通信、注意力和层次整合(Cortes 等,2024, 2026)。广泛的解剖学研究表明,pulvinar 接收到来自视觉皮层层次结构几乎所有级别的密集的、相互的投射,以及来自上丘的汇聚输入,使其位于皮下和皮层通路的关键交叉点(Casanova 和 Chalupa,2023)。生理学证据进一步揭示,pulvinar 神经元表现出与皮层神经元相似的感受野特性,包括对方向、运动方向、视差和全局运动模式的选择性(Casanova 等,2001)。这些特性强烈依赖于皮层输入:V1 的失活显著减少了 pulvinar 的子区域(如条纹接收区)的反应,表明皮层反馈对于塑造 pulvinar 活动至关重要(Casanova 和 Darveau,1997)。除了中继视觉信号外,pulvinar 还对皮层处理产生广泛的影响。pulvinar 的投射可以改变多个皮层区域(包括 V1、V2、V4 和高级时间皮层)的放电率、改变响应增益,并重塑空间和时间响应轮廓(Casanova 和 Chalupa,2023;Casanova,2020;Sherman,2017)。这种影响的一个关键机制是 pulvinar 调节皮层区域之间有效连接的能力(Cortes 等,2024),动态调节皮层间相互作用的强度,有效地决定了一个皮层群体对另一个皮层群体的驱动强度(Shipp,2003;Saalmann 等,2012)。这种调节高度依赖于上下文:pulvinar 活动选择性地增强与任务相关的视觉信息和注意力优先级(Robinson 和 Petersen,1992;Zhou 等,2016),这与 pulvinar 在预测编码中实现精度或增益控制的理论一致(Kanai 等,2015;Olsen 等,2012;Cortes 等,2024,2026)。pulvinar 还在协调皮层层次结构间的通信时机方面起着关键作用。pulvinar 组织了区域间的同步性,影响调节不同皮层群体何时通信的 gamma 和 theta 带耦合(Saalmann 等,2012;Wróbel,2000;Cortes 等,2026,2020)。这种选择性同步分布式皮层区域的能力意味着 pulvinar 不仅路由信息,还构建了通信可以发生的时空窗口。这种时间调节对于注意力、对象分割和视动协调等功能至关重要(Miura 和 Scanziani,2022)。这些发现导致了将 pulvinar 视为丘脑间通信枢纽的现代观点。在这个框架中,pulvinar 属于一类高级丘脑(HO)核,定义为从皮层接收强驱动输入并参与皮层-丘脑-皮层循环的丘脑结构,而不仅仅是中继外围感官信号(Sherman 和 Guillery,2011)。通过这些丘脑间通路,HO 核可以介导间接的皮层间相互作用,有效地连接远距离的皮层区域,同时绕过了长链的中间皮层处理(Sherman 和 Guillery,2011;Cortes 和 Vreeswijk,2015)。这种架构在深度学习中有自然的计算类比,其中跳跃连接允许早期特征表示直接影响更深层次的处理阶段,改善信号传播并稳定层次计算(图 1)(He 等,2015)。当跳跃通路不仅仅是加性的,而是调节性的时,这种类比尤其有说服力:在生物学中,pulvinar 介导的影响通常被描述为皮层相互作用的增益控制或上下文依赖的门控;在机器学习中,门控的残差通路类似地调节长距离相互作用的强度和内容。
图 1 丘脑间(pulvinar 介导的)通信的示意图。早期皮层区域投射到 pulvinar,后者中继并调节信号到远距离的皮层区域,实现长距离的、上下文依赖的路由,这与深度神经网络中的跳跃连接类似。
最近对其他 HO 核的研究进一步强化了丘脑作为皮层动态调节器的观点。特别是,对中背侧(MD)丘脑的研究表明,丘脑-皮层回路可以调节皮层增益,稳定与任务相关的集合,并在认知任务期间实现皮层表示之间的灵活切换(Schmitt 等,2017;Rikhye 等,2018;Mukherjee 等,2021)。尽管这些研究主要关注前额叶回路,但它们支持了一个更广泛的观点,即 HO 作为皮层动态的调节器,而不是被动的中继器。尽管有大量的解剖学、生理学和理论工作描述了 pulvinar 介导的门控、精确控制和丘脑间路由(Shipp,2003;Kanai 等,2015;Sherman 和 Guillery,2011;Cortes 等,2026),但这些机制的计算含义在现代深度卷积架构中仍然很大程度上未被探索。大多数深度网络主要包含跳跃连接以改善优化和训练稳定性(He 等,2015;Veit 等,2016),而没有明确的丘脑-皮层原理基础。相反,神经生物学解释强调了 pulvinar 依赖的路由、增益控制和区域间协调,但这些机制的计算后果在实验上仍然难以分离(Zhou 等,2016)。因此,一个富有成效的方法是在受控的深度学习框架中形式化一个最小化的受 pulvinar 启发的通路,并评估不仅任务性能,还有机制特征,如表示稳定性和增益调节(Cortes 和 Vreeswijk,2012)。这提出了一个基本问题:pulvinar 是否为有效的跳跃连接提供了生物学蓝图,将类似 pulvinar 的通路整合到人工网络中是否可以获得可测量的计算优势(Cortes 等,2024,2026;Sherman 和 Guillery,2011;Saalmann 和 Kastner,2011)?在这里,我们研究了一个包括受 pulvinar 启发的通路的分层视觉模型,该通路将早期和后期处理阶段连接起来。该通路允许早期视觉表示的信息以受控的方式影响后期阶段,模仿 pulvinar 在大脑中的调节作用。我们在两个互补的设置中评估了这个模型。首先,在图像分类任务(CIFAR-10)(Krizhevsky,2009)中,我们比较了一个标准的皮层网络和一个包含类似 pulvinar 通路的版本。在这个设置中,我们不仅评估了分类准确性,还评估了当图像对比度变化时内部表示的稳定性和缩放程度。这些测量使我们能够确定类似 pulvinar 的调节主要提高了鲁棒性和增益调节,而不仅仅是提升任务性能。其次,我们在一个旨在模拟接近阈值感知条件的对比度检测任务中测试了相同的模型(van Vugt 等,2018),在该任务中必须在噪声背景下检测到微弱的目标。通过系统地改变目标对比度、大小和背景噪声,这个任务探讨了类似 pulvinar 的调节如何在视觉证据弱且不确定时影响敏感性。这些实验共同提供了一种原则性的方法,将表示稳定性和增益控制的效果与噪声下的感知敏感性效果区分开来。
2 材料和方法
2.1 计算模型
我们使用深度卷积神经网络(CNN)对视觉检测性能进行了建模,该网络近似于皮层前馈层次结构,并包括一个扩展的 pulvino–皮层通路。设 x ∈ ?H × W × 3 表示一个实值 RGB 图像,空间维度为 H × W,具有三个颜色通道。对于 CNN 输入,灰度刺激在三个通道中复制以匹配 RGB 输入格式。基线“皮层”网络是一个具有 L 层的标准卷积网络。用 h(0) = x 表示输入,用 h(l) 表示第 l 层的活动,前馈动态为:
hl = fl(h(l?1); θl = σl(Wl * h(l?1) + bl),l = 1,...,L
hl = fl(h(l?1); θl = σl(Wl * h(l?1) + bl),l = 1,...,L
(1)
其中 * 表示卷积,σl 是一个逐点非线性(ReLU),θl = {Wl, bl} 是可训练参数。这里,L=3。最终输出从最后一层活动 hL 计算得出:
z = Wout * vec(h(L)) + bout,
z = Wout * vec(h(L)) + bout,
(2)
(2)
y = softmax(z),y = softmax(z),
(3)
(3)
其中,?y ∈[0,1],Ky ^ ∈[0,1],K 是类别的预测概率(例如,目标存在 vs. 不存在)。
训练是通过最小化交叉熵损失并加上 L2 正则化来进行的,
L(Θ) = ?1/N ∑i=1K ∑k=1yik log?ik + λ∥Θ∥2
(4)
(4)
其中 Θ 收集网络中的所有可训练参数,yik 是样本 i 的独热编码标签,λ 是权重衰减系数。
2.1.1 Pulvino–皮层扩展
为了模拟 pulvinar 对皮层处理的影响,我们引入了一个平行的 pulvino–皮层通路,该通路接收来自中间“V1 类”层的皮层活动副本,并反馈到更高层的“决策相关”皮层层。具体来说,我们选择了两个皮层层 m 和 n(1 ≤ m < n ≤ L)。pulvinar 模块接收第 m 层皮层活动的汇总表示,
c = GAP(h(m)),
(5)
(5)
其中,GAP (·) 表示空间维度上的全局平均池化。然后计算 pulvinar 状态 p 为
p = ?p(Wpcc + bp),
(6)
(6)
其中 ?p(·) 是一个非线性激活(ReLU),参数为 {Wpc, bp}。这个状态通过 pulvino–皮层投影反馈到皮层,
r = ?c(Wcpp + br),
(7)
(7)
其中 ?r(·) 也是非线性,{Wcp, br} 参数化了投影,Wpc 实现了皮层到 pulvinar 的转换,捕捉了早期皮层活动向 pulvinar 的汇聚,Wcp 模拟了调节下游皮层处理的反向 pulvino–皮层投影。结果的 pulvino–皮层信号 r 与目标皮层层活动 h(n) 的维度相同(经过重塑),因此第 n 层的合并活动由凸组合给出
?h(n) = (1?α)h(n) + αr,
(8)
(8)
其中,α ∈ [0, 1] 是一个门控参数,控制 pulvino–皮层输入的相对贡献。对于 α = 0,模型简化为纯皮层基线。对于 α > 0,pulvinar 通路可以放大或重塑第 n 层的皮层表示。
在某些模拟中,我们还允许 pulvino–皮层反馈上的学习增益。在这种情况下,反馈通过从 pulvinar 状态获得的增益向量 g 进行调节,
g = σg(Wgp + bg),
(9)
(9)
?h = h⊙s,
(10)
(10)
(10)
(10)
其中 σg 是一个 Sigmoid 非线性,⊙ 表示元素级乘法。这种表述将 pulvinar 解释为通过缩放反馈项的有效贡献来动态调节皮层信号的精度。所有其他层 l ≠ n 的更新与仅皮层模型相同。pulvino–皮层模型使用相同的损失函数 L(Θ) 进行端到端训练;额外的参数 {Wpc, bp, Wcp, br, Wg, bg} 直接包含在 Θ 中。在这里报告的实验中,我们比较了皮层基线(α = 0)与使用不同 α 值和增益配置的 pulvino–皮层模型。
2.1.1.1 Squeeze-and-excitation 控制模型(实现基线)
为了测试观察到的效果是否特定于所提出的 pulvino-cortical 机制,还是源于通用的通道级注意力,我们实现了一个基于 squeeze-and-excitation (SE) 机制的控制模型。在这个模型中,调制在单个层 h 内局部应用:
s = σ(W2δ(W1GAP(h)),
(11)
(11)
并且
?h = h⊙s,
(12)
(12)
其中 GAP 是全局平均池化,δ 是 ReLU 非线性,σ 是产生通道级增益的 Sigmoid 函数。SE 应用于中间特征图(块 2)并在进一步处理之前乘法调节活动。
2.1.1.2 仅投影跳跃控制(非调节控制)
为了独立于调节隔离长距离路由的计算贡献,我们实现了一个控制架构,该架构由直接的早期到晚期投影组成,没有门控或自适应融合。这个模型保留了 pulvino-cortical 模型中使用的相同结构跳跃通路,但去除了所有调节组件,包括增益门 g 和学习到的融合参数 α。因此,从早期皮层层 h(m) 到更深层 h(n) 计算投影,使用与 pulvino-cortical 通路定义相同的投影操作符:
p = Π(h(m)),
(13)
(13)
其中 Π(·) 被实现为一个轻量级转换(卷积后跟空间重采样),以匹配 h(n) 的维度,如 2.1.2 节所述。与 pulvino-cortical 模型不同,投影信号通过固定的加性交互与皮层活动结合:
?h = h(n) + βp,
(14)
(14)
其中 β 是一个常数缩放因子,控制跳跃通路的强度。重要的是,β值在训练过程中是固定的,不会被学习到。这种设计排除了任何依赖于刺激的调节或适应性加权,确保了跳跃路径仅作为前馈投影来发挥作用。所有其他层的更新方式与皮层基线模型相同。这种控制使我们能够区分以下两种效应:i) 长距离信息传递,以及 ii) 由丘脑-皮层机制引入的动态增益调节。通过将这种仅包含投影的模型与皮层基线模型和丘脑-皮层模型进行比较,我们可以确定观察到的效应是由于跳跃路径本身的存在还是由于其调节特性所致。
2.1.2 架构实现(方程式5-10的总结)
为了实现上述定义的丘脑-皮层计算,我们添加了一个长距离跳跃连接,将活动从CNN的早期阶段传递到后期阶段。来自第一个卷积块(64个通道,分辨率为16×16)的特征图被投影到第三个卷积块(128个通道,分辨率为8×8),使用了一个轻量级的PulvinarProjector,该投影器由一个1×1卷积后跟一个双线性插值组成。为了捕捉丘脑反馈的调节性质,投影信号通过了一个受挤压-兴奋机制启发的PulvinarGate,该机制计算出一个门控向量g,动态控制反馈强度。门控向量g是使用类似挤压-兴奋的机制计算得出的:对投影的特征图应用空间全局平均池化得到一个通道级的描述符,然后通过一个带有ReLU非线性的两层全连接网络,最后通过一个Sigmoid激活函数产生0到1之间的通道级增益值。门控后的丘脑信号与皮层活动相加,如方程式(9, 10)中所述。当门控被禁用时,增益固定为1(g = 1),从而得到一个非调节性的跳跃连接。除了这个长距离路径外,所有其他架构组件都与皮层基线模型相同(图2)。
图2 网络架构。(A) 仅包含皮层的基线卷积网络。视觉输入通过一系列卷积块(ConvBlock 1–3)进行处理,随后是全局平均池化、一个全连接层,以及一个softmax分类器,产生最终决策。(B) 皮层-丘脑网络架构。除了前馈皮层路径外,中间皮层表示还通过一个亮度加权的1×1卷积投影到丘脑模块,保持空间对应性同时降低通道维度。丘脑随后生成一个经丘脑束信号(h2),通过增益控制机制(g)调节皮层处理。丘脑驱动的信号通过一个α加权的特征融合阶段重新整合到皮层流中,然后进行更高级的处理。
2.1.3 任务特定的模型变体
虽然方程式(5-10)定义了完整的丘脑-皮层架构;但由于任务依赖的训练约束,这种机制的有效实现因实验范式而异。
1) CIFAR-10分类(实验1):使用了完整的模型,包括丘脑-皮层投影、门控机制(g)、融合参数(α)以及额外的正则化项λG、λα和目标增益值G*,这些在训练期间限制了门控和融合变量的统计特性。这些约束是为了稳定优化并在复杂的分类环境中促进可解释的增益动态。
2) 接近阈值的对比度检测(实验2):保留了相同的架构核心,包括门控机制(g)和融合参数(α)。然而,去除了正则化项λG、λα和目标增益G*,以避免对门控动态施加任务特定的约束,从而在受控的感觉不确定性下揭示丘脑束的内在行为。因此,实验1和实验2之间的差异反映了训练制度的不同,而不是架构结构的变化。这种架构机制与训练约束之间的区别是我们方法的核心。受丘脑启发的路径定义了一个固定的计算结构(长距离路由和增益调节),而训练制度决定了这种机制在实践中的表现方式。在这个框架中,实验1中使用的正则化项可以解释为塑造网络的运行制度,而不是定义机制本身。这种分离使我们能够区分由表示约束引起的效应和由架构内在属性引起的效应。因此,实验1包括两个互补的分析:在完整训练制度下的标准评估,以及在匹配的表示制度内比较模型的控制分析。
2.1.3 训练程序
皮层基线和增强丘脑的模型都是从零开始使用相同的优化设置进行训练的,以确保可比性。训练使用了AdamW优化器(学习率约为3×10^-4,权重衰减约为1×10^-4),批量大小为128张图像。根据配置,网络训练了20-50个周期。所有实验都使用了固定的随机种子。在训练过程中,记录了训练集和测试集的损失和准确率,并在可用时使用TensorBoard进行监控。所有模型都在可用的GPU硬件上训练;否则,计算默认使用CPU。所有模拟、训练流程和分析都是使用Python和PyTorch实现的。
2.1.4 损失函数和训练制度
在不同的实验中,使用了不同的训练制度来探究架构机制和表示约束之间的相互作用。皮层基线模型使用标准的交叉熵损失进行训练:
LCE=CE(?,y)
在控制分析中,我们还引入了一个基于S和HL指标的基于对比度的正则化项:
LSH=CE(?,y)?λSS?λHL
对于实验1中的丘脑-皮层模型,增加了额外的正则化项来限制门控和融合机制的统计特性:
Lpulv, full=CE(?,y)?λSS?λHHL+λGRegG+λαRegα,
其中,RegG强制目标增益水平,Regα惩罚高融合权重的偏差。
相比之下,在实验2和上述的架构控制分析中,省略了这些额外的正则化项(λG、λα、G*),以隔离丘脑-皮层架构的内在贡献。
2.2 实验1:图像分类(CIFAR-10)
所有分类实验都使用了CIFAR-10数据集(60,000张图像;10个类别)。图像使用标准通道统计进行了归一化。训练图像进行了水平翻转和裁剪;测试图像也进行了归一化。皮层基线和增强丘脑的模型都是从零开始使用AdamW(学习率约为3×10^-4,权重衰减约为1×10^-4,批量大小为128)训练了20-30个周期。在测试集上计算了准确率、损失、对比度敏感性和不变性指标。超参数使用验证集上的分类准确率作为目标函数进行优化。重要的是,增益线性(HL)和方向不变性(S)指标不是优化目标的一部分。相反,它们是在训练后的网络上计算的,对应于准确率最优的参数配置。
2.2.1 对比度扰动集
在训练增强丘脑的网络时,我们引入了一个基于内部特征向量的基于对比度的正则化。给定一个批量x和一组对比度缩放因子{σ1,…,σK}(在我们的实验中为{0.2,0.6,1.0}),我们形成了对比度缩放的输入:
x(k)=σk
其中fθ(·)表示由可学习权重θ参数化的特征提取网络。对于每张图像i和对比度缩放σk,我们定义:
u(k)i=fθ(x(k))
其中u(k)i∈R^256表示池化后的特征向量。
2.2.2 S:对比度下的方向不变性
我们将方向不变性定义为所有对比度对之间归一化特征向量的平均余弦相似度:
S = 1|P| ∑(a.b)∈P[1/N ∑i=1 < uˉi(a), uˉi(b)>∥uˉi(a)∥ ∥uˉi(b)∥]
其中P = {(a, b) | 1 ≤ a < b ≤ K}索引所有对比度对。较大的S表示表示在对比度变化下保持其方向。
2.2.3 HL:有符号增益线性指数
为了量化特征幅度随对比度的变化,我们计算了每个对比度水平的平均特征范数:
F(σk) = 1/N ∑i=1 ∥ui(k)∥^2,
然后估计了相邻对比度水平之间的有限差分斜率并取其对数:
HL=1/K?1 ∑k=1 log(max(ε,F(σk+1)?F(σk)σk+1?σk))
其中ε是一个小常数,以避免log(0)。较大的HL表示特征幅度随对比度的变化更强(且更一致地为正)。负的HL值表示特征幅度随对比度的变化较弱或亚线性,而正的HL值表示增益调节的稳健性。
2.2.4 在匹配的表示制度内的架构控制分析
为了分离架构机制的贡献和训练约束的贡献,我们在CIFAR-10分类任务中进行了额外的控制分析。在这项分析中,我们在严格匹配的优化设置下比较了多种架构,包括:(i) 皮层基线模型,(ii) 挤压-兴奋(SE)控制模型,(iii) 仅包含投影的跳跃模型,以及(iv) 丘脑-皮层模型。所有模型都使用相同的超参数进行训练(学习率=3×10^-4,权重衰减=1×10^-4,标签平滑=0.1,批量大小=128,以及100个训练周期),以及相同的数据增强程序。这种程序确保了观察到的任何差异都源于架构机制,而不是优化或正则化的混淆。
2.3 实验2:接近阈值的对比度检测范式
在这个实验中,评估了没有表1中描述的λG、λα和G正则化项的丘脑-皮层模型,从而可以隔离丘脑束架构本身对接近阈值视觉检测的影响(同时保持α融合和增益门参数的端到端学习)。与实验1不同,在实验1中引入这些正则化项是为了稳定训练和在复杂分类任务中塑造门控和融合变量的统计特性,而当前实验旨在直接评估在受控感觉不确定性下架构如何影响决策变量。移除这些约束确保了观察到的对敏感性(d′)或决策标准的影响都源于丘脑束的内在属性。
表1 超参数及其在实验中的作用/位置
| 超参数 | 作用/位置 | 在实验中的使用 |
| --- | --- | --- |
| 学习率(lr) | 所有可学习权重 | 全局(训练循环) | 控制优化过程中的幅度更新 |
| 权重衰减(wd) | 所有可学习权重 | 全局(训练循环) | 惩罚大的权重(L2正则化) |
| 标签平滑 | 输出logits与目标 | 输出/Softmax | 减少过度自信 |
| α(学习的) | 皮层-丘脑特征融合 | 融合块(第n层) | 学习到的,皮层与丘脑信号的逐通道加权 |
| g(学习的门) | 动态反馈调节 | 丘脑门 | 学习到的,依赖于刺激的增益控制丘脑影响 |
| λα | α正则化 | 融合块 | 使α趋向于皮层主导的制度 |
| G | 目标平均门控增益 | 丘脑门 | 目标平均门控水平 |
| λG | 增益偏差惩罚 | 丘脑门 | 惩罚g与G的偏差 |
表1总结了训练和模型参数,指出了它们的架构位置和功能作用。全局超参数应用于所有可训练的权重。与丘脑相关的参数控制了丘脑-皮层反馈路径的强度和稳定性。在实验2中,λα、G和λG被设置为零。
2.3.1 刺激生成
合成的灰度刺激由一个噪声背景(平均亮度0.5)组成,在目标存在的试验中,还有一个微弱的圆形目标(van Vugt等人,2018年)。背景噪声是用1/f谱生成的并进行了过滤。目标圆圈的半径为R,随机放置在空间位置,并相对于背景增加了对比度c。对比度值范围从0.005%到4%:0.005%、0.01%、0.025%、0.05%、0.08%、0.11%、0.15%、0.20%、0.25%、0.30%、0.35%、0.40%、0.45%、0.65%、1.0%、2.0%、4.0%。对于每个对比度水平和参数配置,生成了N=1,000个刺激,包括目标存在和目标不存在的试验。
2.3.2 实验设计
系统地改变了背景噪声幅度和目标半径,以探究不同的信噪比制度。对于每种配置,相同的皮层和丘脑-皮层模型在相同的接近阈值刺激上进行了训练,以模拟一个天真的观察者,并确保行为和内部差异反映了架构效应,而不是训练历史。这种设计允许将误报率和决策标准的变化解释为丘脑束架构的固有属性,而不是差异学习或刺激熟悉度的结果。每个网络的二进制输出(目标存在/不存在)与真实值进行比较,以构建完整的混淆矩阵,得到四个典型的结果类别:命中(H)、漏报/假阴性(FN)、误报(FA)和真阴性(TN)。此外,还分析了假阳性(FP)的绝对计数,以更精确地描述结果再分布。
2.3.2 实验设计
在丘脑增强网络的训练过程中,我们引入了一个基于内部特征向量的基于对比度的正则化。给定一个批量x和一组对比度缩放因子{σ1,…,σK}(在我们的实验中为{0.2,0.6,1.0}),我们形成了对比度缩放的输入:
x(k)=σk
其中fθ(·)表示由可学习权重θ参数化的特征提取网络。对于每张图像i和对比度缩放σk,我们定义:
u(k)i=fθ(x(k))
其中u(k)i∈R^256表示池化后的特征向量。我们报告了真正例(FP)的数量以及相应的误报率(FA=FP/(FP+TN)),其中FA提供了一个标准化的SDT(信号检测理论)度量,用于衡量决策偏差,而FP则提供了在不同条件下结果重新分布的计数级描述。根据这些量,我们计算了:(i)准确性;(ii)敏感性(d′);(iii)决策标准(c);以及(iv)误报率(FA)。通过绘制每个(R, BG)配置的命中率(HR=H/(H+FN))与对比度的关系,得到了心理测量检测曲线。2.3.3 内部网络响应和层次分析为了将行为结果与内部网络动态联系起来,我们分析了两种架构中相应层次上的刺激诱发活动。选择了三个层次作为分层视觉决策路径的功能类比:一个早期层次(V1)、一个中间层次(V4)和一个晚期决策相关层次(PFC)。决策相关的调节被量化为:Δactivation=activationHit?activationMiss Δactivation=activationHit-activationMiss (24) 正的Δactivation表明在命中时的活动比在未命中时更强,而负值则表示决策相关的响应被反转或抑制。2.3.4 在整个刺激空间中的全局分析所有的行为和内部测量都在完整的(R, BG)网格上进行了评估。虽然为了完整性报告了总体准确性,但主要分析集中在FA和d′上,这两个指标区分了SDT框架内的标准变化和真正的敏感性变化。所有刺激条件的完整混淆矩阵统计(H, FN, FP, TN, 准确性, d′和标准c)在补充材料中提供。2.4 评估的模型和指标总结在实验1中,比较了两种模型变体:(i)一个皮层基线模型,以及(ii)一个联合优化的皮层-丘脑模型。性能使用分类准确性、对比度敏感性和表征不变性进行了评估。表1总结了训练期间使用的全球和丘脑特定的超参数,指定了它们影响的模型组件、在架构中的位置以及它们的功能作用。全局超参数(例如,学习率、权重衰减和标签平滑)应用于所有可训练的权重,而丘脑特定的参数(λG, λα和G)选择性地调节了丘脑跳跃连接路径中的调节强度、稳定性和目标水平。实验1中的超参数使用Powell方法(无导数优化)进行了优化,该方法在Python中实现。在实验2中,皮层基线和联合优化的皮层-丘脑模型在接近阈值的对比度检测范式中进行了评估。系统地改变了背景噪声幅度(BG)和目标半径(R),以探测不同的信噪比情况。对于每个(BG, R)组合,生成了完整的对比度级别范围,产生了一组密集的接近阈值检测条件。两种模型都在相同的优化设置下进行了训练和评估,从而可以直接比较它们对弱视觉信号的敏感性。2.5 统计分析根据数据结构和样本大小选择了参数和非参数测试来进行统计分析。对于实验1A,使用Welch的双样本t检验来评估仅皮层模型和丘脑-皮层模型之间的差异,该检验不假设方差相等。使用Cohen的d来量化效应大小,以独立于样本大小来表征模型差异的幅度。对于涉及多个架构条件比较的实验1B,我们使用了Kruskal-Wallis检验来评估整体组间差异,而不假设正态性或方差同质性。当检测到显著效应时,使用Dunn的事后检验进行成对比较,并进行了多重比较校正。对于涉及基于网格的性能度量(例如,刺激大小和背景噪声组合的性能)的分析,使用Wilcoxon符号秩检验进行模型之间的比较。选择这种非参数配对检验是因为网格点的数量有限,且无法可靠地满足正态性假设。为了量化条件依赖的增强效应,我们还进行了丰度分析,其中“高”案例是使用在合并的刺激网格上计算的单侧z阈值(z > 1)来定义的。这种阈值处理用于按象限总结高值细胞的比例,并不作为推断假设检验。对于在匹配的刺激条件(BG, R)之间的网格级比较,我们计算了配对差异Δ=pulvinar–cortex(丘脑-皮层和仅皮层模型),并使用Wilcoxon符号秩检验来测试中位数偏移是否为零。对于索引决策偏差的指标(误报、假阳性和假阴性),我们使用了反映先验假设的单侧Wilcoxon符号秩检验,即丘脑类似的连接性会在接近阈值的不确定性下增加自由反应。所有其他比较都使用双侧检验进行评估。3 结果3.1.1 实验1A:图像分类(CIFAR-10)。模型准确性、调谐不变性、对比度敏感性和增益控制以及超参数优化我们使用独立的超参数搜索比较了一个皮层基线和一个联合优化的皮层-丘脑模型(图3;表2,3)。在这个实验中,皮层基线使用交叉熵损失(方程15)进行训练,而丘脑-皮层模型使用包括S、HL和门控/融合正则化项的完整损失(方程17)进行训练。超参数使用验证集上的分类准确性作为目标函数进行优化。随后在达到最高验证准确性的模型实例上评估HL和S,确保这些指标反映了架构的涌现属性而不是优化目标。皮层基线提供了一个分类性能的参考水平,而皮层和丘脑参数的联合优化在准确性上产生了小但可靠的改进(图3A,表4)。统计分析确认这种差异是显著的,但效应大小适中(Cohen的d < 1),表明丘脑类似的调节主要不作为强大的准确性增强器。图3比较了仅皮层模型和增强丘脑的模型在准确性、不变性和增益指标上的表现。(A)仅皮层模型和增强丘脑模型的分类准确性。丘脑模型在准确性上显示出适度但显著的改进。(B)方向不变性指数(S),用于衡量内部特征表示在对比度扰动下的稳定性。丘脑类似的连接性相对于皮层基线显著增加了表征不变性。(C)符号增益线性指数(HL),用于量化对比度依赖的响应缩放。每个点代表一个训练模型实例(n=100);小提琴图表示多次运行的分布。星号表示统计显著性(*** p < 0.001)。表2分析/实验模型损失超参数是否匹配?目的实验1皮层与丘脑原始/完整(方程17)否功能机制实验1B皮层、SE、跳跃、丘脑CE或CE–λS·S–λH·HL(方程15和16)是分离架构实验1A在它们的原始训练配置下评估皮层和丘脑模型,反映了由架构和优化约束共同塑造的完整功能机制。实验1B引入了在匹配的超参数和损失公式(方程15-17)下跨架构的受控比较,允许独立于训练诱导的效应分离架构贡献。表3模型优化后的参数准确性(%)HL(增益线性)S(方向不变性)皮层(基线)lr ≈ 3 × 10?387.47 ± 0.85?13.76 ± 0.380.813 ± 0.017wd ≈4 × 10?4ls ≈ 0.18皮层+丘脑(联合)lr ≈ 3.1 × 10?388.22 ± 0.967.18 ± 0.270.991 ± 0.023wd ≈ 4.1 × 10?3ls ≈ 0.18λG ≈ 0.01λα ≈ 2 × 10?4G*≈ 1.65每个模型配置的最佳超参数和最终性能分数。正则化参数λG、λα和增益目标G*仅用于CIFAR-10分类实验(第4.1节)。对比度检测实验(第4.5节)使用了没有这些正则化项的简化丘脑路径。表4指标Welch tp值Cohen's d准确性7.913.21 × 10?140.82HL(增益线性)608.47< 1 × 10?363.75S(不变性)83.671.02 × 10?2298.66模型之间的比较使用Welch的t检验进行准确性、HL和S的比较。效应大小(Cohen's d)显示丘脑类似的调节对增益控制和表征稳定性有非常大的影响,而对分类准确性的影响仅是中等的。相比之下,丘脑启发的连接性对增益相关和表征度量的影响要大得多。如表2所总结的,皮层-丘脑模型在对比度增益线性(HL)和表征不变性(S)上表现出明显的变化,这两者都与非常大的效应大小(Cohen's d >> 1)相关(表4)。这种分离表明,丘脑路径的主要计算贡献在于重构网络内感官信号的缩放和稳定方式,而不是统一提高分类性能。调谐不变性。与皮层基线相比,皮层-丘脑模型在表征不变性方面显著增强(图3B;表3,4),表明在对比度扰动下内部特征表示更加稳定。这种效应非常稳健,远远超过了准确性差异的幅度,支持了丘脑类似调节在稳定皮层表示中的作用,而不是直接优化分类准确性。对比度敏感性和增益控制。皮层-丘脑模型还显示出与皮层基线相比显著改善的对比度依赖响应缩放(图3C;表3,4)。增益线性的增强非常可靠,并且与非常大的效应大小相关,这与丘脑启发路径的增益控制功能一致,该功能调节刺激对比度在内部表示中的反映方式。总体而言,这些结果揭示了准确性和增益相关效应之间的明显分离。虽然丘脑类似的调节仅在分类准确性上产生了适度的改进,但它产生了强烈且系统的对比度增益和表征稳定性的变化。这种模式表明,丘脑路径的主要计算影响在于调节增益和稳定内部表示,而不是直接提高准确性。3.1.2 实验1B:受控的架构比较和表征机制为了确定归因于丘脑路径的计算效应是来自其特定架构还是优化约束或通用机制,我们比较了四种模型配置:仅皮层基线、皮层-丘脑模型、挤压-激发(SE)模型以及没有调节的简单跳跃连接。包括SE模型是为了测试观察到的效应是否可以通过标准的注意力类似机制来解释,而简单跳跃连接则测试它们是否仅通过添加并行路径来产生。所有模型都使用相同的优化参数(学习率、权重衰减和标签平滑)进行训练,以确保公平比较架构贡献。与实验1A不同,去除了丘脑特定的正则化项(方程17)。模型要么使用标准的交叉熵损失(方程15)进行训练,要么使用额外的S和HL正则化(方程16)进行训练,从而允许在不受约束和受控机制下比较架构。在各种配置中,正则化项一致地塑造了表征指标S和HL(图4A)。使用扩展损失训练的模型在S和HL上收敛到相似的范围,表明这些量主要由优化约束而不是架构本身控制。然而,尽管在表征空间上有这种收敛,但只有丘脑-皮层模型将这种机制转化为准确性的系统改进。基线模型、简单跳跃模型和SE模型达到了相似的S–HL值,但没有达到相同的性能。这种分离表明,仅正则化是不够的:优势来自于丘脑架构在这种受控机制下的运作方式。图4模型架构和表征机制的受控比较。(A)模型之间的测试准确性(A1)、方向不变性(S;A2)和增益线性(HL;A3)的分布。正则化使所有模型趋向于相似的S和HL值,表明损失的控制,但只有丘脑-皮层模型达到了最高的准确性(黑色三角形)(Dunn事后检验的p值在补充表3-5中)。(B)限于匹配的S–HL区域的准确性比较显示,丘脑模型始终优于皮层基线(B1)、简单跳跃(B2)和SE(B3)模型(p值所示),表明性能差异不能仅通过表征机制来解释。(C1–C3)在限制后模型在S–HL空间中的重叠。点代表单独的运行,阴影区域表示其密度。基线和跳跃模型与丘脑模型重叠,而SE模型占据了一个不同的区域,表明丘脑优势来自于架构在共享机制下的运作方式。为了直接测试性能差异是否可以通过表征机制来解释,我们首先将分析限制在特定S和HL范围内的运行上,从而定义了S–HL空间的一个受控区域(图4B)。这确保了所有模型都在相似的表征条件下进行评估。在这个受限子集中,带有正则化的丘脑模型始终优于基线模型、简单跳跃模型和也包含正则化的SE模型。接下来,我们检查了由这种限制定义的S–HL空间,以验证模型是否在共享机制下运作。如图4C所示,这种程序定义了模型之间的重叠区域。特别是,仅皮层模型和丘脑模型以及简单跳跃模型和丘脑模型在受限的S–HL空间内有明显重叠,确认这些比较是在匹配条件下进行的。相比之下,丘脑模型和SE模型占据了大不相同的区域,表明它们在不同的有效机制下运作。这种分离表明,性能差异不能仅通过表征几何来解释,而是反映了每种架构在这些机制内的运作方式。这些结果共同表明,受丘脑核启发的路径实现了一种特定的计算机制,这种机制不能简化为优化、通用注意力或添加并行路径,而是反映了长距离路由和增益调节的独特形式。3.2 阈值附近的对比度检测范式尽管CIFAR-10分类实验仅显示出皮层模型和皮层-丘脑核模型之间的准确性差异不大,但类似丘脑核的调节机制对增益控制和表征稳定性产生了显著影响(图3,表4)。为了探究这些效应在感官不确定性下的功能后果,我们在阈值附近的对比度检测范式中评估了相同的丘脑核-皮层架构。重要的是,这个实验遵循了实验1B中引入的控制方案:模型在相同的优化条件下进行训练,并且没有使用特定于丘脑核的正则化项(λG、λα、G*),从而隔离了丘脑束通路的内在贡献(表1)。这确保了观察到的任何效应都不能归因于训练限制,而是反映了架构特性。任务要求检测嵌入在噪声背景中的微弱圆形目标,同时系统地改变目标对比度、目标大小和背景噪声幅度。这种范式使我们能够评估受丘脑核启发的调节机制如何影响对微弱视觉信号的敏感性以及信号与噪声之间的平衡——这些效应仅通过标准分类准确性是无法推断出来的。3.2.1 对比度和感知检测的响应在两种网络架构中评估了感知检测性能:一种是仅由卷积神经网络(CNN)组成的皮层模型,另一种是结合了跳跃连接的丘脑核-皮层模型,以模拟丘脑-皮层交互作用。模型响应在四种代表性刺激条件下进行了分析,这些条件由刺激大小(半径R)和背景噪声水平(BG)定义:低噪声(BG = 0.25)下的小(R = 3)或大(R = 13)刺激,以及高噪声(BG = 2.5)下的小或大刺激。对于每种条件,都显示了心理测量检测曲线、敏感性分布(d′)和完整的混淆矩阵,以保持感知决策结果的结构。在低背景噪声(BG = 0.25)下,小和大刺激都表现出接近机会水平的性能(图5A,5B)。两种架构的心理测量曲线都很平缓,且在不同对比度水平上大致相同,总体准确率接近55-59%。尽管丘脑核-皮层模型的心理测量曲线相对于皮层模型略有上升,但d′值变化很大且网络间重叠较多。混淆矩阵显示结果有轻微的重新分布,通常是命中率略有增加,同时误报率也相应增加,但没有一致的可区分性提升。图5 在不同刺激条件下的阈值附近对比度检测性能。行对应于由背景噪声幅度(BG)和目标半径(R)定义的四种代表性刺激配置:(A) BG = 0.25, R = 3;(B) BG = 0.25, R = 13;(C) BG = 2.5, R = 3;以及(D) BG = 2.5, R = 13。左侧面板显示了仅皮层模型和增强丘脑核模型的心理测量曲线(命中率作为对比度的函数,平均值±标准误)。中间面板显示了相同条件下模型实例的敏感性分布(d′),每个点代表一次运行。右侧面板显示了混淆矩阵的结果比例(真正例、假负例、假正例和真负例),图例中指出了总体准确率。星号表示架构之间的统计显著差异(** p < 0.01)。相比之下,在高背景噪声(BG = 2.5)下,两种架构的检测性能都有显著提高(图5C,D)。对于小半径刺激(R = 3),心理测量曲线很高且几乎饱和,两种模型的准确率相似(约87-88%)。敏感性(d′)分布大致重叠,混淆矩阵显示真正例和真负例的平衡增加,表明检测能力得到增强,而没有明显的架构优势。在高噪声、大半径条件下(BG = 2.5, R = 13),出现了一种不同的模式。在这里,丘脑核-皮层模型的敏感性(d′)相对于仅皮层模型显著增加(图5D,中间面板),尽管总体准确率仅有轻微差异(87.4% vs. 86.0%)。重要的是,混淆矩阵显示这种d′的增加伴随着决策结果的系统性重新分布:丘脑核-皮层网络的命中率增加,误报率减少,假负例也减少。这种模式表明可区分性的提高不能仅仅归因于决策标准的宽松变化。综合这些结果表明,类似丘脑核的交互作用并不均匀地提高所有刺激条件下的感知敏感性。在大多数情况下,丘脑核-皮层模型主要引起检测结果分布的噪声依赖性变化,这与决策标准的调节一致。然而,在高感官不确定性和强烈空间整合需求(大R,高BG)的条件下,类似丘脑核的连接性也可以支持感知敏感性的真正提高,这体现在d′的提升上。这表明丘脑核的贡献是有条件的,并且在需要全局刺激整合来稳定噪声下的感知决策时最为明显。3.2.2 网络对层的响应我们检查了在相同刺激大小(R)和背景噪声(BG)条件下,网络各层中的刺激诱发活动,以识别与检测结果相关的内部活动模式。通过计算命中和未命中试验之间的单元激活差异(Δactivation = Hit – Miss)来比较仅皮层模型和丘脑核-皮层模型在三个相应层(V1、V4和PFC)中的活动。正Δactivation表示命中试验中的活动比未命中试验更强,而负Δactivation表示相反的情况。低背景噪声(BG = 0.25)。对于两种刺激大小(R = 3和R = 13),V1和V4在两种模型中都显示出正的Hit-Miss分离,其中V1的Δactivation较小,V4的Δactivation较大(图6A,B)。两种架构之间的主要差异出现在PFC层。在仅皮层模型中,PFC激活强烈为负,且重要的是,对于命中比未命中更为负,产生较大的负Δactivation(图6A,B,皮层PFC)。相比之下,在丘脑核-皮层模型中,PFC激活对于命中为正,对于未命中接近基线,产生较大的正Δactivation(图6A,B,丘脑核PFC)。因此,在低噪声条件下,类似丘脑核的跳跃连接引起了PFC决策相关活动的定性反转,从皮层模型中的强烈负相关信号转变为丘脑核-皮层模型中的强烈正相关信号。图6 在不同刺激条件下,皮层和增强丘脑核网络中的层特异性决策相关活动。显示了V1、V4和类似PFC层在命中和未命中试验中的平均激活值及其差异(Δactivation = Hit – Miss),以及四种背景噪声(BG)和目标半径(R)组合:(A) BG = 0.25, R = 3;(B) BG = 0.25, R = 13;(C) BG = 2.5, R = 3;以及(D) BG = 2.5, R = 13。早期(V1)和中间(V4)层在两种架构中显示出相对较小且相似的Hit-Miss分离。相比之下,晚期PFC层表现出依赖于架构的效应:增强丘脑核的网络显示出正的命中选择性活动,而仅皮层网络显示出弱或相反的决策相关响应。这些结果表明,类似丘脑核的调节主要重塑了后期决策表征,而不是早期感官处理。高背景噪声(BG = 2.5)。在高噪声下,V1和V4的命中和未命中激活在两种架构中几乎重叠,导致这些层的Δactivation值接近零(图6C,D)。同样,主要模型依赖的效应出现在PFC中。在仅皮层模型中,PFC对于命中和未命中都保持负激活,Δactivation很小(对于R = 3接近零,对于R = 13略微正;图6C,D,皮层PFC)。相比之下,丘脑核-皮层模型对于命中显示出正的PFC激活,对于未命中显示出较低的(接近基线的)激活,从而在两种刺激大小下产生较大的正Δactivation(图6C,D,丘脑核PFC)。总之,在各种条件下,V1和V4显示出适度或最小的Hit-Miss分离,并且在两种架构中相似,而PFC表现出最大的差异。丘脑核-皮层模型产生了正的、选择性命中PFC活动,而仅皮层模型主要显示出负的或差异较小的响应。这些结果共同表明,类似丘脑核的输入主要重塑了后期决策相关表征,使PFC倾向于稳定的、决策一致的活动状态,并调节决策标准而不是感官敏感性。3.2.3 网络对对比度和感知检测的全球响应为了表征观察到的行为差异如何依赖于刺激条件,我们检查了在整个刺激大小(R)和背景噪声(BG)范围内的网络响应。对于每种参数组合,我们计算了总结混淆矩阵变量和信号检测指标的矩阵。尽管在各种条件下,仅皮层模型和丘脑核-皮层网络之间的总体准确率大致相当,但仅准确率对反映决策标准变化的决策结果重新分布不敏感。因此,我们将分析重点放在误报率(FA)和敏感性(d′)上,它们分别指标决策偏差和信号-噪声可分离性。为了简化展示并突出最具信息量的效应,这里仅报告FA和d′的矩阵。所有混淆矩阵组件的完整结果,包括准确率、真正例、假负例和真负例,在补充材料中提供。为了便于解释,刺激条件被分为四个由BG和R定义的代表性象限:Q1,低背景噪声和小刺激;Q2,高背景噪声和小刺激;Q3,低背景噪声和大刺激;以及Q4,高背景噪声和大刺激。在本节中,Δ表示每种刺激条件下的架构对差异(丘脑核-皮层减去仅皮层),在统计测试之前计算。在不同刺激条件下,增强丘脑核的网络并没有表现出感知敏感性或总体准确性的统一提高,如d′所示(图7A)。相反,它们最显著的效果是在低信号条件下误报率的系统性增加(图7B)。这种效应在Q1中最明显,对应于低背景噪声下的小刺激,这是一个阈值附近的区域,在该区域内物体检测本质上很困难,感官证据较弱。图7 类似丘脑核的调节对敏感性和决策偏差的全球刺激依赖性效应。(A) 敏感性(d′)的热图,横跨由目标半径(R)和背景噪声幅度(BG)定义的刺激网格,对于仅皮层(左),丘脑核-皮层(中),以及它们的差异(Δ = 丘脑核 – 皮层;右)。敏感性主要随刺激条件变化,类似丘脑核的连接性具有有限的全局优势。(B) 相应的误报率(FA)热图,显示在低信号条件下丘脑核-皮层模型中的选择性增加。(C) FA的汇总统计:高FA刺激细胞的比例(z > 1)和平均值FA,在全球范围内和阈值附近象限(Q1:低BG,小R)内计算。类似丘脑核的调节显著增加了Q1中的误报率,这与决策标准的宽松变化一致。(D) 假负例(FN)的汇总统计,显示丘脑核-皮层模型中的FN计数增加,特别是在Q1中。(p < 0.1;*p < 0.05;***p < 0.001)。为了定量比较不同条件下的网络,我们确定了FA值超过全局平均值一个标准差(z-score > 1)的刺激配置。根据这一标准,丘脑核-皮层模型在全球范围内表现出更高比例的高FA案例(仅皮层:16.7%;丘脑核-皮层:21.1%;图7C)。这种差异在Q1中尤为明显,其中高FA案例在丘脑核-皮层网络中更为频繁(仅皮层:45.8%;丘脑核-皮层:62.5%;图7C)。与此模式一致的是,跨所有刺激条件的响应汇总显示了类似丘脑核的模型中决策结果的适度但显著的重新分布。这种全球效应表现为命中率和感知敏感性的降低以及假负例的增加(TP:Δ = ?59.6,p < 0.001;H/d′:Δ = ?0.024,p < 0.001;FN:Δ = + 59.6,p < 0.001;图7D,补充表1),而误报率和假正例率在全球范围内没有增加。因此,当跨刺激条件平均时,类似丘脑核的连接性改变了响应的整体平衡,但没有引起无差别的或独立于刺激的检测。至关重要的是,这种全局平均掩盖了强烈的条件依赖性效应。在第一季度(Q1),丘脑-皮层网络表现出错误警报和假阳性(FA)的选择性增加(FA:Δ = +0.094,p = 0.026;FP:Δ = +235,p = 0.026;图7C),但没有相应的命中率或敏感性的提高。这种模式与在弱感官证据下决策标准的局部宽松化转变一致,而不是感知辨别能力的提高。重要的是,错误警报的增加伴随着假阴性(仅皮层:8.9% 对比 丘脑-皮层:12.2%;Δ = +78.7,p = 0.05;图7D,补充表1)的增加,而真正阳性的数量并没有不成比例地增加,在某些条件下甚至在仅皮层模型中更高。相比之下,在第三季度(Q3)(大刺激在低背景噪声下),主要效应是假阴性的显著增加以及命中率和敏感性的降低(FN:Δ = +169,p < 0.001;补充表1),表明在需要大规模空间整合时辨别能力受损。在较高背景噪声条件下(Q2和Q4),不同架构之间的差异很小,Q4显示出假阴性的增加(Δ = +73,p < 0.001;补充表1),这与在高噪声下的保守反应一致。总的来说,这些结果表明,类似丘脑的连接不会引起与刺激无关的错误感知。相反,它通过以刺激依赖的方式调整决策标准来调节信号和噪声之间的平衡,在接近阈值的条件下产生错误警报的局部增加,同时在需要高度感知整合的条件下重塑命中-未命中平衡。
3.2.4 网络的全局响应作为层的函数
我们通过分析对相同视觉输入的层特异性响应来研究活动如何在网络层之间传播,同时改变目标R和BG。如3.2.2节所述,对于每个层,使用Δ激活来量化早期(V1)、中间(V4)和晚期(PFC)层的刺激诱发响应,无论是仅皮层还是皮层-丘脑架构。在不同条件下,V1和V4的Δ激活在两种架构之间相似,仅受到刺激大小或噪声的适度调节,且没有一致的符号差异(补充图1)。相比之下,PFC中出现了显著差异(图8)。在仅皮层网络中,PFC活动在所有条件下主要是负的,导致弱或倒置的命中-未命中分离,这在很大程度上不受R和BG的影响。相比之下,皮层-丘脑网络始终产生正的PFC响应,其Δ激活值在较大目标和低背景噪声下最强,并且随着刺激不确定性的增加而逐渐减小。
图8 两种网络的PFC全局激活作为目标半径(R)和背景噪声(BG)的函数。每个单元代表命中和未命中响应之间的差异(Δ激活)。左:仅皮层模型。中:丘脑-皮层模型。右:配对差异(丘脑-皮层)。类似丘脑的调节在所有条件下产生正的命中活动。
总的来说,这些结果表明,类似丘脑的连接不会引起与刺激无关的错误感知。相反,它通过以刺激依赖的方式调整决策标准来调节信号和噪声之间的平衡,在接近阈值的条件下产生错误警报的局部增加,同时在需要高度感知整合的条件下重塑命中-未命中平衡。
4 讨论
本研究探讨了将一个最小化的、受生物学启发的类似丘脑的通路嵌入到分层卷积视觉模型中的计算后果。我们引入了一个长距离的丘脑间跳跃连接,该连接将早期视觉特征图通过一个轻量级投影模块传递到后期与决策相关的层,其影响由增益控制的门控机制动态调节。这种设计将长距离信息路由与局部前馈处理分离,捕捉了丘脑在丘脑-皮层回路中的核心功能特征:调节皮层相互作用而不直接编码感官内容(Sherman和Guillery,2011;Saalmann等人,2012;Cortes等人,2021)。
使用这种架构,我们评估了两种互补的计算机制。在标准对象分类任务(CIFAR-10)中,我们评估了类似丘脑的调节如何重塑内部表示,超出了其对分类准确性的影响。在受控噪声下的接近阈值对比检测范式中,我们研究了相同的丘脑间通路在感官证据薄弱和不确定时如何影响感知决策。在这两项任务中,出现了一致的模式:类似丘脑的连接对其增益调节和决策标准的影响最大,而不是对原始敏感性或准确性的影响。这些效应出现在感官编码之后,在证据权重和决策形成的层面(Summerfield和Tsetsos,2015;Heekeren等人,2008)。
尽管增强丘脑的网络在分类性能上只有适度的改进,但它引起了对比度依赖的响应缩放和表示稳定性的重大和系统性的变化。在接近阈值检测任务中,类似丘脑的调节主要以刺激依赖的方式重新分配决策结果,这与决策标准的转变一致,而真正的敏感性(d′)的增加仅在结合高不确定性和强烈空间整合需求的限制条件下出现。这些发现支持了丘脑作为调节感官证据如何被加权并转化为决策的调节器的观点,而不是作为感官编码或感知敏感性的直接增强器(Feldman和Friston,2010;Heekeren等人,2008)。
虽然所提出的类似丘脑的通路与注意力机制(如挤压-兴奋机制,Hu等人,2018)有表面上的相似性,但其计算作用本质上是不同的。标准的注意力模块通常在给定层内重新加权特征通道以增强与任务相关的表示(Vaswani等人,2017)。相比之下,当前架构调节早期和晚期处理阶段之间固定长距离通信通路的有效强度,基于早期活动的压缩摘要。这种机制不是执行特征选择,而是调节增益、稳定性和早期感官表示对下游决策过程的影响。这种区别突出了类似丘脑的通路作为生物学上基于路由和增益控制的机制的作用,而不是传统的注意力模块。
在接下来的部分中,我们首先将网络架构与已知的皮层-丘脑回路的解剖和功能属性联系起来,然后研究这种设计产生的特定于任务的计算效应。
4.1 网络架构中的解剖和功能考虑
类似丘脑的架构包含一个长距离的跳跃连接,其中较高的皮层层提供动态的门控信号,调节丘脑对皮层的反馈。尽管在标准的人工网络中不常见,但这种双向和不对称的相互作用在丘脑-皮层解剖学中有很好的基础(de Souza等人,2021;Abbas Farishta和Casanova,2020;Cortes等人,2021;Miller-Hansen和Sherman,2022)。皮层-丘脑投影沿着皮层层次系统地变化:较低的视觉区域主要提供驱动器样的输入,而较高阶的皮层区域发送更多的调节性投影。这种组织支持了一种功能区分,即丘脑整合前馈感官信号,同时接收来自较高皮层区域的上下文和调节性输入。
当前模型在抽象层面上捕捉了这一原则,允许高层活动调节丘脑间反馈的强度,而不显式建模驱动器和调节器突触的全部多样性。虽然简化了,但这个框架隔离了分层皮层-丘脑相互作用的计算后果。未来的扩展可以结合多种投影类别和层特异性动态,以更准确地反映已知的海马-丘脑解剖和生理属性(Saalmann等人,2012;de Souza等人,2021)。
4.2 类似丘脑的调节对视觉辨别的影响
在各种评估指标中,联合优化的皮层-丘脑模型表现出比仅皮层基线更平衡的表示特征。虽然准确性的提高是适度的并且依赖于刺激大小,但最强的效应出现在内部表示几何层面。类似丘脑的连接增加了对比度不变性,表明特征向量的方向在刺激强度变化时得以保持(图3B)。这反映了表示几何的稳定,其中对比度调节激活幅度而不破坏用于下游读取的结构(DiCarlo等人,2012)。补充这一效应的是,类似丘脑的调节引起了对比度依赖的增益的定性变化,通过对比度-线性指标(HL)来捕捉(图3C)。相比之下,仅皮层网络表现出压缩机制,限制了动态范围,而增强丘脑的模型恢复了对比度和特征范数之间的更线性关系。这种受控的重新缩放与生理证据一致,即丘脑输入调节视觉皮层中的对比度增益(de Souza等人,2020)。
这些结果表明,类似丘脑的调节通过稳定几何形状来重塑皮层表示,同时调节增益。与其通过更敏锐的选择性来增强辨别能力不同,类似丘脑的通路保持了可扩展和可解释的表示,这与分层系统中丘脑间增益控制和受控信号传播的理论解释一致(Cortes和Vreeswijk,2012,2015)。
4.3 控制分析和机制解释
为了确保这些效应不能归因于通用的架构特征或优化约束,我们将丘脑模型与包括挤压-兴奋(SE)模块和简单跳跃连接在内的控制架构进行了比较(图4)。尽管所有模型都在相同的条件下进行训练并收敛到相似的S和HL值,但只有丘脑-皮层架构将这种机制转化为性能的提升。将分析限制在S-HL空间的匹配区域,确认了这种优势在相似的表示条件下仍然存在。基线和简单跳跃模型在这个空间内与丘脑模型重叠,但未能达到类似的准确性,而SE模型占据了不同的区域。
这些结果表明,观察到的效应不能通过类似注意力的机制、添加并行通路或单独的优化来解释,而是反映了长距离路由和增益调节之间的特定相互作用。在这个框架中,丘脑主要不决定表示什么,而是决定如何使用表示来指导下游处理。这种解释产生了可测试的预测:丘脑的扰动应该主要影响增益调节和决策标准,对早期感官编码的影响最小,并且在不确定性或需要空间整合的条件下效果最强。这种观点与最近的证据一致,即与意识感知相关的神经特征与后期、任务依赖的活动更为相关(Ferrante等人,2025),表明类似丘脑的调节有助于感官表示在行为上变得有效。
4.4 类似丘脑的调节对接近阈值对比检测范式的影响
接近阈值对比检测任务探讨了在高感官不确定性下类似丘脑的调节效果,同时最小化对复杂特征提取的需求。与此目标一致,类似丘脑的连接并没有在准确性或敏感性上产生均匀的改进。相反,其效果在决策统计层面最为明显。这种简化的刺激机制是有意选择的,以在受控条件下隔离丘脑间通路的计算作用。通过最小化高级特征复杂性,该范式允许解释增益调节、表示稳定性和决策标准的变化,而不受复杂对象结构或任务依赖策略的干扰。未来的工作将需要确定类似的类似丘脑的控制在更自然的视觉环境或需要在表示之间灵活切换的任务中是否也起作用。值得注意的是,在研究内侧背侧(MD)丘脑时也使用了类似的策略,其中采用了简化的任务结构来揭示丘脑-皮层相互作用如何支持皮层表示的灵活路由和重用(Rikhye等人,2018)。
在大多数刺激配置中,类似丘脑的调节重新分配了检测结果,而不是增加敏感性(d′)(图5,6)。在低信号条件下,丘脑-皮层模型显示错误警报和假阴性的增加,而没有相应地提高命中率,这与决策标准的宽松化转变一致(图6B,C)。这种检测结果的重新分配没有均匀的敏感性增益,是接近阈值感知决策的标志,在这种情况下,内部决策标准和证据积累动态主导了性能(van Vugt等人,2018)。这些效应是刺激依赖的,并且仅限于本质上困难的情境,排除了无差别的错误检测(Summerfield和Tsetsos,2015)。
当高背景噪声与大刺激大小结合时,出现了一个不同的机制,其中类似丘脑的连接支持了真实敏感性的增加(补充图1和补充表2)。这些条件对空间整合提出了强烈要求,表明当需要全局证据积累时,丘脑调节可以增强辨别能力(Gold,2007)。在这个机制之外,丘脑的贡献主要表现为标准的变化。这种刺激依赖的模式表明,类似丘脑的调节并不对感知决策产生统一的影响,而是根据感官不确定性的结构激活不同的计算机制。当背景噪声高且目标大小大时,观察到的敏感性(d′)的提高可能反映了跨空间分布的输入整合能力的增强。在生物系统中,丘脑被认为通过同步活动促进皮层区域之间的协调,从而增强了分布式证据的整合(Saalmann等人,2012;Cortes等人,2020;Fiebelkorn等人,2019)。在这种情况下,d′的增加可能对应于一种网络层面的机制,该机制促进了弱但空间扩展信号的连贯整合。相比之下,在信号较弱且目标较小的情况下,类似丘脑核的调制主要导致决策标准的改变,而不会显著改变敏感性。这种模式与在不确定性下对决策阈值的更全局调节一致,即系统调整证据的权重,而不是提高感觉表征的准确性(Summerfield和Tsetsos,2015;Feldman和Friston,2010)。这种行为与将丘脑核视为精确控制结构的理论解释相符,该结构调节感觉输入对下游决策过程的有效影响(Kanai等人,2015;Cortes等人,2024,2026)。在网络层面,这些行为效应通过后期活动的选择性变化得到了体现。虽然早期和中间层在不同架构中显示出相似的命中-未命中分离,但最一致的差异出现在类似前额叶皮层(PFC)的层中。类似丘脑核的调制使后期活动偏向于积极的、与决策一致的状态,这与前额叶皮层在编码决策变量而非感觉表征中的作用一致(Heekeren等人,2008)。
4.5 类似丘脑核的调制调节精确度和决策阈值
当代理论提出,丘脑核在调节皮层激活中起着关键作用——即从局部感觉处理向分布式、与决策相关的皮层状态的转变(Dehaene和Changeux,2011;Cortes等人,2024,2026)。这里的“激活”是指决策相关皮层状态的稳定化和大规模招募,而不是主观意识。在这些框架中,激活不仅取决于证据的强度,还取决于这些证据是否被赋予足够的精确度以启动大规模的皮层协调,这与预测处理理论一致(Feldman和Friston,2010;Kanai等人,2015;Casanova和Chalupa,2023)。重要的是,最近的大规模对抗性意识理论测试表明,与意识访问相关的前额叶特征主要反映了后期的、任务依赖的决策状态,而不是增强的感觉编码本身(Ferrante等人,2025)。
根据这一观点,类似丘脑核的连接性选择性地重塑了后期皮层表征,使PFC活动偏向于与决策一致的状态,并在不确定性下改变了内部决策标准。这些效应在感知阈值附近最为明显,在该阈值处,推理主要由精确度估计主导,而不是刺激强度。从机制角度来看,这种模式支持将丘脑核解释为一种精确度门控结构,它通过调节弱或模糊证据何时参与后期皮层动态来间接促进激活(Cortes等人,2024,2026)。重要的是,这种双重角色——精确度调节和激活促进——并不要求丘脑核明确编码刺激内容。相反,它将丘脑核定位为一种控制结构,通过调节分布式皮层组装何时以及如何被招募来稳定皮层动态。将这些原则转化为计算架构表明,受丘脑核启发的路径应该在不同层次之间进行门控、稳定和上下文调节交互,而不仅仅是简化层次化处理(Cortes和Vreeswijk,2012,2015)。本研究对此观点提供了明确的测试。
最近关于HO核(特别是MD丘脑)的实验和计算研究表明,丘脑-皮层回路在认知任务中调节皮层增益、集合动态和表征的灵活路由(Schmitt等人,2017;Rikhye等人,2018;Mukherjee等人,2021;Wang B. A.等人,2025;Zheng等人,2024)。尽管这些研究主要关注MD-前额叶回路,但它们支持一个更广泛的观点,即高级丘脑通路调节有效连接性和皮层表征的稳定性。在视觉系统中,丘脑核占据类似的解剖位置,与视觉皮层区域形成广泛的跨丘脑回路。因此,在当前模型中观察到的计算效应(即对比度依赖的增益调节、表征几何的稳定化和在不确定性下对决策标准的调节)可能代表了类似的丘脑-皮层控制原理在视觉系统中的实例化。
除了这些特定效应之外,当前结果可以放在一个更广泛的理论框架内,其中HO核作为皮层计算的控制结构。最近的研究强调,丘脑-皮层回路不仅参与信息路由,还参与信息的压缩、规范化和不确定性依赖的调制(Scott等人,2024;Wang M. B.等人,2025)。从这个角度来看,这里实现的类似丘脑核的通路可以解释为这些原理的具体架构实例:它通过活动的压缩总结和层间交互的动态调节来调节早期感觉表征对下游处理的影响。这将丘脑核定位为一种调节器,而不是前馈中继或特征选择器,而是调节有效连接性,塑造信息在不确定性下如何被整合、稳定和用于决策。与显示HO回路可能作为协调感知和认知领域皮层活动的整合枢纽的工作一致(例如,Halassa和Kastner,2017;Shine,2020),这些结果提出了类似计算模式可能在感觉和认知领域中普遍存在的可能性。
5 结论
总体而言,这些结果支持将丘脑核视为在不确定性下调节决策标准和精确度的结构,而不是感觉信号的直接放大器。类似丘脑核的调制塑造了证据在下游的积累和解释方式,使后期表征偏向于稳定的决策状态,并且仅在需要全局整合时选择性地增强敏感性。重要的是,我们的结果进一步表明,这些效应源于一种核心的跨丘脑机制,即长距离路由和增益调节,其功能表达取决于网络所处的操作模式。这种模式可能受到任务需求和训练约束的影响。这种区分与生物系统相似,在生物系统中,神经调节约束塑造了电路动态,而不改变潜在的连接性。这一观点为在计算和神经生理学研究中观察到的丘脑核效应的上下文依赖性提供了原则性解释。