基于海上多目标检测与跟踪轨迹的联动调整图像稳定方法 刘芳健、 李媛、 王咪

《Applied Sciences》：Joint Adjustment Image Stabilization Method Based on Trajectories of Maritime Multi-Target Detection and Tracking Fangjian Liu, Yuan Li and Mi Wang

　　**摘要**
当前计算机视觉中的几个知名模型都采用了马尔可夫随机场（Markov Random Fields, MRF）的形式。这类模型本质上是一个由软约束（即势函数，potentials）构成的网络，这也是本研究的主题。首先，本文识别了任何计算机视觉推理任务中涉及的三种信息类型：证据信息（evidence）、目标信息（target）和原则性信息（principled information），并讨论了在这种背景下变量的概念。接着，阐述了势函数的一般含义，即一种旨在促进特定期望条件的局部软约束。随后，指出了势函数的形式结构，包括一组参数和一个分析框架（analytic frame），该框架通过一系列操作层叠来计算势函数的值。文章还考虑了分析框架中可能存在的核心（core）成分，并通过文献中的例子区分并说明了两种典型的核心类型：一种涉及距离函数，另一种由概率条件语句表示。总之，本文突出了计算机视觉中马尔可夫随机场模型中势函数的语义和语法方面的关键特征，并构建了一个可以一致组织和解释这些特征的框架。

**1. 引言**
自20世纪80年代中期以来，马尔可夫随机场（MRF）作为一种概率图模型，在与计算机视觉（CV）相关的研究和应用中占据了重要地位。所谓的“势函数”是这些模型的基本构建单元。更准确地说，MRF的概率核心是一个复合随机变量上的分布，通常由下式定义：
\[P(x|Y) = \sum_{y \in Y} P(x|y, Y)\]
其中 \(P(x|y, Y)\) 是作用于变量 \(x\) 的某个子集合 \(Y\) 上的函数，\(K\) 是一个归一化常数。这些函数被称为势函数，它们的总和称为能量函数（energy function），由此定义的分布被称为吉布斯分布（Gibbs distribution，参考文献[1]第2节）。方程式（1）表明，势函数的选择是构建MRF概率框架中最关键的步骤。一旦确定了势函数，相应的能量函数和吉布斯分布就按照固定方案确定下来。
MRF中各个势函数与能量函数或吉布斯分布之间的关系，类似于构成复杂句子的各个从句与句子本身之间的关系。实际上，势函数可以被视为一种“语言”，通过这种语言，MRF模型的设计者表达约束、假设或期望，从而指导计算机视觉及其他领域的推理任务。这种语言具有灵活性：势函数的数量、结构和含义会根据应用模型的推理任务而变化。此外，这种语言是不断发展变化的——这一点在比较早期基于“先验”和“似然”势函数的MRF模型与现代CV模型中多样化的势函数时尤为明显（参见贝叶斯统计推断中的两个标准术语，参考文献[2]）。正是CV中丰富的势函数谱系激发了我对本研究的兴趣。我的目标是通过区分和讨论该领域势函数的典型组成部分、它们可能采取的形式以及它们之间的相互关系和合理性，来明确这种语言的隐含逻辑。
从广义上讲，本研究的目的类似于对语言的分析：通过考察CV文献中的势函数，我们可以阐明与其含义（语义学）相关的类别和基本原则、它们的表达形式（语法学），以及这两者之间的关系。此外，我们还可以探讨其实用性和创造性方面，即CV中MRF设计者如何基于何种论据选择和论证他们的模型所使用的势函数。因此，本研究的数据就是构成CV MRF模型的那些势函数，正如语言研究的数据是使用该语言的人们的言语一样。为了说明或论证我的观点，我需要参考那些包含合适特征的CV文献。这使得本文兼具理论和综述的性质：它在定义的概念和讨论的深远影响上具有理论性，在引用CV文献方面具有综述性。

**2. 推理任务中的信息类型与变量**
在本节中，我们为讨论CV中作为推理任务局部因素的势函数定义了整体背景。首先区分了此类任务中涉及的主要信息类型，然后介绍了变量的概念及其在推理任务中的表达形式。
**2.1. 证据信息、目标信息和原则性信息**
在CV中，MRF模型被构建并用于指导各种推理任务，如分割图像为前景和背景、恢复被噪声破坏的图像、识别图像中的对象类型、构建深度图、检测遮挡和透明效果、确定双目视觉中的立体匹配等。这意味着在MRF模型中至少涉及三种不同的信息：
- **证据信息**：作为推理过程输入的光学数据；
- **目标信息**：由推理过程产生的输出结果；
- **原则性信息**：指导该过程的一系列规则和内在约束。值得注意的是，由MRF指导的推理具有比较-选择性质，而非演绎或确定性的；这意味着在推理过程中，会对比不同目标信息的配置，以找到给定条件下的最优配置。这项特性对于理解MRF模型中势函数的形式至关重要。
在实践中，CV中的推理是在特定的真实场景中（通过适当的设备）进行的，该场景包含某种光学相关的现实。这种现实可能是一个静态图像、一对图像（如双目视觉），或一组/一系列图像（如多相机空间视觉或运动目标检测）。为简化起见，这里假设光学数据是一个静态图像（称为源图像），“视觉场景”（vision episode）指的是提供图像并执行推理的任何真实情况。
在MRF模型中，通常从源图像中提取两类证据信息：
- 一方面，图像被划分为连接的部分（或称为“粒子”），这些部分被表示为图的节点，图的邻接关系 \(E\) 表示图像中各部分之间的拓扑关联。这样选出的和记录的光学信息就是模型中接受的证据信息的拓扑部分。值得注意的是，有些特殊模型还会考虑图像的其他空间相关特征，如相邻部分中心的几何距离或边界线方向（例如参考文献[3]第1504页和[4]第109页）。
- 另一方面，为每个节点创建一个术语 \(t\)，记录标记为 \(s\) 的图像部分所具有的某些光学属性，这些属性被认为与当前的推理任务相关。这样构建的术语集合就是参与模型的证据信息的定量部分。我们将这样的术语称为位于位置 \(s\) 的证据变量的取值。现有模型在从源图像获取术语的方式上存在很大差异。在最简单的情况下，术语是通过应用某种基本的光学准则来指定的；例如，\(t\) 可能是标记为 \(s\) 的图像部分所具有的红色、绿色和蓝色成分的强度三元组。相反，\(t\) 也可能是通过复杂过程（可能通过机器学习）从图像中提取的特征向量。
图1的左上部分展示了一个被划分为方形粒子（像素）的图像，这些粒子被表示为底层图的节点，每个内部节点有四个邻居（4-邻域系统）。图1的右上部分展示了同一图像，但被划分为数量更少的、内部大致均匀的区域（超像素），这些区域被表示为底层平面图的节点。对于左图中的每个节点 \(s\)，相应的记录 \(r\) 可能是该像素的反射率测量值。类似地，对于右图中的每个节点 \(s\)，相应的记录 \(s\) 可能包含有关超像素的光度属性及其大小和形状的数据。
图1展示了图像被划分为像素（左图）或超像素（右图），以及相应的图，其中图的邻接关系表示图像中各个区域之间的拓扑关联。图和记录集合是图像中隐含的证据信息的两个基本组成部分。仅基于这些信息，还可以推导出其他度量，这些度量同样被归类为证据信息。例如，可以利用图构建距离函数 \(d\)，它将任意两个节点 \(i, j\) 之间的最短路径长度关联起来。函数 \(d\) 本身也被视为一种证据信息。同样，可以从数据集中通过数值计算得出各种度量，这些度量可能涉及一个或多个节点中的数据。
在本文中，“目标信息”指的是推理过程所指向的结果。在大多数MRF模型中，这第二类信息本身被形式化为与图中节点相关联的一组变量。这些目标变量不是支持推理过程的光学数据，而是需要通过过程求解的未知数。例如，如果推理任务涉及将图像组织成具有前景和背景的场景，那么任何变量都可以是一个取值范围内的二进制变量，其中两个可能的值分别表示由节点s标记的图像片段被分配到场景的前景或背景 ([7] p. 2411)。如果推理任务涉及将图像组织成包含透明度效果的场景，则任何变量都可以是一个三元组，其中前两个项是透明层的反射率和透射率，第三个项是底层背景的反射率。这三个度量与图中标记为节点s的图像块中的元素相对应 [8]。第三类称为原则性信息，它是一组规则或约束，这些规则或约束在推理过程中起作用，从而指导从证据到目标信息的转换。马尔可夫随机场（MRF）中的各个势函数、它们组成的能量函数、通过方程(1)由能量函数推导出的吉布斯分布，以及通过边际化或条件化从这个分布中可能得到的任何其他分布，都是这一类的组成部分。一旦MRF模型被完全指定，其中隐含的原则性信息本身就是固定的；也就是说，它不随应用于哪个视觉场景而变化。这与证据和目标信息不同，后者显然可能会根据所考虑的源图像而变化。

在前面小节的某些部分中，我们遇到了变量的概念。实际上，这是表达推理任务中的证据和目标信息的主要方式，也是定义和分析任何势函数所必需的。在这一小节中，我们将重点讨论这个概念，概述其一般特征以及它在本研究中的使用方式。变量是一个可以在不同时间点被观察到的实体，并且在这些时间点上可能取不同的值，尽管它仍然是“同一个”变量。这里，用大写字母Z表示一个变量，用小写字母z表示Z的一个可能的通用值，用符号Σ表示Z所有可能的值集合。这个集合也被称为Z的范围或空间。变量Z可以是一组更简单的变量，即对于任何x，都有Σ(x) = Σ(xi)；也就是说，复合变量的任何值都是组成变量的值的组合或“配置”。在这种情况下，通常假设Σ(x)是组成变量范围的笛卡尔积。大多数时候，更倾向于将这样的构造称为“一个变量”（单数），而不是一组变量；例如，上述提到的变量集合Σ(x)和Σ(y)可以分别称为MRF模型的总证据变量和总目标变量。变量的值通常是数字或数字的组合（数值向量）。然而，CV模型还包括具有其他类型可能值的变量，如颜色名称、对象类别的符号等。任何具有数值范围的变量都有明确的经验意义；例如，它可以表示源图像中一个粒子的光强度、候选3D场景中一个点的深度、此类场景中一个透明层的透射率等。此外，任何这样的变量在测量层次结构中都有明确的位置，这些层次结构由测量理论区分；变量可以是分类的、序数的、在区间尺度上、在比率尺度上等 [9]。另外，一个模型中可能包含两个在角色上不同但具有相同可能值范围和相同经验意义的变量。例如，一个变量可以记录源图像中一个粒子的光度特性，另一个变量可以指定如果由推理得到的3D场景具有一组特定特性，那么该粒子应该拥有的光度特性。这两个变量在模型中的作用不同，但它们共享相同的值集合和相同的经验意义，因此它们是可以合法比较的。它们被认为是维度同质的 [10] p. 1261。

关于变量的进一步区分在前一小节中已经提到。一方面，有证据变量和目标变量之间的区别，这标志着它们在推理中扮演的角色有本质的不同。在这里被称为证据变量的量在CV文献中也被称为“观测变量”或“测量值”，而“隐藏变量”和“解释”是目标变量的另一种说法 [11] p. 609; [12] p. 790。另一方面，MRF模型中的任何变量都具有一个明确的位置，即与该变量相关联的节点（或节点集）。具体来说，任何原始证据变量（即 familym 的任何成员）的位置都是节点s，而任何派生证据变量（即从X的某个子集派生出的任何量）的位置都是节点集。关于原始目标变量的位置也是如此，它们是 familym 的成员，以及从它们派生出的目标变量的位置也是如此。

本节介绍了一些关于任何势函数的角色和结构的元素。这些元素涉及我们主题的语义方面和句法方面。关于句法方面（结构）的更详细考虑将在下一节中呈现。3.1. 作为软约束的势函数

MRF中的任何势函数都是一个非负值的函数，作用于该领域中可用的一组变量。这里，这组变量被称为势函数的作用域，用Z表示，势函数本身用φ表示。因此，φ是一个函数f: Σ → ?，其中Σ是变量Z的范围。此外，势函数的位置是模型图中其作用域内的变量所在的节点集。例如，相对于图1的右侧部分，考虑变量集合Σ = {e1, e2, e3}，它由与节点s、t、u相关联的证据变量e1、e2、e3和与节点r、v、w相关联的目标变量t、v、w组成。一个作用域为Z的势函数将是定义在集合Σ上的非负值函数f: Σ → ?。它的位置将是图中节点集合{s, t, u, v, w}。

为了接受这样的函数f作为合法的势函数，还需要满足三个附加条件。第一个条件是它的位置必须是模型图中的一个团；也就是说，作用域Σ中的变量所在的节点在图中应该是相互相邻的。正如关于MRF的基本定理中所述 [13,14]，这个条件确保图中节点集合之间的分离真实地反映了由方程(1)定义的吉布斯分布下成立的条件随机独立性。第二个条件是作用域Σ应至少包含一个目标变量，尽管它可能不包含证据变量。这是因为任何势函数都作为一种软约束来克服关于目标变量的不确定性，这些目标变量是推理任务中需要解决的未知数。因此，不涉及任何目标变量的函数对推理来说是没有用的。第三个条件是函数f应该是不可加约的，也就是说，不存在两个函数f1和f2，使得变量x1和x2都是Σ的子集。这是因为MRF的本质是局部约束，这意味着应该优先选择作用域尽可能小的函数。事实上，如果允许可加约的势函数，那么MRF的整个能量函数就可以被归类为一个单一的总体势函数，这在实际应用中没有意义。（当然也有例外情况。例如，用于立体匹配的光照一致性势函数 [15] p. 152] 涉及左右图像中相应粒子的光学特征。这些特征是证据变量，因此第二个条件似乎被违反了。然而，即使这样的势函数也隐含了一些目标信息，即左右图像中粒子之间候选对应关系。）

势函数的作用域和位置为CV文献中使用的术语提供了基本标准。例如，一个作用域由位于同一节点s的证据变量e和目标变量t组成的势函数被称为“节点势函数”或“单项式”。相反，一个作用域由位于相邻节点r和s上的两个目标变量组成的势函数被称为“边势函数”或“成对项” [16] p. 822; [17] p. 1411]。更一般地，在适当的条件下，仅包含目标变量的势函数被称为“先验项”，而同时包含目标变量和证据变量的势函数被称为“似然项” [18] pp. 1481–1482。“高阶势函数”，即涉及多个变量（无论是证据变量还是目标变量）的势函数，有时也在文献中讨论 [19]; [20] pp. 1614–1615]。然而，出于上述原因，通常更倾向于“低阶势函数”，即只涉及少数拓扑相邻变量的函数。实际上，MRF的基本目的是用大量局部相互作用来解释复杂的过程，这些局部相互作用在计算上也更为简单。

除了作用域和位置之外，任何势函数还需要满足一个特定条件，这个条件奠定了势函数的含义并描述了它在模型中的角色。任何势函数都是作为一项软约束插入到MRF中的，它倾向于其作用域Σ中的某些配置（即范围[Σ]中的某些点），并反对其他配置。更准确地说，势函数是这样的构造：它在任何点x处取得的（非负）值x越大，该点偏离某个期望条件的程度就越大。这种含义通过用于表示任何值的“成本”或“惩罚”术语，以及用于描述势函数在推理过程中作用的“惩罚”或“抑制”动词来体现。此外，这种含义与方程(1)中势函数的代数角色一致。具体来说，方程表明势函数φ作为加数贡献于能量函数E，而能量函数E在生成吉布斯分布时带有负号。因此，任何可能的推理问题的解的概率（或可取性）随着它所暗示的能量E的减少而增加，也就是说，对于单个势函数的较小值，或者对于它们与相应期望条件的更好匹配。

关于MRF模型的文献中提到了各种期望条件，每个条件都有一个直观暗示其含义的名称。有些是一般性质的，出现在与不同推理任务相关的模型中，如平滑性、保真度和不连续性保持条件 [21] p. 1222; [22] p. 180; [23] p. 170。其他的则具有更专门的性质，仅出现在与特定推理任务相关的模型中。连通性、共线性、共面性、可积性、可见性和照片一致性属于这一类别（[15]第149页；[24]第838页；[25]第1416页）。关于可能导致所需条件的原因，有两种主要的解释，这两种解释都取决于以下一般观点：计算机视觉（CV）中的推理任务可以被解释为从二维光学图像重建三维环境场景的任务，其中输入信息（关于图像）是模型的图和证据变量家族，而输出信息（关于场景）是目标变量家族。从这个角度来看，我们可以参考真实环境场景中物体和表面通常具有的视觉属性（所谓的“自然场景的统计属性”：[26,27,28]），并将推断出的场景本身应具有这些普通属性设定为所需条件。这些将是仅涉及目标变量的潜在函数所需的条件。同样地，我们可以考虑在图像形成过程中（[29]第2章），图像中的属性与形成它的真实场景中的属性之间存在确定的关系，并将图像与从中推断出的假设场景之间的类似关系设定为所需条件。这些将是涉及证据变量（图像的属性）和目标变量（推断出场景的属性）的潜在函数所需的条件。例如，最简单的平滑性条件假设，如果 和 是具有相同含义的目标变量（例如，场景中两个表面块的纹理），并且它们位于图中相邻的节点r和s上（因此相应的块在场景中也是相邻的），那么对于 和 ，应偏好相等或非常相似的值。这一要求可以从生态学角度得到合理化，因为通常情况下，物体表面的相邻部分在纹理上是一致的。这样，平滑性条件就得到了上述两个论点中的第一个的支持。另一个例子是逼真性条件。它要求在推断场景时，即目标变量Y的配置时，我们应该确保如果将推断出的场景视为真实场景，那么它在假设的图像形成过程中所暗示的光度属性应与可用源图像实际具有的光度属性一致，即证据变量X中记录的属性。这一理由基于上述两个论点中的第二个。任何潜在函数作为一组变量上的实值函数，都可以进行简单的操作来突出其含义和作用方式。我举两个例子。第一个是提取潜在函数的零区域，即完全满足潜在函数所代表的所需条件的配置集合。例如，在构建一个促进平滑性的成对潜在函数时，其零区域可以固定为两个目标变量共享范围内的恒等关系集合。潜在函数的零区域相当于对范围变量的一种硬约束，并有助于突出整个潜在函数作为对该变量的软约束的含义。特别是对于任何点，该函数在其上取的值可以解释为点z与潜在函数零区域的距离。第二个例子是提取部分。具体来说，如果潜在函数的范围是由一个证据变量和一个目标变量组成的对，则可以单独提取出部分，这是定义在域上的非负值函数。它与任何相关联的值指定了在选择时偏离潜在函数所需条件的程度，当源图像中的光学证据由给出时。这种解释潜在函数的方式是所谓的“条件随机场（MRF）模型”的特征（[20]第1615-1616页）。注意，每个部分都赋予了一个特定的零区域，这是范围的一个子集，并与整个潜在函数的零区域的-部分相一致。这个零区域相当于对目标变量的条件硬约束。它是与光学证据结合后，完全满足潜在函数所需条件的所有可能配置的集合。

3.2. 潜在函数的框架和参数
任何潜在函数都是一个函数。到目前为止，我们将其讨论为一个集合论构造，即其范围中的点与非负实数射线中的点之间的一组对。然而，在描述MRF模型时，潜在函数实际上由一个操作表达式来表征，这个表达式可以是一个代数公式、一个算法或某种更复杂的计算结构，如神经网络。潜在函数的操作表达式对于了解其值的计算方式很重要，但该表达式还有其他意义。特别是，它可以揭示模型设计者是如何设计潜在函数的，以及它是如何根据其旨在促进的所需条件来 justify 的。此外，该表达式涉及到潜在函数的语法，因此构成了本研究的中心主题。本小节和接下来部分的讨论都是关于这方面的。当潜在函数的操作表达式可用时，其中可以区分两个主要方面。一方面，通过数学符号，表达式指定了计算潜在函数任何值所需执行的操作的层次结构或转换。这样的层次结构在这里被称为潜在函数的解析框架。另一方面，在表达式中可能出现一些既不是绝对常数（如三角学的或纳珀常数e）也不是所讨论的潜在函数中涉及的变量值的量。这些量被称为参数。符号抽象地表示潜在函数中所有参数的集合，符号用于表明作用在范围变量Z上的潜在函数也涉及一组参数。例如，以下公式是由[17]第1411页定义的成对潜在函数的操作表达式，在一个用于图像/背景分割的模型中：这里， 和 是二元目标变量，根据i索引的超像素是被分配到前景还是背景而有所不同； 和 是与这两个超像素相关联的特征向量，起着证据变量的作用； 和 是参数。该潜在函数被描述为“衡量相邻区域节点 和 应该如何在给定测量x的情况下相互作用”。在这个例子中，加法和乘法等算术运算、内积的代数运算、以及指数变换，在公式确定的特定层次结构中，组成了潜在函数的解析框架。列表 是其参数的集合。

涉及一组参数 的潜在函数可以被视为函数家族 的一个成员，其中 是向量 的可能配置集合。家族中的函数具有相同的解析框架，仅在分配给某些参数的值上有所不同。因此，家族 是一种潜在函数的类型，而其中的每个成员都是该类型的实例。在构建模型时，一旦决定在某个变量Z上放置某种类型的潜在函数，模型构建者就会从家族中正式提取一个成员。一般来说，这种提取相当于对参数 的统计估计。出现在潜在函数表达式中的参数是促进该潜在函数所属类型的灵活性和通用性的因素。实际上，通过保持表达式中的解析框架不变，并考虑模型要构建的总变量T的不同部分，可以在这些部分上定义不同的潜在函数，这些函数在位置上可能有所不同，在参数 的估计上也可能有所不同，但在类型上是等价的。实际上，这通常是在构建MRF模型时所做的，作为一组局部软约束的网络。构建通常以根据标准统计标准和方法估计（或经验学习）MRF模型中涉及的参数而结束（[30]第17章）。此外，潜在函数表达式中的解析框架和参数集之间存在一种对比和互补性：表达式中的参数越多越自由，相应的潜在函数类型就越灵活；而解析框架越强定义越明确，类型就越严格。这个原理可以通过以下论点来说明。假设在规划潜在函数时，定义了三个量U、V和W，这些量应该在计算潜在函数时遇到；也就是说，它们应该构成解析框架图中的三个节点（参见图2）。还假设W被认为在功能上依赖于U和V，因此对于此时尚未指定的函数f有。一种可能性是以原则性的方式指定函数f，即基于某种理论原则。例如，可以假设，或者，或者另一种形式。这样，潜在函数的解析框架就会得到加强。另一种可能性是通过对合适数据集进行统计估计来以经验性的方式构建函数f。这意味着对于任何，函数f应该与参数关联的值被视为一个参数本身，整个这样的独立参数系统是通过统计估计确定的。当然，这样潜在函数中的参数集合就会扩大，从而牺牲了解析框架。图2. 一个具有两个证据变量、两个目标变量、三个参数组件和五个内部项的潜在函数的流程图。符号与源论文([22]第187页)中使用的一致。这个论点暗示了潜在函数表达式中解析框架和参数集之间的一种平衡。在一个极端，存在无参数的潜在函数；也就是说，这些潜在函数的操作表达式是完全确定的解析框架，意味着它们在建模中没有剩余的灵活性。在另一个极端，存在完全参数化的潜在函数；也就是说，任何通过将值集视为独立参数数组并通过统计估计来确定的潜在函数。这些极端的潜在函数类型有时在CV文献中遇到（[8]第221页；[31]第6页）。

4. 潜在函数的语法视图
在前一小节中，已经介绍了潜在函数的参数和解析框架之间的区别。在本节中，重点将放在解析框架上，这是语法的基本方面。它也有助于理解潜在函数的起源和 justification，因为模型构建者在构建与所需条件相关的潜在函数时所做的选择都记录在其解析框架中。分析框架的形成与起源
一个潜在函数的分析框架是必须执行的一系列操作、转换或决策的层次结构或流程，这些操作、转换或决策用于在任何实际应用该潜在函数的情况下获得其值。无论潜在函数是以何种形式设计或呈现的（代数公式、流程图、算法代码、神经网络等），其分析框架本质上都是一种计算程序，包括输入、输出以及一些内部术语。输入包括潜在函数的证据变量集合、目标变量集合以及参数集合。输出是一个其值域为非负实数范围的变量。任何内部术语都是一个变量V，它依赖于在计算中位于其之前的某些其他变量，其中f是框架中明确指定的函数。对于任何内部术语V，通过回溯操作流程，我们可以发现唯一对其有贡献的原始术语都包含在输入集合中，此时V被称为证据术语。根据对称性，目标术语是一个仅依赖于输入集合中的原始术语的变量；否则，V就是混合内部术语。

图2展示了MRF模型中用于“检测人造结构”任务的“交互潜在函数”的流程图，该模型定义见[22]第187页。节点A和B是目标变量（其值域为[0, 1]），C和D是从光学数据y中提取的（d维）特征向量，E（一个q维向量）是一个参数，而K（实数）本身也是参数。此外，f是一个转换函数，g是标准的逻辑累积函数。在上述术语表中，G是一个目标内部术语，H和I是证据内部术语，J和K是混合内部术语。底部的节点代表了潜在函数的值。

潜在函数的分析框架可能由各种类型的操作符组成。这些操作符可以是数学运算（如对数字的算术运算、对向量和矩阵的代数运算或对二元变量的布尔运算）、转换（如距离函数或概率函数），或者是决策规则（如“如果p则q”、“除非q否则p”等）。操作符的选择及其处理顺序显然取决于潜在函数的含义（即期望的条件）以及所涉及变量的类型（二进制的、分类的、量化的、向量值的等）。实际上，计算机视觉（CV）文献中遇到的潜在函数涉及各种类型的变量，它们的框架复杂程度也各不相同。还有一些潜在函数没有分析框架，特别是完全参数化的潜在函数，如第3.2节所定义的。这类潜在函数最自然地表示为查找表，对于任何输入变量x，查找表直接指定相应的函数输出y（参见[31]第6页；[32]第42页）。图3给出了这样一个使用的例子。图3展示了一个涉及一个三重证据变量和两个二元目标变量的潜在函数的查找表，这两个目标变量假设位于图的同一个节点上。

潜在函数的分析框架还可以包含其他类型的操作符，例如：转换（如距离或概率函数）、决策规则（如“如果p则q”等）。操作符的选择及其处理顺序取决于潜在函数的含义及其涉及的变量类型。此外，潜在函数的分析框架的强度（语义透明度）与其参数集的复杂性也有关系。特定的方法论起源也会影响其语义透明度：在演绎性方法中，潜在函数可能通过明确的条件构建（[22]第183页；[34]第299页）；而在归纳性方法中，潜在函数是通过灵活的模型结构构建的（[17,35,36,37]）。

关于分析框架中操作符的角色和重要性，还有另一个更具体的观察：某些操作符在框架中起核心作用，因为它们直接与潜在函数所期望的条件相关，或是证据信息与目标信息相遇的步骤；这样的操作符被称为分析框架的核心。在这些操作符中，有些可能位于核心之前并生成相关术语，有些则位于核心之后，用于调整或规范化目的。这些操作符共同构成了分析框架的“外壳”。例如，在图2所示的框架中，一个合理的核心操作是加法（+），因为正是通过这个操作，潜在函数中的目标和证据信息被结合在一起。框架中还有其他五个操作符，其中三个位于核心之前，两个位于核心之后。这些操作符共同构成了框架的外壳。

分析框架对于理解潜在函数的含义及其内部辅助操作符的原因至关重要。接下来两个小节将讨论两种特殊类型的分析框架核心：一种基于距离函数，另一种基于概率条件表达。此外，还将讨论框架外壳中操作符的可能作用。在计算潜在函数时，我们可能需要将表示“奖励”的术语转换为表示“惩罚”的术语（或反之）。为此，通常会应用辅助转换（参见[38]第311页；[39]第1368页）。为了在潜在函数框架中进行比较，可能需要进行预备转换，以确保比较的术语在维度上是同质的。

在计算潜在函数的过程中，出于不同的原因，可能会在后期阶段应用转换。例如，U可能是潜在函数中的一个内部术语，定义在其上的概率分布可以表示这样的含义：对于任何输入x，概率P(x)越大，相应的输出y就越符合潜在函数的期望条件。在此框架中，该概率分布会以某种转换形式出现。为了使这种比较成为可能，可能需要引入预备转换，以保证比较术语在维度上是一致的。

最后需要指出的是，潜在函数的不同语义透明度与其分析框架和参数集的平衡程度有关。在演绎性方法中，潜在函数的分析框架较弱，参数集较为丰富时，其语义透明度较低；而在归纳性方法中，潜在函数的分析框架较强，参数集较为简单时，其语义透明度较高。这种差异也与模型构建者的方法论选择有关：在演绎性方法中，潜在函数是通过对明确条件的考虑来设计的；而在归纳性方法中，模型采用通用且可扩展的框架，并通过实证方法估计参数，以评估偏离条件的程度。计算机视觉文献中，通过演绎方法构建的潜在函数被称为“手工设计模型”（[22]第183页；[34]第299页）；而通过归纳方法构建的潜在框架可能包含多元线性回归或神经网络（[17,35,36,37]）。最后，可以采用两个变换和一个距离函数d，将两个项过渡到一个第三空间，并将运算符插入作为核心。为了简化问题，假设要比较的两个项是范围Z中的元素。如果它们是目标变量，并且位于不同的节点上但含义相同，那么d可以是它们共同范围内的一个距离函数，该项可以构成潜在值的核心。这就是构建成对平滑度势的方法。另一种情况是，如果这些项是一个证据变量和一个目标变量，它们位于同一个节点上但具有不同的范围和含义，那么核心可以是该项，其中d是它们之间的距离函数；或者该项，其中d是它们之间的距离函数。这是构建一元保真度势的典型方法。值得注意的是，这种比较直接说明了为什么一元势通常比成对势更复杂：正是为了建立维度同质性而需要的变换g或h造成了这种差异。

表1通过展示来自CV文献中的五种势的公式和其他元素来进一步说明这一点。第一种是对图中相邻节点上的两个目标变量对进行成对平滑度处理。这些变量是定量值（差异值），距离函数是它们之间的平方差。这里涉及的唯一证据信息是变量所驻留位置的拓扑邻近性。第二个例子是对一对二进制目标变量对进行对比敏感的平滑度处理。这里应用的距离函数是布尔度量，根据≠或=的不同而为1或0。除了目标变量外，该势还包含一个证据项，即光向量之间的距离的平方欧几里得距离，这样随着位置i和j之间的光学差异增大，对选择的惩罚就会减小。这种势是“对比敏感的伊辛模型”的一个例子。其余三种情况都是一元保真度势，其中核心是目标项和证据项之间不一致性的度量。具体来说，在第三种情况下，尽管这两个项在作为证据变量或目标变量的认知角色上有所不同，但它们在维度上是同质的，因此不需要进行预处理变换。相比之下，在其余两种情况下进行了同质化变换：在第四种情况下作用于证据项I，在第五种情况下作用于目标项。在这三种情况中，所涉及的距离函数都是实数之间的平方差。

正如这些例子所示，用于评估两个项U和V之间差异的函数d取决于这些项本身所代表的测量类型。具体来说，如果U和V是实值定量变量，那么d可以是欧几里得距离或块城市距离。如果U和V是向量值变量，那么d可以是欧几里得距离或平方欧几里得距离。如果U和V是配置为布尔向量的变量，那么d是汉明距离。如果U和V是具有相同范围的分类变量，那么d可以根据U是否等于V来定义为1或0，这在这里被称为布尔距离。否则，可以在范围内定义一个二元关系R，d可以确定为图中从节点u到节点v的最短路径的长度。请注意，其中一些函数在严格的数学意义上并不是度量；例如，某些函数不满足度量必须满足的三角不等式，但它们确实作为CV中几种势的核心出现。

一个关键问题是，当要比较的项U和V在维度上不相同时，必须进行变换的合理性。例如，假设U是一个证据项，V是一个目标项，如第4.1节所定义的。为了进行比较，我们可以在某个空间上选择一个距离函数d并应用一个变换，使得由此产生的项将成为势的核心。这样产生的项可以解释为在某个空间中对目标项的估计。这将是一个临时估计，仅由可用的局部证据信息U支持。通过整个MRF模型的引导，推理过程将产生更精确的估计，该模型会考虑所有的证据信息和模型中的相应势。或者，我们可以选择在另一个空间上使用距离函数d并应用一个变换，使得产生的项成为势的核心。这样我们就有了一个将目标项V的配置映射到证据项U的配置的变换h，这可以通过关于图像形成光学过程的论点来证明其合理性。换句话说，如果u和v分别是证据项U和目标项V的配置，并且我们考虑一个具有v所指定的属性的假设场景，那么我们可以使用光学原理来确定该场景应该产生的图像应该具有的属性U。然后可以将这个属性与源图像实际具有的属性u进行比较。这种方法实际上在CV中的MRF模型构建中得到了应用。值得注意的是，这与第3.1节中关于如何证明“保真度”这一期望条件的评论有关。

表1展示了五种以距离函数为核心（符号来自原始论文）的势的特性。
[42] [第2165页的方程(2.2)]
推理任务：立体匹配
期望条件：平滑度
证据变量：左边图像中像素i和j的差异值
参数：阈值和比例参数
公式：[第1366页的方程(39)和第1368页的方程(42)]
推理任务：二值图像分割
期望条件：对比度依赖的平滑度
证据变量：图像中像素i和j的3D颜色向量
目标变量：将像素i和j分配为前景(1)或背景(0)
参数：比例参数
公式：[第1232页第14行的R（右列)]
推理任务：图像恢复
期望条件：保真度
证据变量：像素p处观测到的强度
目标变量：像素p处恢复的强度
参数：截断的阈值
公式：[第549页的方程(10)]
推理任务：深度图估计
期望条件：保真度
证据变量：源图像I
目标变量：像素i处估计的深度
参数：W是学习神经网络的参数系统
公式：结合神经网络的映射函数
[8] [第219页第42行和第221页第23行]
推理任务：透明度检测
期望条件：保真度
证据变量：位置i处观测到的亮度
目标变量：位置i处的反射率和透射率
参数：权重系数

4.3. 作为概率条件定义的核心
在概率论中，条件函数是一个关于两个随机变量U和V的函数，对于每个u，它的条件分布是在V上的概率分布。因此，条件函数可以表示为一系列由条件变量U的值索引的条件变量V的概率函数。条件函数也可以被解释为这两个变量之间的软关系：对于所有的u和v，概率值越大，V的值v与U的值u之间的一致性就越强。对于相同的变量，也可以考虑另一个条件函数，其中U和V的角色互换。根据贝叶斯规则，这两个条件函数通过以下公式联系起来：其中P(U|V)和P(V|U)是边缘分布，符号≡表示在乘法常数范围内相等。假设U和V是待构建的势的输入中包含的项，指定了一个期望条件，该势应该促进这一条件，且U和V的含义确保对于任何u和相应的v，随着u和v之间一致性的增强，配置z更能满足这一条件。例如，当U和V是位于相邻节点上的目标变量，并且期望条件是平滑度要求时就是这种情况。当U和V是与同一节点相关的证据变量和目标变量，并且势旨在促进保真度条件时也是如此。其他更复杂的情况也可以用这种形式表示。在这种情况下，可以构建一个涉及这两个项的概率条件函数。如上所述，这样的条件函数表示U和V的值之间变化的一致性，因此可以作为势的核心。如方程(2)所述，条件函数本身不能作为模型中的势。势可以是某个变换，因此分析框架将包括该变换作为最后一步。

表2展示了五种以概率条件为核心的势的例子。为了说明这一范式的灵活性，这些例子选择得当，使得在第一个例子中，条件和条件变量都由目标变量扮演；在第二个和第三个例子中，证据变量是条件变量，目标变量是被条件化的；在最后两个例子中，角色互换。以概率条件形式的核心特别适用于条件MRF模型中的势，如第3.1节所提到的。此外，条件形式的另一个优点是它的通用性，因为它不要求比较的项在维度上必须同质。例如，U可以是一个布尔变量，而V可以是空间上的向量值变量。在这种情况下，条件函数将是一对n变量分布，构成势的核心。

表2展示了五种以概率条件为核心的势的特性（符号来自原始论文）。五种潜在函数的特征，其核心均为概率条件语句（符号来源于原始论文）。[18] [第1482页L栏第13-23行]推理任务：结合立体匹配和图像分割。期望条件：通过视差脉冲实现内部一致性。证据变量：像素k处是否存在视差；像素k的类别（F表示前景，B表示背景，O表示被遮挡）。参数：视差连续体上的区间端点。函数：在视差连续体上具有均匀分布。

[35] [第697页R栏第2-7行]推理任务：按对象类别对图像进行标注。期望条件：标注的准确性。证据变量：像素i处的特征向量。目标变量：像素i的类别标签。参数：多层感知器的参数系统。函数：在变量范围内的一系列条件分布。

[24] [第827页L栏第12-36行]推理任务：指定图像中边的作用。期望条件：标注的准确性。证据变量：相邻超像素对的特征向量。目标变量：超像素i和j之间的边是否被遮挡（值1表示被遮挡，值0表示未被遮挡）。参数：遮挡边界/折痕的参数。函数：在点上的标准累积逻辑函数的值。

[4] [第109页R栏第32-38行]推理任务：交互式二值图像分割。期望条件：标注的准确性。证据变量：像素p处的图像强度。目标变量：像素p被分配到对象（标签O）还是背景（标签B）。参数：从交互数据中获得的均匀分布。

[44] [第358页第17-20行]推理任务：交互式二值图像分割。期望条件：标注的准确性。证据变量：像素p处的3D颜色向量。目标变量：像素p被分配到前景（值1）还是背景（值0）。参数：高斯分布的混合权重和参数。

在特殊应用中，变量U和V可能是维度相同的，并且它们的共同范围是一个度量空间。对于条件语句中的每个元素，它可能是该范围上的单峰函数，u是其模式。例如，u可以是实数轴，每个元素可以是均值为u的高斯密度。在这种情况下，该函数可以解释为该空间上的距离函数：条件概率越小，点v到点u的距离越大。因此，在这种情况下，基于概率条件语句构建的潜在函数也可以解释为以距离函数为核心的形式；两种方法之间的区别消失了。

关键的方法论问题是，如何构建涉及两个确定项U和V的概率条件语句。这里我们假设U是证据项，V是目标项，并讨论了以V为条件项、以U为条件内容的条件语句的构建方法（参见表2中的最后两种情况）。有时使用的方法是基于实证数据的归纳方法。具体来说，对于某个元素，收集一组v取值为V的情况（所谓的“真实数据”）以及U的测量值（这些值可能因情况而异）。基于此，条件语句的组成部分将被确定为实证获得的U测量样本的相对频率分布（直方图）。

另一种方法是演绎性的，它涉及关于图像形成光学过程的论点。具体来说，对于目标项的任何配置（描述了可能的场景），确定证据项U的分布（与场景产生的图像相关），这种分布是在假设下以及根据投影光学原理得出的，同时考虑光学过程中的不确定性或扰动。因此，演绎方法与前一小节讨论的方法类似，即为了维度一致性选择变换。主要区别在于，之前的任务是构建变换，以便将任何点与变换后的点相对应；而现在的任务是构建概率条件语句，以便将任何点与概率函数相对应。

值得注意的是，现在描述的方法在早期关于视觉推理任务的研究中已经隐含其中（例如[2]）。对于这样的推理任务，可能需要一个“后验分布”，其中证据项U处于条件位置，目标项V处于条件化位置。为了获得它，可以先构建一个条件语句，在这个语句中交换U和V的角色，然后应用贝叶斯规则得到一个表示对V值先验期望的分布。因此，对应于右侧两个因素的潜在函数可以分别称为“似然项”和“先验项”在最终的马尔可夫场（MRF）模型中。这种概念框架及其相关术语经常出现在计算机视觉（CV） literature 中（例如[22]第183页；[25]第1417页；[46]第165页）。

5. 结论性评论

本文开头指出，CV中马尔可夫场（MRF）模型的潜在函数类似于语言的从句，可以从语义、句法和构造方面进行研究。从历史角度来看，从20世纪80年代中期出现的早期表达式开始（例如[2,47,48]），这种语言已经证明了自身的进化能力，模型在复杂性和功能上都有显著提升，尤其是针对更复杂的推理任务和更精细的期望条件。特别重要的是，这一科学传统与蓬勃发展的机器学习研究领域的结合。这种结合不仅在构建潜在函数的方法上带来了创新——这些函数是从训练数据集学习的，而不是预先根据通用原则设计的——而且在执行CV推理时用于选择和表达光学信息（特征集）的方法上也有所创新。我的研究旨在强调潜在函数语言的一些基本特征，这些特征既体现在以演绎方式构建的潜在函数中（即按照原则设计的），也体现在通过归纳方式确定的潜在函数中（即从训练数据中学习的）。掌握这些特征对于解释和比较现有的MRF模型以及规划新型模型具有参考价值。

在理论研究的最后，人们可能会问这样的概念在实际应用中有哪些用途。关于这个问题，我提出三个答案。首先，我们对潜在函数各组成部分的系统性区分——如其期望条件、分析框架的核心以及构成其外壳的辅助操作符——可以作为丰富潜在函数分类的基础，超越了一元、成对、平滑度、准确性等标准分类。实际上，识别复杂实体（如语言句子或生物学中的生物体）的组成部分，是开发这些实体综合分类的必要前提。其次，我们对潜在函数分析框架的讨论阐明了概率结构在设计单个潜在函数时的作用方式，这些结构在参与构建总体Gibbs分布之前发挥作用。特别是，我指的是第4.3节中讨论的以概率条件语句作为潜在函数核心的情况。第三，我们在第3.2节和第4.1节中讨论了潜在函数的分析框架与参数集之间的互补性和平衡，以及相关的各种语义透明度的概念，为评估潜在函数的形式优势提供了补充标准。特别是，这可以作为对比传统原则设计出的潜在函数与通过机器学习程序构建的潜在函数的额外标准。

在理论研究的最后，人们可能会问其中阐述的概念在实践中有什么用途。针对这个问题，我提出了三个答案。首先，我们对潜在函数各组成部分所做的系统区分——如其期望条件、分析框架的核心以及构成其外壳的辅助操作符——可以作为丰富潜在函数分类的基础，超越了一元、成对、平滑度、准确性等标准分类。确实，识别复杂实体（如语言句子或生物学中的生物体）的组成部分，是发展这些实体全面分类的前提。其次，我们对潜在函数分析框架的讨论阐明了概率结构在设计单个潜在函数时的作用方式，这些结构在参与构建总体Gibbs分布之前起着关键作用。特别是，我指的是第4.3节中讨论的以概率条件语句作为潜在函数核心的情况。第三，我们在第3.2节和第4.1节中讨论的分析框架与参数集之间的互补性和平衡，以及相关的各种语义透明度概念，为评估潜在函数的形式优势提供了补充标准。特别是，这可以作为对比传统原则设计的潜在函数与通过机器学习程序构建的潜在函数的额外标准。

在研究结束时，还可以考虑一个相关问题，即研究是否揭示了重要的未解决的问题，即与研究相关且可以通过其中定义的方法解决的问题。在这方面，我也提出了三个答案。首先，从本研究的角度来看，一个重要问题是用于证明潜在函数期望条件的论据。我们在第3.1节提到了这一点，其中我们提到了使用关于自然场景的统计特性和图像形成过程的论据来证明平滑度和准确性等基本期望条件。同样的问题也可能适用于其他期望条件，并涉及不同类型的论据。另一个重要问题是关于潜在函数分析框架中核心与外壳之间区分的发展，这突出了潜在函数的代数形式及其所促进的期望条件之间的关系。除了第4.2节和第4.3节中关注的距离函数和概率条件类型之外，还可以发现其他类型的“核心”；还可以探索构成外壳的操作符的预备或补充作用。最后，可以根据潜在函数分析框架的代数复杂性对其进行分析排序（如图2所示）。这样的研究可能会产生一个基于描述复杂性的排序标准，这与针对单个潜在函数或整个MRF模型的标准计算复杂性标准是并行但不同的。