一种惩罚最大似然方法，用于处理具有协变量和滞后响应的隐马尔可夫模型中的潜在状态分离问题

《Computational Statistics & Data Analysis》：A penalized maximum likelihood approach to deal with latent state separation in hidden Markov models with covariates and lagged responses

　　卢卡·布鲁萨 | 富尔维亚·佩诺尼 | 弗朗切斯科·巴托卢奇 | 罗米娜·佩鲁伊尔·巴戈利尼
米兰-比科卡大学统计与定量方法系，Via Bicocca degli Arcimboldi 8，20126，米兰，意大利

**摘要**
本文提出了一种用于离散时间隐马尔可夫模型的惩罚最大似然估计方法，其中显性分布依赖于协变量和滞后响应。该方法解决了潜在状态分离的问题，这种问题通常出现在二元响应或类别数量有限的分类响应变量中，导致潜在变量分布的支持点估计值变得非常大。我们还提出了一种交叉验证方法，用于联合选择模型的潜在状态数量和似然惩罚的强度。通过深入的模拟研究验证了该方法，旨在比较不同估计程序的参数估计精度和计算效率。最后，我们利用在脊柱麻醉期间收集的纵向数据（包括协变量）来说明所提出的方法，目的是监测患者低血压的发生情况。

**引言**
在纵向研究中，重点通常在于通过特定时间的响应变量来评估感兴趣的现象的演变。此外，评估协变量如何影响响应变量以及这种影响如何随时间变化也非常重要。有许多模型可用于此类分析，包括隐马尔可夫（HM）模型（Bartolucci等人，2013年；Mor等人，2021年；Visser和Speekenbrink，2022年），这些模型也被称为潜在马尔可夫模型。这些模型特别适合对样本单元进行动态聚类，因为它们假设每个单元都有一个影响响应变量分布的潜在过程。在局部独立性的假设下，每个过程都遵循具有有限状态数的一阶马尔可夫链。HM模型还可以通过将协变量包含在潜在（子）模型中（Bartolucci等人，2014年；Maruotti和Punzo，2017年）或测量（子）模型中来构建，以便在二元或分类响应的情况下直接影响条件响应概率。在第一种情况下，协变量影响潜在状态动态，从而塑造转移过程以解释可能的测量误差（Bartolucci等人，2013年）。在第二种情况下，潜在过程用于动态捕获未观察到的异质性。我们特别指的是无法通过观察到的协变量解释的个体响应中的异质性，或者等效地，在考虑了所有可测量的个体特征后的残差变异性。这是分析纵向数据时的一个关键方面，因为如果不考虑这一点，可能会导致有偏或不完整的结论。在许多应用中，考虑到同一个体在给定潜在过程下的响应之间的条件序列依赖性也可能很有意义。为此，可以将滞后响应包含在协变量中，从而放宽条件独立性的假设（例如，在涉及捕获-再捕获数据的应用中，Bartolucci和Pennoni，2007年）。

对于分类响应变量，HM模型中响应的条件分布的便捷参数化可以基于广义logit。这种规范包括潜在分布的支持点，即测量每个时间点每个隐藏状态对响应类别概率影响的参数，以及协变量和滞后响应的回归参数。这样，隐藏状态可以很容易地解释为对特定行为的倾向或偏好，整个模型可以视为具有时变和离散随机效应的动态logit模型的泛化（Hsiao，2003年）。

所讨论模型的最大似然估计使用期望最大化（EM）算法（Dempster等人，1977年）相对直接地完成。在每个最大化步骤（M步骤）中，使用牛顿-拉夫森（NR）迭代算法执行涉及协变量参数的优化，该算法从EM算法的先前期望步骤（E步骤）获得的估计值开始初始化。为了评估最大似然估计的精度，通过观察到的信息矩阵以通常的方式获得渐近标准误差，该矩阵可以数值计算（Bartolucci和Farcomeni，2009年）。基于离散潜在变量的公式化允许比随机效应遵循连续分布的替代潜在规范更简单的推断程序（参见Cagnone等人，2009年）。然而，由于分离问题，与隐藏状态相关的支持点参数的估计值有时可能取极端值。分离问题在许多分类响应变量的统计模型中是众所周知的，并已得到广泛研究，例如逻辑回归；参见Mansournia等人（2017年）和Clark等人（2023年）。在这些情况下，当协变量完美预测响应变量时，通常会出现分离问题，可能导致某些回归系数的估计值为无穷大。在这种情况下，分离的原因已经很明确，通常包括样本量小、结果罕见和协变量高度相关（Mansournia等人，2017年）。

在HM模型的背景下，分离主要涉及潜在状态的支持点，导致绝对值极大的估计。因此，估计的协变量效应可能变得可以忽略不计。为了解决这个问题，本文提出了一种基于支持点与其平均值平方偏差的惩罚似然方法，以防止支持点估计值过大并确保可靠的统计推断。在非参数概率密度估计的一般框架中，Good和Gaskins（1971年）引入了基于似然的粗糙度惩罚的使用，他们提出了最大化由粗糙度函数惩罚的对数似然，并由Silverman（1982年）在最大惩罚似然框架内进一步发展。

惩罚似然方法在HM文献中并不新鲜。它们已被用于多种目的，包括减少偏差（Farcomeni，2017年）、选择潜在状态的数量（Hung等人，2013年；Lin和Song，2022年）、在存在许多协变量时的变量选择（?tting和Groll，2022年）、平滑非参数发射分布（Langrock等人，2015年）以及高斯HMM中无界似然的正则化（Alexandrovich，2016年）。然而，据我们所知，这是第一个旨在规范状态特定支持点分散的HM模型的惩罚方法。所提出的惩罚直接针对潜在状态分离，同时保持支持点作为有序潜在倾向的解释，并防止极端估计。从计算角度来看，我们展示了如何通过简单修改M步骤将得到的惩罚最大化嵌入EM算法中，而E步骤保持不变。此外，我们提出了一种受Smyth（2000年）启发的程序，用于在基于模型的概率聚类背景下交叉验证似然。具体来说，我们使用交叉验证来联合选择隐藏链的状态数量和惩罚的强度（Scott等人，1978年）。

为了评估所提出估计器的性能，我们进行了广泛的模拟研究。我们比较了惩罚最大似然估计和标准最大似然估计在精度和计算时间方面的表现。我们还报告了用于选择惩罚参数最优值的交叉验证方法的结果。我们还通过分析脊柱麻醉期间每五分钟测量一次的低血压发生情况来说明所提出的方法。Radwan等人（2024年）讨论了在干预期间识别患者风险组特征以及评估协变量效应（如患者在手术中的位置）仍然是一个未解决的问题领域。我们将我们的结果与Aktas等人（2014年）使用不同方法分析的相同数据的结果进行了比较。

本文的其余部分组织如下。第2节回顾了模型公式化和最大似然估计。第3节介绍了所提出的惩罚方法和估计程序。第4节展示了模拟研究的结果，第5节展示了应用的结果。最后，在第6节提供了一些结论性意见。估计程序是通过扩展LMest包（Pennoni等人，2025年）为R软件（Team，2025年）开发的函数来实现的；这些例程可从https://github.com/LB1304/PenHMM获取。

**代码片段**
设Yi=(Yi(1),…,Yi(T))′ 和 Xi=(Xi(1),…,Xi(T))′，其中Yi(t)表示时间t时受试者i的单变量二元响应变量，Xi(t)表示个体协变量向量，i=1,…,n，t=1,…,T。Yi和Xi的实现分别表示为y=(y(1),…,y(T))′ 和 x=(x(1),…,x(T))′，其他随机变量和向量也将使用类似的约定。

在下文中，我们展示了用于建模响应变量条件分布的HM公式化。

**惩罚最大似然估计**
我们考虑了测量（子）模型的广义logit参数化，如方程（1）中所指定。在拟合的模型中，当隐藏状态广泛分离时，可能会观察到状态特定参数αu的估计值存在显著差异。这可能导致（i）一个或多个状态比其他状态更为重要，和/或（ii）观察到的协变量的估计贡献减少，其效应可能变得可以忽略或统计上不显著。

**模拟研究**
进行了模拟研究以评估所提出的惩罚最大似然方法的性能。我们首先描述了模拟设计（4.1节），然后总结了主要结果（4.2节固定惩罚估计的性能，4.3节不同值的比较，以及4.4节）。

**应用**
在医学背景下，经常存在未观察到的异质性，同时考虑能够解释患者之间观察到的异质性的相关协变量是至关重要的（Schlattmann，2009年）。为了解决这个问题，经常使用随机效应和有限混合模型。当有纵向数据可用时，HM模型可能比广义线性模型（Liang和Zeger，1986年）提供更多信息，后者可以视为HM模型的特例。

**结论**
在这项研究中，我们介绍了一种新的估计方法，用于具有直接影响响应变量的协变量的隐马尔可夫（HM）模型。该模型通过将滞后响应包含在协变量中来考虑未观察到的异质性和序列依赖性。它特别适用于根据估计的后验概率动态地将受试者分类到不同的组中，同时解释感兴趣的现象随时间的演变。我们提出了一种惩罚最大似然方法……