健康与医学中的非精确马尔可夫队列模型

《International Journal of Approximate Reasoning》：Imprecise Markov Cohort Model in Health and Medicine

　　

• 一个实用的工作流程将模型假设与干预措施比较联系起来。
• 不精确的马尔可夫队列模型在不确定转移下界定期望结果的边界。
• 证据和建模假设共同决定可接受的模型。
• 经验干预偏好不一定在所有可接受模型中都成立。
• 奖励时机可能会改变示例中极小极大遗憾的选择。

**引言**

在健康和医学的应用研究中，马尔可夫队列模型常被用于在缺乏长期数据的情况下模拟患者或患者群体接受干预后的预后 [1]、[2]、[3]。预后被表示为有限健康状态集上的马尔可夫链。状态之间的转移由转移概率矩阵支配，这些矩阵是此类模型中的核心数值对象。一旦矩阵被估计出来，模型就可以生成终身轨迹。基于这些轨迹，加上处于健康状态/转移到健康状态的累积奖励及其时间，可以计算每个干预措施的成本和预期寿命等决策相关结果。当转移概率已知或可以高确定性估计时，将矩阵视为固定是合适的。然而，当可用证据不足以证明对每个转移概率赋予单一值时，固定矩阵就不太令人满意了，例如当矩阵从稀疏的转移中估计时。在这些低数据情境中，可能有多个转移矩阵与证据一致。证据也可能不足以确定这些概率是否保持不变，或者未来的转移是否依赖于早期的状态。为每个离散时间点（周期）指定单独的概率或添加状态来表示早期历史可能需要证据不支持的假设。从稀疏计数中转移矩阵的点估计可能会对证据未排除的转移赋予零概率。这些困难促使我们考虑一组随机过程而不是选择单一过程。对于马尔可夫队列模型，这一理由支持指定一类可接受的转移矩阵。我们没有对可接受的转移矩阵赋予概率分布，而是指定与证据和结构假设保持一致的转移矩阵序列的类。该类的每个成员都是转移概率矩阵序列，定义了精确的马尔可夫队列模型。给定该类，我们可以计算期望结果在类上的最低值和最高值。计算这些界限类似于不精确概率 [4]、[5]、[6] 和不精确马尔可夫模型文献 [7]–[16] 中的下包络方法。所得界限描述了期望结果在类上的变化程度。因此，其解释取决于该类允许的转移概率和假设。

本文应用这些既定结果，并开发了一种实用的工作流程，用于实施不精确的马尔可夫队列模型，以便在健康和医学的决策分析中使用。首先，工作流程区分转移矩阵序列的类，并将每个选择与证据解释联系起来。其次，工作流程提出了从证据构建可接受行集的两个方法，一个来自一个周期内观察到的转移计数，另一个来自风险人时间观察到的事件计数。第三，工作流程使用既定的向后递推来计算有限时程上与时间和状态相关的奖励的最低和最高期望结果，对于行和周期独立选择的类进行精确计算，对其他类进行单独的等式检查。第四，工作流程提供了一个决策框架，用于在选择最优干预措施时给定转移概率序列的类。

本文其余部分的结构如下。第2节描述具有状态和转移奖励的有限时程马尔可夫队列模型及其前向和后向计算。第3节介绍可接受转移序列的类，其中一类的精确向后递推，以及任何可接受序列与选定序列之间的关系恒等式。第4节从多项转移计数和风险人时间上的事件计数构建行集。第5节提供计算程序并介绍两个决策规则。第6节将方法应用于卵圆孔未闭在隐源性卒中后的临床决策示例。第7节讨论研究的实际意义和局限性。附录呈现了支持性结果、其假设以及与被引用结果的对应关系，除了决策规则的证明外，所有证明均在补充技术材料中。

**各节内容**

**有限时程马尔可夫队列模型**

设 ?? = {S?, …, S?} 为有限且互斥且穷尽的状态集，其中 s 为正整数。状态索引 i 和 j 范围为 1, …, s。将 ?(??) = ?^?? 写为 ?? 上的实值函数，读作列向量 f = (f(1), …, f(s))^T，其中 f(i) = f(S_i)。周期 t 的转移概率矩阵是一个 s × s 矩阵 P_t = (p_{i,j,t})，其出射行 P_{t,i}· 属于概率单纯形 Δ_s = {p ∈ ?^s | p_j ≥ 0, Σ_{j=1}^s p_j = 1}。固定有限时程 T ≥ 1 个周期，其中周期 t 从时间 t 运行到……

**不精确转移矩阵**

不精确性通过分析员指定为可接受的转移矩阵序列的类引入。三个结构选择定义了这个类。转移矩阵要么在所有周期中保持不变，要么从一个周期到另一个周期发生变化。在一个周期内，不同当前状态的出射行要么被关联，要么被自由选择。当前状态的可接受行集仅取决于当前周期和状态，或者还取决于已实现的历史。以下所有结果都涉及……

**从数据构建可接受转移集**

第3节中的结果适用于任何行集 ??_{i,t} 的选择。本节描述如何从可用证据中构建行集。我们考虑关于转移的两种观察性证据形式。首先，一组在周期开始时处于状态 S_i 的个体被随访一个周期。计数每个状态在周期结束时被发现的人数。其次，个体被随访不同长度的时间。事件的数量，例如复发性卒中，被……

**决策分析**

本节描述如何在一类转移矩阵序列上比较两种干预措施。我们首先描述与马尔可夫队列模型的不精确视角兼容的决策规则。然后，我们提出实施该方法的计算程序。

**应用**

我们使用已发表的成本效益问题的简化改编版来演示该方法。我们实施第5.2节的九个步骤，进行成本效益分析和敏感性分析，并评估决策不确定性随证据量增加的变化。

**主要发现**

在经验转移矩阵下，在 15 万美元每个 QALY 的支付意愿阈值下，PFO 闭合术的增量净货币收益约为负 430 美元。时间齐次固定行分析则为每个干预措施接受了一类持续的转移矩阵序列。每个可接受序列在时程中的每个周期都使用相同的复发性卒中概率。在所有两个可接受类对的配对中，增量净货币收益……

**资助**

没有特定的资助支持这项方法学工作。

**数据和代码可用性**

引用的试验出版物报告了示例中使用的汇总源值。随附的计算软件包包含 LaTeX 源代码、机器可读输入和结果表格、生成的图表、独立的应用复制程序、持续端点的精确有理证书，以及单独的数学验证程序。该软件包还包含补充技术材料，其第 S.1 至 S.18 节包含完整的推导，以及声明……

**生成式AI及AI辅助技术在写作过程中的声明**

在准备和修订过程中，作者使用 OpenAI ChatGPT 和 Codex 以及 Anthropic Claude 进行语言编辑、结构重组、代码重构和跨文档检查。作者审查和修订了所有生成的材料，独立检查了数学和数值声明，并对出版物内容承担全部责任。

**其他活动**

作者在国际近似推理杂志上没有编辑或顾问角色，也没有与这项工作相关的咨询、酬金、股票所有权、有报酬的专家证词、专利或拨款需要声明。

**CRediT 作者贡献声明**

Rowan Iskandar：写作 – 审阅与编辑，写作 – 原稿撰写，项目管理，方法学，调查，形式分析，概念化。

**利益冲突声明**

作者受雇于美敦力销售公司。该工作是独立于该雇佣关系进行的，与作者在美敦力的职责无关，既非为美敦力进行，也非由美敦力赞助或资助。作者声明没有其他已知的竞争性经济利益或可能影响所报告工作的个人关系。

Rowan Iskandar