《Frontiers in Public Health》：A large language model-enhanced knowledge graph framework for text-implied public health policy gap screening: digital health executability, behavioral accessibility, and service-support coverage
编辑推荐：
摘要：筛查政策文件中文本隐含的结构性缺口是公共卫生政策审查的重要组成部分，尤其是在实施依赖于在线门户、数字身份验证、远程护理平台或自助服务流程时。然而，现有的文本分类器、大语言模型提示方法以及基于检索的方法往往提供文档级别的预测或一般性解释，而未能显式地表征政
摘要：筛查政策文件中文本隐含的结构性缺口是公共卫生政策审查的重要组成部分，尤其是在实施依赖于在线门户、数字身份验证、远程护理平台或自助服务流程时。然而，现有的文本分类器、大语言模型提示方法以及基于检索的方法往往提供文档级别的预测或一般性解释，而未能显式地表征政策实施中的关键要素、关系及潜在缺失环节。本研究提出政策审查流程-知识图谱（Policy Review Process-Knowledge Graph, PRP-KG），一种大语言模型增强的知识图谱框架，用于识别跨政策条款、实施流程和目标人群的结构性缺口审查信号。PRP-KG将政策文档切分为条款，使用预定义的政策执行模式（policy-execution schema）提取实施相关要素，并将提取的实体和关系锚定至源证据片段。经验证的元素随后组织为三层知识图谱。图一致性反馈机制对缺失或不符合模式的三元组进行修正，随后通过结构性缺口模式识别文本隐含的在执行规范、可及性保障和服务支持覆盖方面的缺口。在基于公开来源构建的政策文本标注基准上的实验表明，在所评估的设置下，PRP-KG与大多数对比方法相比，实现了更低的预测误差和更准确的高优先级文本隐含审查信号识别。受控分析显示其在所评估扰动下性能相对稳定，并提供可供政策审查人员检查的证据关联输出。
论文解读：文本隐含的公共卫生政策缺口筛查：PRP-KG框架
数字健康政策已成为公共卫生治理和医疗服务改革的重要组成部分。远程医疗、在线服务门户、电子健康档案、患者访问界面、数字身份认证和健康信息互操作性等政策工具被广泛用于提升服务效率和扩大服务覆盖范围。然而，政策文本中存在数字服务条款并不必然意味着实施路径在文本中得到明确说明。一项政策可能要求在线访问，但并未提供关于责任主体、资源条件、服务渠道、线下替代方案、代理支持或弱势群体协助的充分信息。已有政策文本分析方法包括关键词匹配、人工规则、主题模型、TF-IDF表示和浅层分类器，这些方法透明且成本低，但通常使用词汇或文档级特征，难以建模政策任务、责任主体、资源、服务渠道、目标人群、数字障碍和保障措施之间的关系。预训练语言模型和大语言模型改善了语义建模，但直接分类或自由生成往往产生文档级判断，未能显式表征支撑这些判断的执行单元。信息抽取和检索增强方法能够定位政策证据，但仅定位相关表述仍是分析的基本步骤，关键问题在于这些片段是否构成可执行、可访问的服务路径，以及数字障碍是否与适当的保障措施相连接。数字健康公平研究进一步表明，老年人、低数字素养人群、农村居民、残障人士、低收入群体和语言少数群体可能面临设备与网络接入、身份认证、平台复杂性、语言可及性和健康信息理解等方面的障碍，政策可通过线下服务窗口、人工或社区协助、电话咨询、代理申请渠道等保障措施加以缓解。因此，需要一种结构化方法，识别实施要素、评估障碍与保障措施是否关联至相关目标人群，并为专家审查提供证据关联结果。
研究人员提出政策审查流程-知识图谱（Policy Review Process-Knowledge Graph, PRP-KG），一种大语言模型增强的政策-实施-人群知识图谱框架，用于筛查数字健康政策中文本隐含的审查信号。该框架不引入新的图神经架构或大语言模型，而是提供一种模式耦合的协议，整合受限抽取、证据片段绑定、图验证和结构性缺口评分。PRP-KG从政策条款中抽取政策任务、行动者、资源、服务渠道、目标人群、数字障碍和保障措施，经验证的元素组织为覆盖政策条款层、实施支持层和目标人群层的三层知识图谱，并通过图一致性反馈修正缺失或结构不兼容的关系。PRP-KG生成三类证据关联的审查信号：可执行性（executability），评估政策任务是否关联至责任主体、所需资源和执行路径；行为可及性（behavioral accessibility），检查数字要求及相关保障措施是否关联至目标人群；文本隐含的服务支持覆盖（text-implied service-support coverage），评估不同群体所获支持的程度和均衡性。
研究采用的主要关键技术方法包括：基于风险模板约束的大语言模型政策要素抽取，利用预定义执行模式（schema）限制输出实体和关系类型；源证据片段绑定，要求每个关系和实体均锚定至支持其完整语义的证据文本；三层知识图谱构建，将政策条款、实施支持和目标人群组织为分层结构；图一致性反馈机制，对违反类型约束或缺失必要关系的三元组进行重新查询和验证；结构性缺口驱动的审查信号评分，通过缺失边和不完整路径计算三个维度的连续信号，并映射为五级有序标签。样本队列来源包括三个从公开立法和政策来源构建的定量语料库：DHP-FedReg-HHS（来自联邦公报和GovInfo，覆盖公共卫生、数字健康、医疗保险、医疗补助、远程医疗、患者访问、互操作性和健康服务交付），DHP-MultiEURLEX-Health和DHP-BillSum-Health（分别源自MultiEURLEX和BillSum中与健康和数字服务相关的文档）。DHP-FedReg-HHS用于模型开发和域内评估，后两个语料库仅用于跨数据集评估，不进行特定语料库的提示修改、系数或阈值选择或超参数调整。
研究结果部分包含多个子实验。政策要素抽取实验显示，与自由形式大语言模型抽取、仅模式提示和标准信息抽取基线相比，PRP-KG在关系F1、严格关系F1和关系级证据正确性方面均有提升，主要改进来自关系模板、关系级证据检查和基于图反馈的重新验证，剩余错误主要涉及跨条款保障措施或目标群体。政策知识图谱构建实验比较了Rule-KG、LLM-KG、GraphRAG-KG、Flat KG、Two-layer KG和PRP-KG，PRP-KG在图一致性和参考路径正确性上取得最高值，而GraphRAG-KG在三元组有效性上最高；结构匹配变体分析表明，显式层次组织对图验证、评分和解释构建具有贡献。域内与跨数据集审查信号评估显示，在DHP-FedReg-HHS测试集上，PRP-KG的文档级平均绝对误差为0.438，条款级宏F1为0.736，平均维度特定Spearman相关系数为0.734，二次加权kappa为0.694，高优先级信号F1为0.669，均优于对比方法；在DHP-MultiEURLEX-Health和DHP-BillSum-Health上，无需特定语料库重训练、调参或截断值重新校准，宏F1分别为0.701和0.681，较域内结果下降3.5和5.5个百分点。消融实验表明，模式约束的去除导致关系F1和图一致性最大幅度下降，证据验证的去除最强烈地降低参考成分精确率，反馈重新查询优于仅过滤验证，目标节点、缓解边建模和差异项的去除主要影响行为可及性和服务支持覆盖结果。受控鲁棒性实验表明，在OCR风格噪声、保留语义的改写和条款截断条件下，PRP-KG的高优先级信号F1均高于对比基线，但性能随OCR损坏增加和截断出现下降，最大跨数据集下降发生在DHP-BillSum-Health上，显示其对义务分散的长篇立法文本的敏感性。参数敏感性分析在验证集上确定了关系一致性阈值τc=0.75、最大重新查询轮数R=2和检索深度K=8。运行效率方面，PRP-KG的每文档平均运行时间为35.6秒，低于Dense-RAG和GraphRAG但高于LLM-direct，平均每文档调用2.3次LLM，峰值GPU内存分配在抽取阶段为19.6 GB，图评分阶段为8.4 GB。解释质量评估中，PRP-KG在证据支持、证据正确性、参考成分精确率和参考成分完整性四项指标上均取得最高平均分，但参考成分完整性为0.724，表明仍有部分所需成分未被恢复。统计显著性检验显示，经Holm校正后，PRP-KG在三个维度上的文档级MAE均显著低于Longformer、Dense-RAG、HGT和GraphRAG；与LightPROF、EPERM和AtomR相比，在行为可及性和服务支持覆盖维度显著，但在可执行性维度未达到预设显著性阈值。
讨论部分指出，PRP-KG通过模式约束、图验证和结构性缺口评分提高了与构建基准的一致性。图表示特别有助于识别通过不完整政策执行关系表达的遗漏，例如条款要求通过在线渠道进行数字身份认证并确定老年人为目标群体，但未将该群体关联至线下替代方案、辅助访问机制或代理支持保障。然而，已识别的保障措施可能规定在文档其他部分、配套法规或实施材料中。PRP-KG在可执行性维度上相对于最强基线的改进较小，可能反映可执行性依赖于分散条款、定义、交叉引用、行政能力等未完全由条款级关系捕获的条件。性能差异可能部分来自抽取模式、结构性缺口规则和标注体系之间的对齐，存在一定的模式-评分标尺循环性。受限的鲁棒性和跨数据集结果提供了有限证据，不能视为跨司法辖区、语言、法律体系或健康服务背景的独立外部验证。研究局限包括：框架识别文本隐含的结构性缺口而非实际实施结果；抽取、检索和反馈阶段易受幻觉、遗漏和错误传播影响；当前模式未涵盖财政可持续性、隐私、网络安全、互操作性、政治可行性或机构间协调；司法辖区和人群的代表性不均衡可能导致模型行为变化。未来研究应使用独立构建和本地标注的语料库进行评估，并在前瞻性研究中检验审查信号是否改善审查者一致性、效率或错误检测，同时结合独立收集的实施证据进行验证。
结论部分翻译：本研究提出了PRP-KG，一种大语言模型增强的知识图谱框架，用于筛查数字健康政策文件中文本隐含的执行规范、可及性保障和服务支持覆盖缺口。该框架通过模式约束抽取、证据片段绑定、政策-实施-人群知识图谱构建、图一致性反馈和结构性缺口审查信号评分，以结构化分析政策执行单元取代直接文档级判断。在构建的基准上，PRP-KG取得了优于大多数评估基线的平均性能，特别是在行为可及性和服务支持覆盖信号方面。可执行性筛查的改进较小，与LightPROF、EPERM和AtomR的比较在Holm校正后未达到预设显著性阈值。解释评估也显示出更强的证据关联，尽管成分恢复仍不完整。总体而言，PRP-KG提供了一种基于证据的方法，用于优先排列可能包含不完整执行规范、未缓解的数字访问障碍或未关联的服务支持条款的段落。其输出需要专业背景验证，不应被解释为对实际政策实施、可及性、服务提供或公平结果的测量。
