中文大语言模型（LLMs）HIV/AIDS健康信息应答质量的多维比较：基于潜在剖面分析（LPA）与偏相关网络分析

《Frontiers in Public Health》：Evaluating Chinese large language models for HIV/AIDS health information: a multidimensional comparative study of response quality

　　

背景：中文大语言模型（large language models, LLMs）正越来越多地用于HIV/AIDS健康信息，但其多维表现尚未得到评估。本研究系统评估了五种主流中文LLMs在准确性、关怀性、完整性、可理解性和可行动性方面的表现。
方法：采用横断面评估，使用50个标准化HIV/AIDS问题。每名模型的回答由三名独立专家在五个维度上评分，包括改编自患者教育材料评估工具（Patient Education Materials Assessment Tool, PEMAT）的条目。采用潜在剖面分析（latent profile analysis, LPA）和偏相关网络分析（partial correlation network analysis）识别质量类型及维度间依赖关系。卡方检验（Chi-square tests）检查剖面归属与模型身份或问题领域的关联。
结果：四种通用LLMs表现出较高准确性（均值 > 4.5/5）和完整性（86%?98%满分），彼此之间无显著差异（所有P-FDR（false discovery rate校正P值） > 0.05）。HuatuoGPT-II是唯一医学领域专用模型，在这两个维度上得分显著较低（所有P < 0.001）。其回答与当前指南一致性较低，并包含一例隐性污名化语言。所有模型在关怀性（中位数 = 3.0/5）和可行动性（最大 = 1.70/3）方面存在系统性缺陷。可理解性显示天花板效应，剖面层面无显著差异，尽管观察到小的模型层面差异。LPA识别出四种剖面：高准确性与完整性（50.0%）、中等平衡（3.6%）、低质量（18.8%）和高完整性与可行动性导向（27.6%）。网络分析识别完整性为最中心节点（强度 = 0.813），可行动性为关键桥梁（中介中心性 = 0.167）。准确性与可行动性之间弱负偏相关（r = ?0.083）提示，在统计水平上技术精确性与实践指导之间可能存在权衡。剖面分布因模型而异（χ² = 124.99，P < 0.001），但不因领域而异（P = 0.625），表明异质性源于模型特异性特征。Yuanbao-Hy3表现出最平衡的人文-技术剖面。DeepSeek-V4技术出色但缺乏关怀性。
结论：在本评估中，四种通用模型在事实准确性和完整性方面优于所检验的单一医学领域专用模型。然而，共情沟通和可行动指导的系统性缺陷持续存在。模型选择应优先考虑整体剖面分布而非单维度得分。开发人员必须整合去污名化语料和行动导向对齐；临床医生应将人工智能（artificial intelligence, AI）定位为专业护理的补充。未来评估应采用以人为中心、多轮和真实用户验证的框架。

研究背景与问题：自1981年美国报告首例AIDS以来，HIV/AIDS仍是全球公共卫生挑战。截至2025年，全球约40.9百万感染者，每年约1.2百万新感染和570,000例AIDS相关死亡。中国HIV感染者超过百万，新感染持续上升。抗反转录病毒治疗（antiretroviral therapy, ART）延长寿命，使该病成为需终身管理的慢性病。然而，中国公众HIV认知不足、感染者健康素养和教育程度较低、社会污名深，导致预防意识弱、自我管理不足、歧视隔离等问题。由于污名、便利和好奇，个体可能转向人工智能（AI）获取HIV信息。大语言模型（large language models, LLMs）基于神经网络，预训练大规模文本，自监督预测下一词元并微调，能生成连贯回答，但其输出为概率性语言预测而非验证医学指导。现有研究多关注ChatGPT、Gemini等外国模型，主要评估准确性和完整性，忽视关怀性；且多采用变量中心均值比较，预设样本同质和线性关系，无法识别多维质量构型。中国可及性有限，训练语料和文化对齐与本地实践脱节。因此，研究人员采用LPA和偏相关网络分析，评估五种中国主流LLMs在准确性、完整性、可理解性、可行动性和关怀性上的表现。

研究实施与结论意义：研究人员选取DeepSeek-V4、Doubao 2.1、Qwen3.8-Max-Preview、Yuanbao-Hy3四个通用模型和HuatuoGPT-II医学领域专用模型。问题来自中国疾控中心HIV健康教育库和纽约州卫生部HIV/AIDS问答，共50题，分属基础知识、预防（含PrEP/PEP）、检测、治疗、康复/照护五域。2026年7月3日通过官方网页界面单轮中文查询，默认参数。三名专家独立评分，基于WHO和中国指南。结论显示，通用模型事实准确性和完整性高，但关怀性和可行动性存在系统缺陷；所评估的单一医学领域专用模型未显示预期优势；质量异质性主要源于模型而非问题领域；完整性和可行动性在网络中居中心位置。

主要关键技术方法：横断面评估。样本来源为China CDC HIV健康教育库与纽约州卫生部HIV/AIDS问答，按HIV照护连续体分5域，每域10题。五种中文LLMs经官方网页界面单轮中文查询，保留默认生成参数。三名受训专家独立评分，依据WHO、中国CDC和中华医学会指南，准确性、完整性、关怀性用5点Likert，可理解性7项和可行动性3项改编PEMAT。统计采用Krippendorff's alpha、Gwet's AC1评估一致性，累积连接混合模型（cumulative link mixed models, CLMMs）与置换Friedman/Wilcoxon进行模型比较，Cochran's Q/McNemar分析二分类条目，LPA（K=2–5）识别剖面，Graphical Lasso估计偏相关网络并计算中心性，卡方检验剖面与模型/领域关联，去均值与问题层面聚合作稳健性分析。

研究结果：
3.1 五个维度的描述性统计：评分者一致性可接受至优秀。准确性四通用均值>4.5，DeepSeek-V4为4.70，Yuanbao-Hy3为4.62，HuatuoGPT-II为4.06。完整性呈天花板效应，四通用86%?98%满分，HuatuoGPT-II仅20%。关怀性中位3.0，DeepSeek-V4为3.62，Yuanbao-Hy3为3.64，HuatuoGPT-II为3.12，无5分。可理解性总分0–7，DeepSeek-V4最高6.30，Qwen3.8-Max-Preview为5.92，Doubao 2.1为5.86，HuatuoGPT-II为5.48；目的明确和内容聚焦通过率高，普通语言和医学术语定义差，DeepSeek-V4解释术语58%，Qwen3.8-Max-Preview仅34%。可行动性总分0–3，DeepSeek-V4为1.70，Yuanbao-Hy3为1.64，HuatuoGPT-II为1.10，Doubao 2.1为1.12；直接称呼Doubao 2.1仅4%，可管理步骤HuatuoGPT-II仅8%。
3.2 五种LLMs之间的两两比较：CLMM和置换Friedman/Wilcoxon结论一致。准确性HuatuoGPT-II显著低于所有模型，OR为5.62–11.68，通用模型间无显著差异。关怀性HuatuoGPT-II显著低；DeepSeek-V4（OR=3.87，P-FDR=0.015）和Yuanbao-Hy3（OR=4.55，P-FDR=0.007）优于Doubao 2.1。完整性HuatuoGPT-II显著低，OR达52.29–360，通用模型间无差异。可理解性Friedman检验χ²=15.48，P=0.004，Kendall's W=0.077；DeepSeek-V4优于HuatuoGPT-II、Yuanbao-Hy3和Doubao 2.1；HuatuoGPT-II在信息分块和视觉提示弱。可行动性Friedman检验χ²=26.67，P<0.001，W=0.133；DeepSeek-V4和Yuanbao-Hy3无差异，但优于Doubao 2.1、HuatuoGPT-II和Qwen3.8-Max-Preview；直接称呼Doubao 2.1最差，可管理步骤HuatuoGPT-II最差。HuatuoGPT-II劣势在校正下稳健，通用模型间细微差异需谨慎。
3.3 最优潜在剖面数的确定与模型稳定性验证：BIC和ICL在K=5最低，但K=4调整兰德指数（adjusted Rand index, ARI）最高，均值0.823，中位0.945；K=5 ARI仅0.595。K=4熵>0.99，MinAvePP>0.99，最小类3.6%（n=9），保留但需验证，最终选K=4。
3.4 四个潜在剖面的特征与组间比较：Profile 1低质量占18.8%（n=47），所有维度最低，关怀性3.00且标准差为0。Profile 2中等平衡占3.6%（n=9），中等准确性和完整性，最高关怀性3.78和可行动性0.56，但样本小，解释暂定。Profile 3高准确性与完整性占50.0%（n=125），准确性和完整性均为5.00，关怀性3.60，可行动性0.45，呈高技低暖。Profile 4高完整性与可行动性导向占27.6%（n=69），完整性5.00，可行动性最高0.54，准确性4.00，关怀性3.42。组间比较显示准确性、完整性、可行动性、关怀性显著，可理解性不显著（F=1.58，P=0.194；H=2.64，P=0.451），呈天花板效应。
3.5 偏相关网络结构与中心性分析：Graphical Lasso网络中，最强边为准确性与完整性（r=0.490），其次为可行动性与关怀性（r=0.233），准确性与可行动性为弱负偏相关（r=?0.083）。完整性强度最高（0.813），接近中心性1.000，中介中心性0.167；可行动性中介中心性0.167，接近中心性1.000；可理解性最边缘（强度0.151）。中心性为统计拓扑特征，非因果优先或干预靶点。
3.6 潜在剖面在AI模型和问题领域中的分布：模型与剖面显著关联，χ²=124.99，df=12，P<0.001。HuatuoGPT-II有68%落入Profile 1，其他模型为2%?10%；Yuanbao-Hy3有38%落入Profile 4，仅2%落入Profile 1；DeepSeek-V4有64%落入Profile 3；Qwen3.8-Max-Preview和Doubao 2.1分布相似，Profile 3/4分别为58%/34%和54%/36%，≤10%落入Profile 1。问题领域与剖面无显著关联，χ²=9.90，df=12，P=0.625。稳健性分析中，去均值后恢复四个剖面，网络边权r=0.942，中心性ρ=0.900；问题层面聚合仅得单类K=1，支持领域不显著。

讨论总结：该研究首次将LPA和偏相关网络用于高度污名化传染病AI健康信息评价。结果受特定模型、固定题库和单轮查询限制，属探索性证据。准确性方面，通用模型高，HuatuoGPT-II低，其“第24周复检”建议不符合WHO和中国指南。关怀性系统缺陷，HuatuoGPT-II一例ABC原则解释含隐性偏见，将A解释为禁止非婚性行为，可能来源于过时健康教育材料，风险是强化内化污名；研究人员建议整合共情表达和去污名化语料。完整性极化，通用模型广谱文本带来高完整性，医学专用模型保守。可理解性术语定义不足，可能加剧健康不平等。可行动性低，模型擅长告知而弱于指导行动。网络中心性提示完整性为统计枢纽、可行动性为桥，但不能推断因果。局限包括评分天花板/地板效应、单次查询、样本量50题/250观察、小剖面9例、横断面非因果、单时点无法评估版本变化。未来应纳入真实用户理解与行为结局、重复5–10次查询、更大独立题库、多轮对话及纵向或实验设计。

研究结论翻译：本研究系统评估五种中文LLMs在HIV/AIDS健康教育问答中准确性、完整性、可理解性、可行动性和关怀性五个维度的表现。在50题框架和所评估特定模型限制内，四种通用模型达到较高事实准确性和信息完整性，表明其基础能力可支持作为公共HIV/AIDS知识提供渠道；然而，它们在关怀表达、平实语言使用和行动指导方面存在一致结构性缺陷。所包括的单一医学领域专用模型未在面向公众健康传播场景显示预期优势，但该发现仅限所评估模型。LPA和网络分析在探索性解释下揭示，应答质量异质性主要由模型特异性特征而非问题内容驱动，完整性和可行动性在条件依赖结构中居拓扑中心位置，提供可检验假设。需强调，这些发现受特定模型集、固定题库、单轮查询和普通话语言范围限制，应视为假设生成证据，而非广泛外推结论。未来应优先使用更大独立抽样题库、重复查询、多轮对话和真实用户行为结局进行外部验证。