《Computers》：Deep Learning and Large Language Models for Offline Recognition of Latin Handwritten Kazakh Text
编辑推荐：
由人工智能驱动的对话代理正成为日常互联网信息生态系统的一部分，重塑用户在临床环境之外寻求、解释和采取健康相关信息的方式。随着基于大语言模型（LLM）的聊天机器人日益被用作按需数字健康信息工具，了解用户如何感知其可信度、有用性和局限性对于未来基于互联网的健康服务
由人工智能驱动的对话代理正成为日常互联网信息生态系统的一部分，重塑用户在临床环境之外寻求、解释和采取健康相关信息的方式。随着基于大语言模型（LLM）的聊天机器人日益被用作按需数字健康信息工具，了解用户如何感知其可信度、有用性和局限性对于未来基于互联网的健康服务的负责任设计至关重要。这项混合方法调查研究考察了普通成年人如何评估医生提供和由AI聊天机器人生成的医疗保健相关问题-答案对。通过Prolific招募的美国成年人样本（N=62）对每个答案的清晰度、有用性、细节适当性、可信度和感知证据进行了评分，并提供了关于其判断的开放式解释。主要混合效应分析显示，ChatGPT和Claude生成的回答在总体参与者评分上均高于医生提供的回答，尽管Claude的估计差异更大（ChatGPT-医生估计值=0.250，95% CI [0.135, 0.364]；Claude-医生估计值=0.825，95% CI [0.710, 0.939]）。ChatGPT在五个维度中的四个维度上获得了更高评分，但清晰度除外；而Claude在所有五个维度上均获得了更高评分。然而，医生、ChatGPT和Claude的回答分别始终最先、第二和第三呈现。因此，回答来源与呈现位置相混淆，观察到的差异不能仅仅归因于来源。回答的长度或格式也未匹配。定性研究结果表明，参与者重视详细、具体且具有证据性的解释。参与者还对幻觉、隐私、过度依赖以及需要临床医生验证表示担忧。这些发现表明，基于LLM的聊天机器人可能被视为未来互联网健康生态系统中有用的补充信息工具，但其部署应包括支持透明度、验证和适当依赖的保障措施。
**研究背景、问题与意义**
在临床诊疗之外，患者和护理人员越来越需要额外的健康信息来理解诊断、治疗方案及不确定性风险。然而，医生的沟通受限于时间与效率，往往提供简短的回答；而AI聊天机器人（如ChatGPT、Claude）能生成详细、对话式的解答。现有研究多聚焦于AI的准确性，缺乏对普通用户如何感知AI生成与医生提供信息质量的系统比较。此外，用户对信息来源的信任可能受到回答风格、细节程度等特征的影响，而非仅基于临床准确性。为此，研究人员开展了一项混合方法研究，旨在比较普通成年人如何评估AI生成（ChatGPT与Claude）与医生提供的健康信息，并探索个人特征（健康素养、AI素养、对AI的基础信任）与评估的关系。该研究发表于《Computers》。
**主要关键技术方法**
研究人员采用混合方法、被试内设计，通过Prolific招募62名美国成年参与者，每人评估5个随机分配的前列腺癌问题块（共16个问题块），每个问题块包含医生、ChatGPT和Claude的三份回答。回答以固定顺序呈现（医生→ChatGPT→Claude），来源标签未告知参与者。定量分析使用线性混合效应模型比较来源间评分差异，并采用皮尔逊相关分析个人特征与评分的关系；定性分析采用主题分析法对开放式回答进行编码。
**研究结果**
**4.1 人口学信息**
62名参与者中，男性36人（58.1%），女性25人（40.3%），非二元1人（1.6%），均居住在美国；72.6%年龄低于55岁，77.4%为白人。
**4.2 AI素养、健康素养与对AI的基础信任测量**
AI素养平均得分3.88/5，健康素养3.70/5（但内部一致性低，Cronbach’s α=0.58），对AI的基础信任3.17/5。
**4.3 AI生成与医生提供回答的评分**
线性混合效应模型显示，ChatGPT和Claude的总体评分均显著高于医生（ChatGPT-医生估计值=0.250，Claude-医生估计值=0.825，Holm校正p<0.001）。维度层面：ChatGPT在有用性、细节适当性、可信度和感知证据上显著高于医生，但清晰度差异不显著；Claude在所有五个维度上均显著高于医生。然而，由于来源与呈现顺序完全混淆，不能归因于来源本身。次级分析中，合并AI类别（ChatGPT与Claude平均）评分显著高于医生（平均差0.54，Cohen’s d=1.10），82.3%的参与者更偏好AI。
**4.4 参与者个人特征与评分的相关性**
探索性皮尔逊相关分析显示，AI素养与合并AI回答评分正相关（Bonferroni校正后显著）；对AI的基础信任与医生回答评分正相关（校正后显著）；健康素养因测量可靠性低，无显著结论。
**4.5 定性回应**
五个主题：（1）细节和完整性增加感知有用性：参与者认为医生回答过于简短，而AI回答更详细、更有帮助。（2）证据性细节增加信任：参与者重视数字、统计数据等证据性特征。（3）未解释的术语降低清晰度：过多医学术语且无解释会降低评分。（4）无依据的安慰和轻率措辞降低信任：医生回答中过于安慰或轻描淡写被视为不信任。（5）事后调查：参与者将AI视为补充工具，而非替代临床医生，担忧幻觉、隐私、过度依赖，强调需要验证。
**讨论与结论**
讨论部分指出，用户对健康信息的信任受可观察的沟通细节（如具体性、证据性）强烈影响，但AI生成回答的详细性可能导致过度依赖。参与者对AI的接受是有条件的，倾向于将其作为初步信息工具。结论部分翻译如下：本研究考察了在标准化假设信息寻求场景中，个体如何评估AI生成与医生提供的健康信息，聚焦于感知清晰度、有用性、细节适当性、可信度和感知证据。在来源盲化调查中，Claude的估计差异显著更大，而ChatGPT在清晰度上未显著高于医生。探索性相关表明AI素养和对AI的基础信任与某些绝对评分相关，但健康素养因测量可靠性低无法得出结论。定性结果进一步显示参与者重视详细、具体、解释性强的回答，同时担忧幻觉、隐私、过度依赖和需要临床验证。这些发现表明，AI生成健康信息可能被视为有用的补充资源，但感知有用性不应被解释为临床准确性或适当性的证据。
