对学术眼科领域中种族与性别差异分析的生成式人工智能基准评估

《Journal of Racial and Ethnic Health Disparities》：Benchmarking Generative Artificial Intelligence for the Analysis of Racial and Gender Disparities in Academic Ophthalmology

　　

摘要

目标

生成式人工智能（AI）正越来越多地用于分析和解释健康差距数据，但其准确性、分析深度以及识别交叉性和结构性不平等的能力仍不确定。这项基准研究评估了ChatGPT（GPT-5.2）、Google Gemini 3和Claude Sonnet 4.5在分析美国学术眼科领域种族与性别代表性现有数据集方面的表现。

方法

对1966年至2021年间美国医学学院院长协会（AAMC）公开发布的眼科教师名册数据进行了分析。研究未招募或随机分配人类受试者。每个AI模型均使用标准化查询模板进行提示，以分析学术职称、性别分布、种族与民族构成、终身教职状态及领导权代表性方面的人口统计趋势。以Tao等人（2024）开展的人机协同基准研究为参照，采用结构化评分标准对输出结果进行系统评估，评估维度包括准确性、解释深度、对偏见与交叉性的识别能力、统计严谨性及相关建议。

结果

所有三个AI模型均识别出了基准研究中先前报告的主要趋势，包括教师人数大幅增长、女性代表性提升、亚裔教师群体扩展，以及医学中代表性不足群体长期处于代表性不足状态。ChatGPT提供了最高的统计精确度，识别出女性代表性每年增加0.65个百分点，女性系主任数量每年增加0.29个百分点。Gemini强调了终身教职的结构性转变，而Claude提供了较强的定性解释。尽管Claude进行了按种族-性别交叉的分析，ChatGPT考察了不同学术职称下的性别代表性，但没有任何一个模型复现了基准研究所采用的具体交叉性框架与亚组比较。

结论

与已发表的人机协同分析进行基准比较后，三个生成式AI平台均复现了广泛的人口统计趋势，但在统计严谨性与解释深度方面存在差异。然而，对于涉及交叉性细微差别的政策相关解释，关键的人工监督仍然是必不可少的。