生成式人工智能输出与人工主导分析在学术放射学人力资源差异研究中的基准核验：描述性数值一致性、平台差异与人工验证必要性

《Current Problems in Diagnostic Radiology》：Benchmarking Generative AI Outputs Against Human-Led Analysis of Academic Radiology Workforce Disparities

　　

生成式人工智能（Generative artificial intelligence）识别了学术放射学人力资源（academic radiology workforce）趋势。人工智能（artificial intelligence, AI）对师资增长的估计与人工分析存在差异。计数师资的方法在不同平台间改变了结果。人工验证（human validation）对于可靠的队伍研究仍然必不可少。

研究背景：学术放射学（academic radiology）在代表性和晋升方面持续存在差异。既有研究显示，女性和若干种族/民族群体在学术放射学师资角色、高级职称和领导职位中代表性不足；学术职称、终身教职（tenure）和领导职位会影响导师机会、学术可见度、政策决定以及未来放射科医师的培训环境。Qamar et al. 基于2007—2018年AAMC Faculty Roster（美国医学院协会师资名册）数据的人工主导研究发现，学术放射学师资仍以男性和白人为主，尽管女性和亚裔师资代表性增加；女性在所有学位和终身教职类别中代表性不足，白人教师在MD、PhD、双学位和tenured pathways中过度代表。生成式人工智能（Generative artificial intelligence）平台日益用于总结数据集和产生研究式解释，但存在幻觉（hallucinations）、提示（prompt）敏感性、训练数据偏差（training-data bias）和可重复性（reproducibility）不一致等限制；在公平导向数据中，分母选择、人口分组或缺失数据处理的小差异可改变差异解释。因此，研究人员评估ChatGPT 5.5、Copilot Pro和Claude Opus 4.7对总体人口学、学位、终身教职、职称和系主任（department chairs）领导等描述性声明的输出，并与人工主导分析比较；该工作是对既有研究的增量扩展，贡献在于独立重建文件匹配的描述性结果、源表调和和声明级核验，包括系主任输出，设计区分与历史发表的一致性和对所供电子表格的正确性。

关键技术方法：数据为五份AAMC Faculty Roster工作簿（总体人口学、学位、终身教职、职称、系主任），限2007—2018年Radiology部门块；Qamar et al.发表仅作历史对照，描述性参考值由研究人员独立计算并保留文件哈希、源表和行位置。ChatGPT 5.5、Copilot Pro、Claude Opus 4.7于2026年4月27日访问，接收相同数据和提示，初始未提供历史手稿，完整输出归档。研究人员用Python的openpyxl和SciPy独立再分析，先调和源总计、性别及种族/民族小计，再计算比例、绝对变化、相对增长和百分比点（percentage points, pp）变化；对343个唯一描述性数值点估计作确定性声明级审计，计数精确匹配，其他估计按末位小数半个单位容差，并将Copilot终身教职份额与限制性分母核对。作者报告固定提示、文件和版本下每工具三次运行数值相同。

结果：
独立再分析与总体师资和人口学声明：独立再分析建立源文件描述性参考值；审计343个唯一描述性数值点估计，ChatGPT 51/51、Copilot 52/75、Claude 217/217在报告舍入范围内匹配；23项不匹配均为Copilot职称占比，包括其2007—2013职称表全部21个百分比和两个2018叙述端点。总体师资由7,505增至9,973（+2,468；+32.9%）；女性2,000（26.6%）至2,937（29.4%），男性5,505（73.4%）至7,036（70.6%）；白人5,095（67.9%）至6,031（60.5%），亚裔1,464（19.5%）至2,725（27.3%），黑人169（2.3%）至221（2.2%），单一Hispanic 198（2.6%）至241（2.4%），含Multiple Hispanic为3.8%至4.3%。这些描述性值与三款AI报告端点多数匹配。

学位声明：MD师资4,982（66.4%）至6,737（67.5%），+1.2 pp，MD内女性29.9%至32.0%；PhD/其他博士1,718（22.9%）至2,012（20.2%），?2.7 pp，女性17.2%至22.9%；双学位593（7.9%）至896（9.0%），+1.1 pp，女性20.7%至20.6%；其他学位女性41.1%至47.8%，unknown 48.1%至30.2%。Claude各项比例匹配，显著性声明仍依赖方法。

终身教职声明与分母敏感性：终身教职1,186（15.8%）至993（10.0%），?5.8 pp；Copilot的17.8%至10.7%在排除tenure unavailable和missing记录的限制性分母下可复现；在轨（On Track）1,125（15.0%）至1,319（13.2%），+194但?1.8 pp，Copilot 2007—2013的16.8%至15.4%在限制性分母下复现；非在轨（Not on Track）4,369（58.2%）至6,961（69.8%），+2,592、+11.6 pp，限制性份额65.4%、71.1%、75.1%；tenure not available 521（6.9%）至699（7.0%），缺失tenure 304至2保留于源分母。

职称与系主任声明：教授1,707（22.7%）至1,921（19.3%），+214、?3.5 pp，女性教授267/1,707（15.6%）至419/1,921（21.8%）；Copilot的31.0%至24.5%不匹配，隐含分母约5,506和7,841。助理教授3,182（42.4%）至4,959（49.7%），+1,777、+7.3 pp；Copilot的35.5%至45.5%不匹配，隐含分母约8,963和10,899，超过各年总师资；Copilot r=0.96亦不复现，全体师资年度份额序列r=0.9252。副教授1,587（21.1%）至2,192（22.0%），+605、+0.8 pp；讲师758（10.1%）至684（6.9%），?74、?3.2 pp。系主任总数192至220，女性26（13.5%）至36（16.4%），+2.8 pp，男性86.5%至83.6%；端点p=0.424，Pearson趋势p=0.000341；种族/民族系主任中白人164（85.4%）至164（74.5%），?10.9 pp，亚裔14（7.3%）至34（15.5%），+8.2 pp，Claude描述值匹配。

描述性声明核验与模型范围：审计按各模型自身声明集计算匹配，不对模型作受控总体性能排序；ChatGPT 51/51、Copilot 52/75、Claude 217/217；Copilot不匹配集中于职称占比；Copilot终身教职可经限制性分母复现；Claude线性趋势和卡方（chi-square）方法有描述但确切规格和依赖性处理不可得；作者报告三次运行数值相同不等同统计有效性。

历史对照与独立核验的AI声明及叙述性综合：源人口学支持AI报告的7,505和9,973端点；Qamar发表报告7,553和9,652，+2,099，发表13%并非端点相对增长，重算为27.8%；其女性和男性端点隐含43.7%和23.2%计数增长，而非发表17.9%和10.4%；2007性别计数合计7,503，与发表总数7,553差50。源学位和终身教职表2018各9,974，包括7,037男性和6,032白人，而人口学和职称各9,973，包括7,036男性和6,031白人，差异为一名白人男性，原因未识别。独立再分析确认源内计数一致，但历史发表差异原因未确立。

讨论总结：独立再分析改变原比较解释：与已发表人工研究不一致不必然表示AI计算错误，所供源人口学确认AI报告端点；同时审计识别Copilot职称占比具体不匹配，不能以通用分母差异解释；区分来源差异、替代估计量和已核实数值不一致比方向一致性更有信息。统计声明需另行评估；p值仅作算术诊断，未记录AI p值不应解释为已验证队伍变化证据；Qamar et al.使用年度变化和置信区间，比较推断声明需匹配类别、分母、估计量和方法。局限包括仅核验明确数值点估计、声明集大小内容不同且含数学相关估计、不能受控统计排序、无独立人工评分者一致性、无执行代码和日志、重复性检查有限、重复名册可能含同一人且缺标识、2018一人差异和历史发表差异未解释、二元性别和预设种族/民族类别不能完全捕捉性别认同、种族、民族或交叉经验；AI可过度概括或产生自信但需外部验证的声明，在公平研究中尤其重要。意义：基于来源的验证必要，人类研究者仍负责验证数据、记录方法和解释结果。

结论翻译：独立再分析核实了源师资端点和归档AI输出中的大多数描述性数值估计，同时识别出23项Copilot职称占比不匹配、一个相容的限制性终身教职分母以及一人的源表差异。作者报告在固定提示、文件和版本下每工具三次运行的数值可重复性；这并未消除错误或确立统计有效性。基于来源的验证仍然必要，人类研究者仍负责验证数据、记录方法并解释结果。