《Information and Software Technology》：Toward explaining value concerns in software artifacts: A human-in-the-loop method
编辑推荐：
背景：软件中人类价值的违反可能导致用户不满、经济损失和信任丧失。现有的软件工程研究侧重于通过手动标注或自动分类来检测此类违反，而未解释其发生机制。这种解释的缺失使得报告的违反难以验证，且提供的解决指导有限。目标：本研究引入了一种人在回路（human-in-th
背景：软件中人类价值的违反可能导致用户不满、经济损失和信任丧失。现有的软件工程研究侧重于通过手动标注或自动分类来检测此类违反，而未解释其发生机制。这种解释的缺失使得报告的违反难以验证，且提供的解决指导有限。目标：本研究引入了一种人在回路（human-in-the-loop）方法，通过阐明可能产生违反的条件，来解释软件工件中人类价值的潜在违反——即价值关切（value concerns）。方法：所提出的方法将大语言模型（LLM, ChatGPT）的自动推理能力与人类评估相结合，以识别和阐述软件工件中的价值关切。研究人员通过一项包含1200个Android和iOS API的案例研究来评估该方法，评估其生成潜在价值违反的可追溯说明的能力。结果：结果表明，ChatGPT关于价值关切的推断相当准确但不完整。错误源于无根据的解释和过度延伸的推理，而LLM输出具有说服力的呈现方式使这些错误难以识别。人在回路方法通过人工审查缓解了这些问题。结论：研究人员的发现支持将LLM作为推理伙伴，在人类监督下能够有效解释软件工件中的价值关切。
**研究背景与问题**
软件中人类价值（human values）的违反会导致用户不满、经济损失和信任丧失，例如社交媒体平台因儿童安全疏忽被听证、COVIDSafe应用因隐私问题被移除。现有研究通过手动标注或自动分类检测此类违反，但缺乏对违反机制的解释，导致结果难以验证且无法指导修复。因此，亟需一种可解释的方法来阐明价值违反的潜在条件。
**研究内容与意义**
研究人员提出了一种人在回路（human-in-the-loop）方法，结合大语言模型（LLM, ChatGPT）的自动推理与人类评估，从1200个Android和iOS API文档中推断价值关切（value concerns，即可能导致价值违反的条件）。该方法通过交互式评估、补充分析（建立ground truth）和最终评级，验证了229个价值关切。结论表明，ChatGPT的推断准确但不完整，存在无根据解释、延伸推理和说服效应；人在回路方法通过人类审查有效缓解了这些问题。LLM应作为推理伙伴而非分类器，为透明推理提供支持。该论文发表在《Information and Software Technology》。
**主要关键技术方法**
（1）使用gpt-4 API依据Schwartz人类价值理论，按事实性（factuality）、合理性（plausibility）和特异性（specificity）标准推断价值关切。
（2）七名评估者通过交互式对话（澄清、辩论）评估推断结果，82.37%的关切获得认可。
（3）补充分析：实验I通过人类独立推断（排除ChatGPT说服效应）建立21个ground truth关切，计算ChatGPT精度68%、召回52%；实验II向ChatGPT提供价值定义和ground truth示例，使精度从62%提升至70%，召回率相近。
（4）ChatGPT利用ground truth示例重新评估364个关切，确认309个。
（5）四名原始评估者和两名独立评估者按相同标准评级，Cohen’s Kappa为0.86，最终验证229个关切。样本来源：1200个API选自Android API Reference、Apple Developer Documentation及GitHub第三方仓库，覆盖10个主题。
**研究结果**
**4.1 研究问题1：LLM（ChatGPT）推断价值关切的效果如何？**
**4.1.1 交互评估的见解**：通过对话评估，82.37%的ChatGPT推断获得认可，其中44%通过澄清和辩论达成。争议主要源于ChatGPT的无根据解释（hallucination）和延伸推理（extended reasoning），例如在无文档支持的情况下编造数据管理功能。13.9%的关切评分为“不确定”，2.43%持续分歧。
**4.1.2 评级价值关切的见解**：对309个经ChatGPT重新评估的关切进行人类评级，确认229个（精度74%）。精度在初始直接认可（Agreed-Justified）的关切中最高（78%），而在辩论后认可（Agreed-Reconciled）的关切中较低（68%），表明后续对话增加了评估者对LLM说服效应的敏感性。跨价值分析显示，社会聚焦价值（如Benevolence、Tradition）的精度最低，而个人聚焦价值（如Power）最高。
**4.2 研究问题2：LLM（ChatGPT）能推断出哪些类型的价值关切？**
**4.2.1 价值关切分布**：229个验证关切中，Self-Direction（自主导向，31.45%）和Security（安全，24.02%）占主导，前者主要涉及隐私威胁，后者涉及软件安全。Achievement（成就，13.97%）、Power（权力，11.8%）、Stimulation（刺激，6.11%）次之，Universalism（普世主义）、Conformity（遵从）、Tradition（传统）、Hedonism（享乐主义）和Benevolence（仁慈）合计不足13%。
**4.2.2 跨API主题的价值关切**：指定API主题（如数据管理、连接与网络、可穿戴与IoT）下，安全关切在多个主题中普遍存在；Self-Direction（隐私）在连接与网络、数据管理、可穿戴主题中突出；Power在可穿戴和测试调试主题中显著；Achievement在连接与网络和开发基础主题中出现；Universalism和Tradition威胁最小。
**4.2.3 价值关切机制与主题**：通过ChatGPT（经人类监督）归纳出113个机制，进一步聚合为10个高层主题。前5个主题包括：①数据收集、共享和重用降低个人信息控制（82个关切，影响Self-Direction、Security、Power等）；②弱保护与不可靠执行造成安全、财务和运营危害（30个关切）；③刚性API限制定制、选择和自主行动（25个关切）；④有限反馈、智能或功能支持阻碍成功与成长（24个关切）；⑤位置、媒体和生物特征访问暴露用户于监视和身份风险（17个关切）。跨领域关切（如隐私侵犯同时影响Self-Direction、Security、Conformity）常见，表明价值威胁很少孤立存在。
**讨论与结论**
讨论部分指出，该研究超越了传统分类方法，通过生成可追溯的解释提高了透明度。评估必须关注推理质量（事实性、合理性、特异性）而非简单指标（如F1分数）。LLM推理存在三种交织挑战：幻觉、延伸推理和对评估者的说服效应，后者通过流利措辞模糊了解释与说服的界限。多阶段评估缓解了这些影响，但需要更强保障。大规模分析揭示了价值风险的模式与盲点：Self-Direction和Security主导，而Universalism等社会价值由于路径间接（如可访问性、环境影响）而被低估。跨领域机制表明隐私威胁常波及多个价值。
研究结论部分翻译如下：本研究提出了一种人在回路方法，用于自动推断软件中可能导致人类价值违反的条件（即价值关切）。通过结合LLM推理与人类评估，该方法提供了超越简单分类的可追溯解释。对1200个Android和iOS API文档的应用表明，ChatGPT能生成有意义的、可验证的价值风险描述。推理-评估循环利用人类监督缓解了LLM幻觉、延伸推理和说服效应等固有挑战。研究人员的发现表明，LLM最有效的角色是作为推理伙伴，在人类指导下揭示价值违反的机制，而非作为仅标注存在的分类器。对移动API的分析显示，自主导向（Self-Direction）和安全（Security）是主要价值关切，隐私侵犯等跨领域关切同时影响多个价值；尽管经过严格验证，歧义依然存在，凸显了价值的主观解释特性。未来工作将扩展至其他软件领域和工件（如错误报告、提交消息），并研究从业者和用户对价值违反机制的看法，以增强实践相关性。
