《AI》：Smart Evidence Management: Concept, Design and Evaluation of an AI-Assisted Approach for Automotive SPICE Assessments
编辑推荐：
Automotive SPICE? (ASPICE) 合规性活动需要依据标准化过程指标，对项目文档进行系统性的发现与评估，这消耗了评估准备时间中估计的40-60%，并伴有高外在认知负荷。本文提出了智能证据管理（Smart Evidence Management
Automotive SPICE? (ASPICE) 合规性活动需要依据标准化过程指标，对项目文档进行系统性的发现与评估，这消耗了评估准备时间中估计的40-60%，并伴有高外在认知负荷。本文提出了智能证据管理（Smart Evidence Management, SEM），一种基于认知负荷理论（Cognitive Load Theory）、自动化信任（Trust in Automation）和态势感知（Situation Awareness）理论的原则性人机协同（Human–AI Collaboration, HAIC）方法。SEM定义了四项设计原则——AI辅助发现、专家验证判断、透明推理和完全数据主权——作为在受监管专业领域中，针对文档证据评估的一种新颖、可泛化的HAIC模式。通过减少证据搜寻工作，SEM将“计划-执行-检查-处理”（Plan-Do-Check-Act, PDCA）持续改进原则付诸实践，使得在整个开发过程中能够迭代地进行合规性差距检测，而不仅仅是在正式评估活动中。智能证据管理器（Smart Evidence Manager），一个针对ASPICE过程评估模型（Process Assessment Model, PAM）v4.0的原型实例，实现了一种两阶段混合符号-神经（hybrid symbolic–neural）检索增强生成（Retrieval-Augmented Generation, RAG）架构，并采用完全本地化的大语言模型（Large Language Model, LLM）推理。一项专家一致性研究（n = 120项发现，五位intacs?认证评估师）得出了90.0%的综合接受率（95%置信区间（Confidence Interval, CI）[83.3%, 94.2%]）。一项Beta测试研究正在招募中（目标n ≥ 30名从业者），旨在量化认知增强效果、可用性和信任校准。讨论了信任校准的文化维度，将SEM的应用扩展到跨文化部署场景。
### 论文解读：智能证据管理——面向Automotive SPICE评估的AI辅助方法
#### 1. 研究背景与问题
Automotive SPICE? (ASPICE) 是汽车软件密集系统领域广泛采用的过程能力框架，全球主要原始设备制造商（OEMs）均要求其供应商遵循该标准。在正式的intacs? ASPICE评估中，认证评估师需要为每个基础实践（Base Practice, BP）指标收集文档证据，依据符合ISO/IEC 33020的六级能力等级进行评分，并记录有依据的发现。然而，证据搜寻阶段构成了一个结构性瓶颈，估计消耗了总评估准备时间的40%–60%。从认知科学角度看，这构成了高外在认知负荷条件：非结构化的搜索任务消耗了本应用于核心专业评估能力中关键解释与判断活动的认知资源。Endsley（1995）的态势感知（Situation Awareness, SA）框架进一步解释了这一挑战：在数百个异构人工制品中维持感知、理解和预测能力，超出了人类工作记忆容量，系统地降低了所有三个层次的态势感知。
至关重要的是，此瓶颈在结构上与质量管理核心的持续改进原则不相容。如果合规性只能在评估级别的努力下才能被验证，那么项目团队就无法在开发过程中持续监控其ASPICE状态，从而阻碍了“计划-执行-检查-处理”（Plan-Do-Check-Act, PDCA）循环在开发节奏下运行，并迫使过程差距累积，直到正式评估事件中才被发现。根本挑战并非缺乏文档，而是缺乏一种在人类专业知识与庞大异构文档集合之间进行协调的原则性方法。新兴的人工智能技术，特别是本地大语言模型（LLM）和检索增强生成（RAG），为自动化证据发现提供了强大能力。然而，在受监管的专业环境中随意应用，会引发关于数据主权、幻觉风险和专家权威保留的担忧。因此，需要一种基于理论的方法，明确定义AI和人类专家应如何在此类任务中协作——既能防止对AI输出的过度信任，也能避免在没有辅助的证据搜寻中出现的认知瓶颈。
#### 2. 研究内容与结论
本文提出了智能证据管理（Smart Evidence Management, SEM），一种基于认知负荷理论、自动化信任和态势感知理论的原则性人机协同（HAIC）方法。SEM定义了四项设计原则——AI辅助发现、专家验证判断、透明推理和完全数据主权——作为在受监管专业领域中，针对文档证据评估的一种可泛化的HAIC模式。研究人员开发了智能证据管理器（Smart Evidence Manager）原型，并对其进行了评估。一项专家一致性研究（n=120项发现，五位intacs?认证评估师）显示，综合接受率为90.0%（95% CI [83.3%, 94.2%]）。此外，一个为期六个月的Beta阶段（七位领域专家，1165次交互）提供了多层验证，包括隐式行为接受率（98.1%）、并发效度（Cohen’s κ = 0.45）和客观PAM真实值（93.0%）。研究结论表明，SEM方法通过将证据搜寻任务从高认知负荷的搜索转变为结构化的审查，有望显著提升评估效率和质量，并实现ASPICE合规性的持续监控。该论文发表在《AI》。
#### 3. 主要关键技术方法
研究人员为开展研究，主要采用了以下关键技术与方法：
1. **两阶段混合符号-神经检索增强生成（RAG）架构**：首先进行符号预筛选，即基于PAM v4.0指标词汇的规则匹配，以高召回率锁定候选文档块；随后进行神经语义分析，将由本地LLM（Llama-3 8B或Mistral 7B）对候选块进行深度语义分析，生成结构化发现。
2. **本地LLM推理**：所有处理均在本地GPU工作站上执行，确保数据主权，符合GDPR和TISAX等要求。
3. **专家一致性研究**：邀请五位intacs?认证评估师（四位主评估师，一位临时评估师）对来自两个匿名汽车供应商项目仓库的120项AI生成发现进行评估，评估指标为接受、修改或拒绝，并计算Fleiss’ kappa (κ) 以衡量评分者间信度。
4. **Beta阶段多层验证**：在为期六个月的Beta阶段中，通过隐式行为分析、并发效度（LLM评判员对比）、客观PAM真实值验证以及独立外部专家验证，系统评估了系统的输出质量。
#### 4. 研究结果
**4.1 专家一致性研究结果**
在120项AI生成发现中，67项被评定为“接受”（55.8%），41项为“修改”（34.2%），12项为“拒绝”（10.0%），综合接受率为90.0%（95% CI [83.3%, 94.2%]）。近似Fleiss’ κ ≈ 0.82，表明“极好的一致性”。被拒绝的发现主要集中在两类：幻觉证据归因（n=5）和指标范围误分类（n=7）。评估师指出，即使是“修改”评级的发现也提供了显著的起点价值，每次发现的修改工作量估计为2-5分钟，而从头生成发现则需要15-45分钟。
**4.2 多层真实世界验证（六个月Beta阶段）**
**隐式行为接受度**：在990次后续对话轮次中，隐式接受率为98.1%（95% CI [97.0%, 98.8%]）。
**显式满意度与LLM评判员并发效度**：在33次双重评分的交互中，人与LLM评判员之间的原始一致性为79%，Cohen’s κ = 0.45（中等一致性）。
**客观PAM真实值验证**：在473个可验证结构主张的答案中，93.0%在结构上正确，7.0%包含客观PAM错误。在用户未明确质疑的答案中，仍有6.6%包含可验证的PAM错误，表明用户接受度并不保证技术正确性。
**4.3 独立外部专家验证**
一位独立的intacs?认证ASPICE评估师对相同的33次交互进行了重新评级。该外部评估师与作者（intacs?认证ASPICE主评估师）之间的评分者间一致性为实质性（Cohen’s κ = 0.60，原始一致性82%）。外部评估师接受了73%的答案（接受或修改总计88%），作者为70%（接受或修改总计91%），这为问答级别的质量提供了独立的非开发者佐证。
**4.4 Beta测试研究方案与设计**
一项计划中的Beta测试研究（目标n ≥ 30名ASPICE从业者）采用被试内前/后测设计，旨在评估智能证据管理器的实际效果。主要结果指标是证据发现时间减少，次要结果指标包括认知负荷（NASA-TLX）、可用性（SUS）和信任校准质量。该研究基于理论框架提出了四个方向性假设（H1-H4），数据收集预计在2026年第三季度完成。
#### 5. 讨论与结论
**5.1 讨论**
研究从理论验证、跨文化维度、效度威胁和可迁移性四个方面进行了讨论。
- **理论验证**：专家一致性研究结果为认知负荷理论、自动化信任理论和态势感知理论提供了部分验证。综合接受率和接受/修改/拒绝分布表明，AI辅助发现释放了认知资源，且结构化发现模式支持了校准的信任和态势感知。
- **跨文化维度**：SEM方法是在高不确定性规避的德奥汽车供应商背景下开发和评估的。其设计原则与这些文化特征相符，但在应用于其他文化背景时，可能需要对实现细节进行调整，如信任阈值、推理粒度或工作流程。
- **效度威胁**：内部效度威胁包括评估师知晓发现为AI生成；外部效度威胁在于Beta测试结果尚未报告；构念效度威胁在于使用标准化仓库可能降低生态效度。
- **可迁移性**：SEM的五个条件适用于多个专业评估领域，如医疗审计、法律尽职调查、财务合规审查和学术认证。其本地部署架构为受监管领域的隐私保护型人机协同提供了可复制的模型。
**5.2 结论**
本文提出了智能证据管理（SEM），一种基于认知负荷理论、自动化信任和态势感知理论的原则性人机协同方法。SEM贡献了一种理论上驱动、可泛化的HAIC设计模式，由四项设计原则定义，共同实现了“AI辅助-专家决策”范式。智能证据管理器原型提供了初步实证验证：两阶段混合符号-神经RAG架构达到了90.0%的专家综合接受率，并保持了完全本地数据主权。一个为期六个月的Beta阶段从多个层面进一步证实了输出质量，但认知增强效果（H1-H4）仍需在计划中的对照研究中确立。该方法不仅支持评估，还通过降低成本使PDCA循环在项目团队层面得以实施，从而实现了ASPICE合规性的持续监控。正在进行和未来的工作包括完成Beta测试研究、报告完整统计结果，以及研究SEM在持续合规性监控模式中的应用。
