编辑推荐:
在算法决策中,AI 信任备受关注,但系统可信度评估过程尚不明晰。研究人员开展了 AI 可信度评估模型(TrAM)的研究。结果提出了包含微观评估和宏观传播过程的 TrAM。该模型有助于理论研究,对系统设计、法规制定等有重要意义。
在当今数字化时代,人工智能(AI)如同一股强大的力量,渗透到生活的各个角落。从智能语音助手到医疗诊断辅助系统,AI 的身影无处不在。然而,AI 的可信度却成为人们心中的一大担忧。想象一下,当你依赖 AI 进行重要决策时,却不确定它是否可靠,这种感觉就像在迷雾中摸索前行,充满了不确定性。
目前,在 AI 的信任研究领域,存在着诸多难题。一方面,虽然信任在算法决策中至关重要,但人们对于如何准确评估 AI 系统的可信度知之甚少。实际可信度高的系统,可能因各种因素导致人们对其感知可信度低;反之,实际不可信的系统却可能被误判为可信。另一方面,现有研究对信任相关术语的使用和测量方式各异,缺乏统一的标准和清晰的概念界定,这使得该领域的研究陷入了混乱。此外,如何实现 “校准信任”,即优化人类和 AI 系统的联合性能,也面临着挑战,因为 “信任校准” 的概念定义和测量方法存在差异。
为了解决这些问题,来自未知研究机构的研究人员开展了关于 AI 可信度评估模型(Trustworthiness Assessment Model,TrAM)的研究。该研究成果发表在《Computers in Human Behavior》上,为 AI 信任研究带来了新的曙光。
研究人员采用了概念分析和模型构建的方法。通过借鉴心理学中人类评估他人特征的模型,将其转化应用于人类对 AI 系统的评估情境。同时,对相关文献进行梳理和分析,明确各概念之间的关系,构建出包含微观和宏观两个层面的 TrAM。
研究结果
- 微观层面 - 可信度评估过程:在微观层面,研究人员提出信任者无法直接评估系统的实际可信度(Actual Trustworthiness,AT),而是基于可用线索(Cues)进行评估,进而形成感知可信度(Perceived Trustworthiness,PT)。AT 是一个潜在的、不可直接观察的构念,由多个方面组成,如能力、仁慈和正直等,且受到系统特征和信任者个体标准的影响。PT 则是信任者对 AT 评估的结果,同样是潜在构念,可通过询问或观察等间接方式测量。线索作为 AT 和 PT 之间的桥梁,其相关性和可用性,以及信任者对线索的检测和利用能力,共同决定了可信度评估的准确性。例如,系统性能信息是与 AT 相关的重要线索,而品牌知名度与 AT 相关性较弱。若信任者因各种因素(如情绪、注意力等)无法有效检测和利用相关线索,就会导致评估不准确。
- 宏观层面 - 可信度传播过程:宏观层面的可信度传播过程表明,系统可信度评估并非孤立进行,而是众多利益相关者参与的复杂网络。不同利益相关者,如系统设计者、认证机构、部署者和终端用户等,在评估系统 AT 时会产生新的线索(Secondary Cues),这些线索会影响其他利益相关者的评估。例如,系统设计者提供的文档和性能指标,认证机构颁发的认证标签等,都是重要的线索。然而,这些线索可能存在不准确或不完整的情况,影响最终的可信度评估。
研究结论与讨论
研究提出的 TrAM 对信任研究具有重要意义。在概念层面,它明确区分了实际可信度、感知可信度、信任倾向、信任和信任行为等概念,有助于增强信任研究的概念清晰度,推动相关测量方法的改进。例如,现有的自动化信任量表存在测量内容混杂的问题,TrAM 的提出有助于重新审视和优化这些测量工具。
在与校准信任的关系方面,TrAM 为理解 “校准信任” 提供了新的视角。以往对校准信任的定义存在混淆,TrAM 明确指出校准信任不应简单等同于 AT 和 PT 的匹配、系统特征与信任的匹配或正确的信任行为,而是与准确的可信度评估密切相关。
从微观层面来看,为提高可信度评估的准确性,系统应提供更多相关线索,且需考虑线索的时效性和可用性;信任者应明确自身个体标准,提高线索检测和利用能力。例如,通过鼓励利益相关者表达个体标准,可帮助他们更好地评估系统。
在宏观层面,可信度传播过程强调了评估系统 AT 时需综合考虑对他人和机构的信任。政策制定者等应确保不同信任者的个体标准能在系统中得到体现,避免因线索误解导致评估不准确。例如,“可信 AI” 标签应明确相关个体标准,以减少信任者的误判。
尽管 TrAM 为 AI 可信度评估提供了理论框架,但也存在一定局限性。一方面,模型中的理论过程和概念难以测量,利益相关者可能无法准确表达个体标准或意识到线索的使用。另一方面,个体标准的差异性较大,虽有共同理解基础,但具体组合和权重因人而异。不过,这些局限性并不影响 TrAM 的重要价值,它为后续研究指明了方向,激发了更多关于 AI 可信度评估的探索。