人工智能医疗应用的产品评估方法研究:包括文本挖掘、博弈论混合权重融合算法,以及基于GRA–TOPSIS的替代排序技术

《Results in Engineering》:Engineering Evaluation of AI Healthcare Applications: Review Mining, Game-Theoretic Hybrid Weight Fusion, and GRA–TOPSIS-Based Alternative Ranking

【字体: 大 中 小 】 时间:2026年05月15日 来源:Results in Engineering 7.9

编辑推荐:

  欧阳妇女|范照辉|韩勇|王志环|陈玉琪|何玉玉|杜海敏 澳门城市大学创新与设计学院,中国澳门999078 摘要 随着生成式和嵌入式人工智能技术的迅速普及,人工智能应用的评估面临着指标来源分散、权重分配过于主观以及缺乏替代排名方法支持等挑战。本研究的创新之处在于构建了

  欧阳妇女|范照辉|韩勇|王志环|陈玉琪|何玉玉|杜海敏
澳门城市大学创新与设计学院,中国澳门999078

摘要
随着生成式和嵌入式人工智能技术的迅速普及,人工智能应用的评估面临着指标来源分散、权重分配过于主观以及缺乏替代排名方法支持等挑战。本研究的创新之处在于构建了一种针对人工智能医疗对话代理(AIMCAs)的闭环评估框架,该框架整合了评论挖掘、指标生成、混合权重分配和综合排名技术。基于过去六个月内应用商店评论中的用户反馈数据,本研究收集并清洗了7,041条有效评论。通过潜在狄利克雷分配(LDA)算法识别出三个关键主题,并结合评论挖掘结果、专家知识和标准化指标推导出18个评估维度。专家的主观权重采用PSO–FAHP方法确定,而用户评分的主观权重则通过改进的CRITIC方法计算得出。此外,还应用了博弈论组合权重分配和GRA–TOPSIS方法对候选方案进行比较。结果表明,在当前指标体系和权重设置下,四种AIMCA的优先级排序为C > D > A > B,其中方案C的综合接近系数最高(η = 0.5575)。与传统FAHP和熵权重方法相比,该方法在30次重复实验中的CR值更低(0.020 ± 0.002 vs. 0.034 ± 0.005),平均绝对误差(MAE)也更小(0.019 ± 0.002 vs. 0.031 ± 0.004和0.048 ± 0.008),计算时间平均为1.017 ± 0.115秒。敏感性分析显示,超过一半的权重扰动情况仍能保持原有排序,排名变化主要发生在少数高度敏感的指标上。总体而言,该框架能够将用户反馈转化为可操作的评估指标和候选方案优先级结果,同时在一致性、折中度和结构稳定性方面提供了应用级别的评估依据,为人工智能应用的设计优化、方案比较和后续验证提供了决策支持。

1. 引言
随着生成式和嵌入式人工智能技术广泛应用于医疗保健、教育、公共服务等领域,人工智能应用正逐渐融入复杂的工程服务系统。其性能不再仅由算法决定,而是受到软件功能、人机交互、运营风险、服务质量和治理要求等多方面因素的共同影响。从工程评估的角度来看,人工智能应用评估的核心不仅在于评估模型准确性,还在于将用户反馈、质量要求和风险属性系统地转化为可支持设计优化、方案比较和持续迭代的评估指标。因此,AIMCA评估可被视为一种工程设计和系统评估问题。作为面向实际医疗场景的人工智能应用系统,AIMCA的运营性能受界面功能、交互流程、信息服务质量、风险控制机制、隐私保护能力和持续治理要求等多方面共同影响。相应的评估框架需将碎片化的用户体验、功能需求、质量属性和风险认知转化为可用于设计优化和方案比较的评估指标,并生成支持产品迭代、系统比较和工程决策的排名结果。以往研究证明,应用评论挖掘能为需求工程、产品改进和应用发展提供实用依据,多标准决策模型在涉及多重冲突标准的复杂评估条件下具有较强适用性[8,11,62,64]。这一议题对医疗人工智能应用尤为重要,因为前端交互质量、信息可靠性、隐私保护和风险监控能力直接关系到系统的负责任部署和持续改进。近期关于数字健康和人工智能质量评估的研究表明,相关评估方法正朝着多维度、标准化和基于证据的方向发展,强调功能、可用性、隐私性、安全性、实施性和治理属性的协同考虑[21,31,73]。

在这一评估流程中,应用的设计与开发具有高度复杂性和不确定性,需求、候选方案和约束条件之间存在持续互动,这使得系统比较和选择成为影响最终性能的关键环节[64,66]。现有研究和实践框架致力于推动人工智能应用评估向多指标、可重现和可追溯的方向发展,注重功能与性能、鲁棒性与可靠性、可解释性与隐私安全、人机协作以及治理属性的协调整合[29]。当前应用级评估的发展重点是将用户反馈、指标构建、权重融合和候选方案排名整合到一个统一的流程中,标准化和一致性成为核心关注点[37]。在方法论层面,传统线性权重方法适用于结构清晰的数值指标集,而改进的混合权重方法则为语义相关、高度相关和结构复杂的指标系统提供了更为稳健和易解释的评估基础[28,67,72]。

在应用级系统评估方面,现有研究已在标准与质量模型、用户反馈挖掘和多标准决策方法三个领域奠定了重要基础。ISO/IEC 25010:2023和ISO/IEC TS 25011:2017为产品质量和服务质量提供了可量化的评估维度。用户评论挖掘研究表明,App Store和Android应用市场的评论能有效识别需求线索、使用痛点与功能缺陷,成为需求工程和演化设计的重要数据来源[25,26,1,11,41,43,61]。多标准决策方法在质量控制、参数优化和候选方案选择方面形成了较为成熟的方法体系[15,16,22,49,50,51,64]。这些研究为产品竞争力评估、设计方案比较和质量改进提供了实用依据。例如,LDA能从在线评论中提取用户需求、产品属性和改进线索;PSO–FAHP能在复杂需求条件下优化主观权重结构;改进的CRITIC和TOPSIS方法则应用于汽车造型设计评估和产品方案比较[8,60,62]。这些研究表明,将语义挖掘与多标准决策模型结合可以增强评估的证据基础、指标可解释性和候选方案比较能力。本研究进一步将此类方法框架扩展到人工智能医疗应用系统的应用级工程评估中。与传统产品竞争力评估或造型设计评估相比,AIMCAs涉及前端交互设计、医疗信息服务质量、风险控制、隐私保护、可解释性和持续性治理等多方面,因此需要用户生成内容、领域专家知识、标准化质量属性、目标用户评分、主观-客观权重融合以及可组织的连续可追溯的工程评估流程[12,47,53,63]。

由此可见,本研究旨在构建针对高风险、高交互性和强治理要求的人工智能医疗应用系统的连续工程评估框架,将用户反馈与评估指标、权重分配和候选方案排名联系起来。现有研究已在评论挖掘、质量模型、主观权重分配和客观权重分配等领域建立了基础。本研究将这些证据来源和评估阶段整合到同一应用级工程评估框架中,使每个方法模块对应于明确的设计评估任务。具体而言,LDA用于从用户评论中提取需求线索和体验痛点;文献梳理、专家验证和标准映射将语义证据转化为评估指标;PSO–FAHP用于校准关于医疗风险、隐私保护、可解释性和交互质量等高风险应用属性的专家判断;改进的CRITIC方法用于提取目标用户评分中的指标分布和冲突信息;博弈论组合权重分配用于协调主观权重与客观权重之间的差异;GRA–TOPSIS用于将加权指标结构转化为候选方案优先级结果。因此,本研究解决的问题在于如何将多源证据转化为人工智能医疗应用设计的工程评估指标,以及如何建立可追溯、可重现且以候选方案选择为导向的应用级工程评估流程。

基于此,本研究将人工智能医疗应用评估定义为一种工程决策支持问题,其工程属性体现在三个相互关联的任务上:首先,需要将应用商店中的用户生成内容转化为与设计优化相关的评估指标;其次,需要将用户反馈、专家判断、标准指标和目标用户评分整合为可追溯的权重结构,提高评估过程的透明度和可重现性;最后,需要综合排名结果以支持方案选择、产品迭代和设计改进。相关研究表明,用户评论挖掘能为需求工程、产品改进和应用发展提供实用依据,多标准决策模型在多重冲突标准条件下有效支持工程评估和方案选择[8,11,62,64]。在医疗人工智能应用的高风险背景下,评估问题需同时满足可解释性和基于证据的治理要求。研究表明,医疗人工智能的部署需满足性能、透明度、可解释性、可审计性和持续监控等方面的要求。临床相关系统的解释质量直接影响用户信任度、风险判断和采纳意愿,进而影响系统的可用性和治理接受度[39,47,52]。目前医疗人工智能治理研究正从基于原则的倡导转向操作框架,强调评估过程应包含公平性、鲁棒性、隐私安全、透明度和问责制,并通过多维度证据支持部署审查、风险分层和持续优化[9,53,63]。

本研究的核心创新在于构建了基于证据的AI医疗应用系统应用级工程评估框架。与主要依赖评论语义提取产品属性的LDA–MCDM模型、通用产品竞争力评估或传统设计方案比较方法相比,本研究构建了完整的AI医疗应用系统工程评估框架,整合了评论语义、文献证据、专家知识、标准指标、目标用户评分、主观-客观权重融合和候选方案排序,实现了用户需求、风险属性、质量标准、权重结构和候选方案优先级的统一评估。该框架首先通过用户评论的主题识别提取需求和体验证据,然后结合文献、专家知识和标准指标完成指标整合和结构验证,随后分别通过PSO–FAHP和改进的CRITIC方法生成专家和用户评分权重信息,并通过博弈论组合权重协调两者差异,最后利用GRA–TOPSIS生成候选方案优先级结果。因此,本文的贡献不仅在于构建了混合计算流程,还提供了支持AIMCA设计优化、系统评估和方案比较的工程决策支持功能[12,53,63]。在这个框架中,用户评论、专家判断和目标用户评分分别承担不同的证据功能:用户评论用于识别需求主题和生成评估指标;专家判断用于校准医疗风险、隐私安全、可解释性和交互质量等高风险应用属性;目标用户评分用于提取指标分布和冲突的客观信息。这三种类型的证据最终通过组合加权被纳入相同的评估权重结构中。此外,本研究选择人工智能医疗对话代理(AIMCAs)作为实证对象,因为这些系统处于前端用户交互、中高风险健康问题以及日益增加的治理关切的交叉点。在诸如分诊指导、药物咨询和健康管理等场景中,AIMCAs有潜力提高可访问性、响应性和用户参与度。同时,它们涉及准确性、偏见、隐私、安全性和信息质量等关键评估维度。因此,它们的评估系统需要涵盖技术有效性、用户体验、可解释性和治理属性[12,32,39,47]。基于这些特性,AIMCAs为检查应用级质量、用户体验和治理要求的协调评估提供了一个具有代表性的高需求场景。具体而言,本研究为AIMCAs构建了一个闭环评估框架,该框架将“评论语义–指标生成–混合加权–综合排名”联系起来,并在医疗AI的高风险环境中验证了应用级工程评估。本研究的具体贡献如下:(1)在现有用户评论挖掘和多标准决策研究的基础上,本研究构建了一种基于证据的指标生成路径,用于AI医疗应用的工程评估。它将评论主题识别、文献整合、专家验证和标准映射整合到一个二级评估指标系统中,从而为应用级质量评估和设计优化提供了结构化基础。(2)本研究开发了一个闭环工程决策支持过程,将用户侧证据与替代排名结果联系起来。通过整合用户证据、标准化质量要求、专家判断、目标用户评分、主客观权重融合和替代排名,所提出的过程支持AIMCA场景中的应用替代比较、产品迭代和设计优化。(3)本研究提出并验证了一种混合评估方案,该方案整合了PSO–FAHP、改进的CRITIC方法、博弈论组合权重和GRA–TOPSIS,为工程评估、基准比较和AI驱动的应用系统替代排名提供了一种操作方法工具。本文的其余部分组织如下。第2节解释了所提出方法和模型的理论基础以及引入的模型结构框架。第3节介绍了具体的实验设计和程序,并阐述了整体方法论框架。第4节报告了使用所提方法和模型进行的案例研究,以及结果和分析。此外,本节还将所提出的方法与其他主流方法进行了比较,并进行了敏感性分析。最后,第5节简要讨论了实证结果并概述了未来研究的方向。

2. 方法
为了提高方法部分的可读性,本研究从任务分解的角度解释了每种方法在整体框架中的功能边界,除了展示正式推导之外。本研究采用的方法论组合并不是为了增加数学复杂性;相反,它是围绕“证据提取–指标生成–权重计算–权重融合–替代排名”的工程评估链组织的。具体来说,LDA用于从用户评论中识别潜在主题,并为指标生成提供用户侧的语义证据。PSO–FAHP用于根据专家判断优化模糊判断矩阵的一致性,从而生成专家侧的主观权重。改进的CRITIC方法用于从目标用户评分数据中提取指标分散性和冲突的信息,从而生成用户评分侧的目标权重。博弈论组合权重用于协调主观权重和客观权重之间的信息差异。然后在确定权重后,应用GRA–TOPSIS完成多个替代方案的综合排名。这样,每种方法对应于评估链中的一个特定任务节点,它们共同支持“评论语义–指标生成–权重融合–综合排名”的实验逻辑。这种设计允许用户证据在两个阶段进入评估过程。应用商店评论通过LDA进入指标生成阶段,用于识别用户需求、与体验相关的痛点以及功能问题。目标用户评分数据通过改进的CRITIC方法进入目标权重阶段,用于提取指标级别的分散性和冲突信息。专家判断对医疗AI的高风险属性起到了领域校准的作用,特别是通过补充与医疗信息可靠性、隐私保护、风险监控、可解释性和责任相关的属性。关于医疗AI评估的相关研究也强调,高风险的AI医疗系统的评估应结合用户体验证据、专业知识、风险治理和持续监控要求,以提高评估过程的透明度、可解释性和可实施性[12,53,63]。

在方法论设计方面,本研究强调模块化互补性和可解释性,而不是使用单一复杂模型来取代整个评估过程。现有研究表明,LDA可以从大规模文本中提取潜在主题结构并支持用户需求的识别[5,11]。FAHP及其优化变体适合解决专家判断中的模糊性和一致性问题,而PSO可以进一步提高复杂权重搜索过程的全局优化能力[6,60]。CRITIC可以从指标变化和指标间的冲突中提取客观权重信息,改进的CRITIC方法也已在工程设计评估场景中应用[7,62]。TOPSIS及其与GRA的结合形式适合多标准替代比较和优先级排名,因为它们可以同时使用与理想解决方案的距离和指标轨迹的相似性信息[51,65]。因此,本研究采用的方法论组合对应于多源证据驱动评估的分阶段任务要求。

2.1. 潜在狄利克雷分配(LDA)
潜在狄利克雷分配(LDA)是一种针对离散数据(特别是文本语料库)的生成概率主题模型[5]。基本思想是每个文档可以表示为几个潜在主题的概率混合,每个主题对应于词汇表上的概率分布。通过这种方式,模型通过三层文档主题词结构实现了语义维度的降低和主题识别[5]。

参考图1所示的LDA概率图模型,假设语料库包含N个文档,即本研究中考虑的用户评论,文档i包含Ni个单词。主题的数量预设为K。给定超参数向量α和β,整个语料库在LDA下的生成概率可以写成方程(1)。(1)p(w|α,β)=∏i=1N∫p(θi|α)(∏j=1Ni∑Zi,j=1Kp(zi,j|θi)p(wi,j|zi,j,β))dθi
下载:下载高分辨率图片(123KB)
下载:下载全尺寸图片
图1. LDA概率图模型。
在方程中,N是文档(用户评论)的总数;Ni是第i条评论中包含的单词数量;w?=?{wi, j}表示所有观察到的单词集合,其中wi, j是第i条评论中的第j个单词;zi, j是第i条评论中第j个单词的潜在主题标签;θi是第i条评论的文档主题分布向量,反映该评论由每个主题组成的比例;?k是第k个主题的主题词分布向量,反映该主题下每个单词的概率;α和β是文档主题分布和主题词分布的狄利克雷超参数;p(zi, j∣θi)表示在给定文档级别主题分布θi的情况下抽取第j个单词位置的概率,p(wi, j∣zi, j, β)表示在主题zi, j下生成特定单词wi, j的概率。

近年来,LDA已被广泛用于在线评论、社交媒体文本和服务反馈数据中的主题识别和需求挖掘。在数字健康领域,研究人员已将LDA应用于移动健康应用和慢性病管理应用的用户评论中,以提取用户满意度、功能需求和使用痛点的维度,这些维度随后被用作构建满意度或服务质量评估框架的基础[20]。在更广泛的在线平台和服务背景下,LDA经常用于从电子商务平台及相关服务的评论中识别产品属性、上下文特征和改进方向,例如从在线评论中提取可测量的产品特征以支持后续的设计评估或质量功能部署[8]。此外,在一些远程医疗设置中,研究人员使用LDA从社交媒体平台上挖掘主题,以识别用户关切和潜在需求[36]。总体而言,作为一种成熟可靠的概率主题模型,LDA已被证明非常适合文本识别和主题挖掘。然而,在AI驱动的应用设计领域,特别是对于AI应用的系统和多维度设计评估及决策支持,基于LDA的用户需求识别和指标构建仍然相对不成熟。现有研究大多集中在缺陷定位、情感分析或单维度满意度分析上,很少有研究考察了将评论语义、指标系统、权重计算和决策排名联系起来的完整链条。作为回应,在一个更广泛的AI应用框架内,本研究选择AIMCAs作为代表性研究对象,并将LDA应用于应用商店的用户评论中,进行主题挖掘和指标聚合。基于可追溯的用户需求,我们构建了一个科学基础上的评估指标系统,为后续的混合权重和多属性决策模型提供数据驱动的理论支持。

2.2. PSO-FAHP模型
层次分析法(AHP)是一种结合定性和定量评估的决策分析方法,已广泛应用于多目标、多标准和非结构化复杂决策问题[48]。然而,传统的AHP在处理决策者主观偏好方面存在认知限制,无法充分捕捉语言判断中的固有模糊性和不确定性。为了解决这个问题,研究人员将模糊集理论引入AHP,形成了模糊层次分析法(FAHP),它在主观判断和定量权重之间建立了映射,更好地反映了认知模式[42]。近年来,FAHP已广泛应用于交通工程、能源系统和健康相关领域的多指标评估和权重提取。与传统AHP相比,它表现出更好的鲁棒性和可解释性,并且已被证明能够产生更符合用户体验的指标权重结构[3,58]。因此,遵循先前的工作[60],本研究采用基于模糊一致性矩阵的FAHP方法,其严格的数学属性非常适合工程实践中的程序实现。

尽管FAHP改进了模糊判断的表示,但它仍有一定的局限性。在实践中,评估专家提供的模糊判断矩阵往往不一致或缺失条目,在满足互补性和传递性条件之前需要多轮手动修改[60]。同时,该方法仍然严重依赖于主观输入,并且其本质上静态的分析特性使其难以适应当代复杂系统的非线性演化模式[69]。为了解决这些问题,相关研究通过结合智能优化算法改进了该方法。通过基于完全一致模糊矩阵的定义和属性施加约束,这些方法不仅可以获得理想一致的解决方案,还可以显著降低计算成本,从而确保最优解的可行性[6]。目前,合适的智能优化算法包括粒子群优化(PSO)、遗传算法、基于神经网络的算法和蚁群优化等。

近年来,一些研究人员直接将粒子群优化(PSO)算法嵌入到FAHP加权过程中。一方面,PSO用于自动调整模糊互补判断矩阵的元素,使矩阵尽可能接近专家的原始判断,同时满足互补性和近似传递性。另一方面,在优化过程中同时解决每个层次的指标优先权重,避免了传统FAHP中的分离过程,即首先手动调整矩阵,然后计算特征向量。实证研究表明,这种PSO-FAHP模型可以大幅减少判断矩阵的不一致性,并提高派生权重与实际性能指标之间的相关性,例如在产品竞争力评估、新研发机构的绩效评估和数字电网的风险识别等领域[60,70]。这些研究证实了PSO在复杂工程系统中的多目标优化潜力。鉴于人工智能应用设计评估也涉及多层次和多属性的复杂决策问题,结合使用PSO-FAHP预计可以提高权重估计的稳健性和可重复性,同时充分利用专家知识。因此,这是一种更有效和可靠的方法,据我们所知,这种方法尚未应用于应用和人工智能应用设计决策领域。PSO是一种基于种群的全局优化算法,其灵感来源于鸟群觅食行为模型,用于在连续或离散的解空间中高效搜索最优解[30]。在PSO中,优化问题被映射到一个多维搜索空间,该空间中的每个候选解对应一个粒子。第p个粒子有一个由目标函数确定的适应度值,并在解空间中通过位置向量和速度向量表示,这两个向量描述了它的当前位置和移动趋势。在算法的初始阶段,粒子群随机分布在整个解空间中。在迭代过程中,每个粒子记录其历史中达到的最佳位置(个人最佳值),并感知整个粒子群或其邻域当前找到的最佳位置(全局或局部最佳值)。然后根据这两种类型的信息动态更新其速度和位置。通过重复迭代,粒子群逐渐向解空间中更有希望的区域收敛,每个粒子的运动状态逐步调整,直到达到预定义的收敛标准或最大迭代次数。与遗传算法等传统进化方法相比,PSO不依赖于交叉和变异等复杂操作符,所需的参数设置相对简单,并且具有实现简单和收敛速度快等优点,同时保持强大的全局搜索能力。PSO的基本过程如图2所示。

在这项研究中,FAHP方法与粒子群优化算法结合,构建了PSO-FAHP权重框架,用于计算人工智能应用评估指标系统中的主观权重。具体实施步骤如下:
首先,构建了一个模糊互补判断矩阵。根据专家对每个次要指标的成对比较得分,使用0.1到0.9的量表构建了一个模糊互补判断矩阵,如方程(2)所示。
(2)P=(pij)n×n,i,j=1,...,n
其中P=(pij)n×n表示相应层次的指标的模糊互补判断矩阵,n是该层次的指标数量。元素pji表示指标i相对于指标j的模糊偏好程度。矩阵P满足pji + pji = 1,pii = 0.5,且0.1 ≤ pij ≤ 0.90。具体来说,pij > 0.5表示指标i比指标j更重要;pji = 0.5表示两个指标同等重要;pji < 0.5表示指标j比指标i更重要。这种设置与模糊互补判断矩阵的基本属性一致,能够将专家的语言判断转换为可计算的偏好矩阵[6,60]。
其次,定义了一个一致性目标函数。设该层次指标的权重向量为方程(3)所示。
(3)wS=(w1,w2,...,wn)T,wi>0,∑i=1nwi=1
其中w=(w1, w2, …, wn)T表示相应层次的指标权重向量,wi表示第i个指标的权重,满足wi > 0且∑i=1nwi=1。在PSO-FAHP中,权重向量w和模糊判断矩阵P中需要优化的元素共同构成了粒子位置向量。
在模糊互补FAHP中,理论上可以从权重中得出完全一致的偏好值,如方程(4)所示。
(4)p^ij=0.5+b(wi?wj)
其中p?ij表示在给定权重向量w下得出的理论一致偏好值,b是比例系数,满足0 < b ≤ 0.50。该表达式用于将权重差异映射为模糊偏好值,从而确保理想偏好矩阵和权重结构之间的一致性。
(5)CIF(n)=1n2∑i=1n∑j=1n(0.5+b(wi?wj)?pij)2
其中CIF(n)表示相应层次判断矩阵的一致性指数函数;pij是专家提供的原始模糊偏好值;p?ij是从权重向量w得出的理论一致偏好值;n是该层次的指标数量。CIF(n)用于衡量专家判断矩阵与理论一致判断矩阵之间的偏差。较小的值表示矩阵更接近完全一致的状态。
在PSO-FAHP中,PSO的优化标准定义为最小化一致性指数函数CIF(n)。因此,在解码后,每个由粒子表示的候选解决方案被代入CIF(n)以计算其适应度值。较小的适应度值表示候选判断矩阵与权重向量之间的一致性更高。本研究的优化目标如方程(6)所示。具体来说,在模糊互补性、权重规范和值范围的约束下,目标是确定最小化CIF(n)的模糊判断矩阵和权重向量。
(6)minwSCIF(n)
其中F表示PSO的适应度函数,在本研究中F=CIF(n)。术语pji和wi是粒子位置向量中需要优化的决策变量。约束包括pji + pji = 1,pii = 0.5,0.1 ≤ pij ≤ 0.90,wi > 0,且∑i=1nwi=1。当全局最佳粒子的CIF(n)值达到预定义阈值或算法达到最大迭代次数时,优化过程终止。该程序可以在保留专家提供的原始判断信息的同时,提高判断矩阵的一致性和权重计算的可重复性[6,60,70]。
第三,进行了粒子编码和基于PSO的求解。在PSO-FAHP模型中,每个粒子代表一个模糊判断矩阵和权重向量的候选组合。由于模糊互补判断矩阵满足pji + pji = 1和pii = 0.5,因此只需要编码判断矩阵上三角区域中的独立元素。对于一个n×n的模糊互补矩阵,独立偏好元素的数量是n(n-1)/2。因此,第i个粒子在第t次迭代时的位置向量可以表示为方程(7)。在本段中提出的PSO更新方程中,i表示粒子索引,d表示粒子位置向量的维度,t表示迭代次数;在模糊判断矩阵pij中,i和j表示指标索引。
(7)xi(t)=(xi1(t),...,xid(t))
位置向量对应于一组候选模糊偏好值{pij}和权重值{wi}。在每次迭代中,粒子位置被解码为矩阵P和权重向量w,并且权重向量被规范化以满足∑i=1nwi=1。第i个粒子的速度向量如方程(8)所示。
(8)vi(t)=(vi1(t),...,vid(t))
标准PSO的更新方程如方程(9)所示。
(9)vid(t+1)=ωvid(t)+c1r1(pid(t)?xid(t))+c2r2(gd(t)?xid(t)),xid(t+1)=xid(t)+avid(t+1)
其中vid(t)表示第t次迭代时第i个粒子在第d维上的速度,xit(t)表示第t次迭代时第i个粒子在第d维上的位置,pid(t)表示该粒子在历史搜索过程中获得的历史最佳位置,gd(t)表示整个粒子群在第d维上的全局最佳位置。此外,ω是惯性权重,c1和c2是学习因子,r1和r2是区间[0, 1]内的随机数,a是位置约束因子。每次更新后,粒子位置被映射回允许的值范围,并重新计算CIF(n)作为适应度值。如果粒子的适应度值优于其历史最佳值,则更新pbest;如果其适应度值优于当前全局最佳值,则更新gbest。
迭代过程继续进行,以最小化CIF(n)为目标,直到满足以下条件之一:达到最大迭代次数,CIF(n)的变化连续几次低于预定义的收敛阈值,或全局最佳解达到预定义的一致性水平。最后,将对应于gbest的权重向量作为该层次指标的专业主观权重。
最后,获得了最优的模糊判断矩阵和主观权重。一旦PSO过程收敛,与全局最佳粒子相关的权重向量wS被视为该层次指标的主观权重。对于具有多层次结构的评估系统,上述PSO-FAHP过程分别应用于每个层次以获得局部权重,然后使用层次组合方法得出底层指标的全球主观权重。这些权重作为后续与来自改进的CRITIC方法得出的客观权重和基于GRA-TOPSIS的综合评估的输入。PSO-FAHP模型的构建过程如图3所示。

2.3. 改进的CRITIC和组合加权
在本研究的实验程序中,权重计算分为三个连续步骤:专家主观加权、用户评分客观加权和博弈论组合加权。PSO-FAHP用于表示专家对高风险应用属性(如医疗信息可靠性、隐私安全、风险监控、可解释性和交互质量)的结构化判断,并通过粒子群优化提高模糊判断矩阵的一致性。改进的CRITIC方法用于从目标用户评分数据中提取指标分散性和指标间冲突的信息,从而生成用户评分客观权重。这两种方法对应于两种证据来源,即领域知识校准和用户数据证据,随后通过博弈论组合加权结合到一个统一的权重结构中。因为应用产品设计评估中的用户评分通常包含分散信息和相关性结构,本研究在客观加权阶段引入了改进的CRITIC方法,以提供补充专家判断的客观加权基础,并为后续的组合加权和替代排名提供输入[2,7,62]。
CRITIC方法通过相关系数考虑评估指标之间的相互关系,在计算客观权重方面具有明显的优势[59]。它通过标准差和相关系数确定指标的客观权重,并同时考虑指标的相对强度和冲突程度。相对强度通过数据的标准差来量化,这反映了每个指标的信息含量。标准差越大,信息含量越高,对应的权重也越高。相比之下,指标之间的冲突基于它们的相关性来评估。较强的相关性表示冲突较弱,权重较低;而较弱的相关性表示冲突较强,权重较高[7]。CRITIC方法也被广泛应用于智能健康及相关领域的产品优先级排名研究中[34],这为在其本研究中的应用提供了坚实的基础。
然而,传统的CRITIC方法有一定的局限性。它主要关注指标之间的冲突和对比强度,而对指标值的分散性关注较少。因此,根据相关研究[62],我们引入了信息熵的概念来改进CRITIC方法。信息熵非常适合量化离散随机事件的概率分布,并能有效衡量评估指标之间的分散程度。在本研究中,熵被整合到现有的CRITIC程序中,形成更为全面的目标加权方法。具体步骤如下:
首先,计算第j个指标gj的信息熵δj,如方程(10)所示。
(10)δj=?1lnm∑j=1mgij∑j=1mgijlngij∑j=1mgij,i=1,2,...m,j=1,2,...n
在这个方程中,gij表示决策矩阵中的值。
其次,计算指标gj和gk之间的相关系数tjk,如方程(11)所示。
(11)tjk=1?2×[dΔ(φj,φk)]N(N?1)
在这个方程中,dΔ(φj,φk)表示指标j和k之间的对称差异距离,这是在由两个有序对φj和φk组成的集合上定义的,N表示该集合中的对象数量。
第三,因为相关系数可能取负值,我们在评估相关性程度时关注其大小。因此,相关系数的绝对值被用来计算第j个位置上指标gj的信息度量Cj,如方程(12)所示。(12)Cj=(σj+δj)∑k=1n1?|tjk|在方程中,σj表示第j个位置上指标gj的标准差。在第四步中,计算第j个位置上指标gj的权重wO,如方程(13)所示。(13)wjO=Cj∑j=1nCj=(σj+δj)∑k=1n1?|tjk|∑i=1n(σj+δj)∑k=1n1?|tjk|改进的CRITIC方法同时考虑了分散度和非线性等级相关下的冲突程度。通过强制非负性,它避免了相关符号对权重的误导性影响,并在处理多维和非正态评估数据时使权重更加稳健。在获得专家主观权重wS和用户评分权重wO之后,采用了博弈论组合加权来协调这两种权重信息。具体来说,首先通过基于LDA的主题识别和“主题关键词锚定–文献整合–专家验证–标准映射”的程序将7,041条应用商店评论转换成评估指标。然后使用PSO–FAHP通过专家问卷生成高风险属性的主观权重,而目标用户评分数据则使用改进的CRITIC方法处理以获得反映指标分散度和冲突关系的客观权重。因此,在本研究中,博弈论组合加权起到了结构化协调主观权重和客观权重的作用。其基本原理是在相同的优化框架内最小化组合权重向量与来自不同来源的权重向量之间的整体偏差,然后通过标准化组合系数生成最终权重。这一程序使得专家知识、用户评分证据和嵌入在指标数据中的结构信息能够在统一的权重系统中得到平衡表达,适合于多源权重信息和复杂工程评估场景的整合[33,35]。具体步骤如下。首先,构建组合权重向量,如方程(14)所示。(14)w3T=a1w1T+a2w2T在这个表达式中,w1T表示初始主观权重向量,即之前计算出的wS;w2T表示客观权重向量,即之前计算出的wO;w3T表示最终组合权重向量。为了优化这两个线性组合系数,制定了一个目标函数,如方程(15)所示。(15)min∥∑v=12avwvT?wzT∥2(z=1,2)接下来,对方程(15)进行微分,并利用矩阵微分的性质,等价地将其转换为关于一阶导数的条件,得到方程(16)。[w1·w1Tw1·w2Tw2·w1Tw2·w2T]×[α1α2]=[w1·w1Tw2·w2T]然后,解方程(16)以获得最终组合系数ah(h=1,2)。接着对方程(16)得到的系数进行标准化,如方程(17)所示。(17)ah*=|ah|∑h=12|ah|最后,使用标准化后的系数计算组合权重系数,以获得最终权重组合,如方程(18)所示。(18)w3T=a1*w1T+a2*w2T如方程(14)–(18)所示,博弈论组合加权通过解决组合系数来协调专家主观权重和用户评分客观权重。对于AIMCA评估,专家权重捕捉了关于医疗信息可靠性、隐私保护、安全风险、可解释性和交互质量等高风险属性的专业判断,而用户评分权重反映了指标分散度和目标用户评估数据中嵌入的相关结构。博弈论组合加权将这两种类型的信息整合到一个统一的权重向量中,从而为后续基于GRA–TOPSIS的替代排名提供了权重基础,这一排名得到了专业校准和数据结构证据的支持。先前的研究表明,博弈论组合加权适用于多源权重融合和复杂系统评估,并已应用于环境质量评估和城市灾害脆弱性评估等工程领域[33,35]。2.4. GRA-TOPSIS模型在确定了指标权重之后,需要一个稳健的综合评估框架来对这些方案进行优先排序。在多标准决策(MCDM)中,TOPSIS被广泛采用,因为它实现简单,并且同时利用了几何概念,即理想的替代方案应该接近正理想解(PIS)并远离负理想解(NIS)。其局限性在于,当一个替代方案同时接近PIS和NIS,或者标准之间存在强相关性时,仅依赖欧几里得距离可能会提供不足的区分能力,这反过来会影响排名的稳定性[65]。为了提高区分能力和稳健性,可以将灰色关系分析(GRA)纳入TOPSIS框架中。GRA通过比较指标轮廓的形状或趋势的相似性来评估替代方案与参考序列之间的灰色关系程度,从而捕捉到仅使用基于距离的度量可能忽略的模式关系。GRA-TOPSIS方法结合了GRA捕获的曲线相似性和TOPSIS中的理想解接近度。这种组合减少了多重共线性对排名的影响,并提高了性能接近的替代方案之间的区分度。尽管最近的研究已经验证了这种混合方法的有效性[45],但其在人工智能应用设计评估中的应用仍然有限。GRA-TOPSIS评估模型的详细步骤如下。为了确保符号定义的一致性,在GRA–TOPSIS计算中使用了以下符号。M表示替代方案的数量,n表示评估指标的数量,G=[gij]M×n表示原始决策矩阵,其中gij表示第i个替代方案在第j个指标下的原始评估值。X=[xij]M×n表示标准化矩阵,Z=[zij]M×n表示加权标准化矩阵。wj表示第j个指标的组合权重。J+和J-分别表示收益型和成本型指标的集合。对于收益型指标,较大的值表示更好的评估性能;对于成本型指标,较小的值表示更好的评估性能。TOPSIS通过计算替代方案与正理想解和负理想解的距离来表征它们的性能,而GRA通过灰色关系程度来表征每个替代方案的指标轮廓与理想序列之间的相似性。这两种方法的结合因此可以为多指标替代方案的比较提供全面的排名基础[45,51,65]。首先,构建组合权重向量,如方程(14)所示。(14)w3T=a1w1T+a2w2T在这个表达式中,w1T表示初始主观权重向量,即之前计算出的wS;w2T表示客观权重向量,即之前计算出的wO;w3T表示最终组合权重向量。为了优化这两个线性组合系数,制定了一个目标函数,如方程(15)所示。(15)min∥∑v=12avwvT?wzT∥2(z=1,2)接下来,对方程(15)进行微分,并利用矩阵微分的性质,等价地将其转换为一阶导数的条件,得到方程(16)。[w1·w1Tw1·w2Tw2·w1Tw2·w2T]×[α1α2]=[w1·w1Tw2·w2T]然后,解方程(16)以获得最终组合系数ah(h=1,2)。接着对方程(16)得到的系数进行标准化,如方程(17)所示。(17)ah*=|ah|∑h=12|ah|最后,使用标准化后的系数计算组合权重系数,以获得最终权重组合,如方程(18)所示。(18)w3T=a1*w1T+a2*w2T如方程(14)–(18)所示,博弈论组合加权通过解决组合系数来协调专家主观权重和用户评分客观权重。对于AIMCA评估,专家权重捕捉了关于医疗信息可靠性、隐私保护、安全风险、可解释性和交互质量等高风险属性的专业判断,而用户评分权重反映了指标分散度和目标用户评估数据中嵌入的相关结构。博弈论组合加权将这两种类型的信息整合到一个统一的权重向量中,从而为基于GRA–TOPSIS的后续替代排名提供了权重基础,这一排名得到了专业校准和数据结构证据的支持。先前的研究表明,博弈论组合加权适用于多源权重融合和复杂系统评估,并已应用于环境质量评估和城市灾害脆弱性评估等工程领域[33,35]。2.4. GRA-TOPSIS模型在确定了指标权重之后,需要一个稳健的综合评估框架来对替代方案进行优先排序。在多标准决策(MCDM)中,TOPSIS被广泛采用,因为它实现简单,并且同时利用了几何概念,即理想的替代方案应该接近正理想解(PIS)并远离负理想解(NIS)。其局限性在于,当一个替代方案同时接近PIS和NIS,或者标准之间存在强相关性时,仅依赖欧几里得距离可能会提供不足的区分能力,这反过来会影响排名的稳定性[65]。为了提高区分能力和稳健性,可以将灰色关系分析(GRA)纳入TOPSIS框架中。GRA通过比较指标轮廓的形状或趋势的相似性来评估替代方案与参考序列之间的灰色关系程度,从而捕捉到仅使用基于距离的度量可能忽略的模式关系。GRA-TOPSIS方法结合了GRA捕获的曲线相似性和TOPSIS中的理想解接近度。这种组合减少了多重共线性对排名的影响,并提高了表现相近的替代方案之间的区分度。尽管最近的研究已经确认了这种混合方法的有效性[45],但其在人工智能应用设计评估中的应用仍然有限。GRA-TOPSIS评估模型的详细程序如下。为了确保符号定义的一致性,在GRA–TOPSIS计算中使用了以下符号。M表示替代方案的数量,n表示评估指标的数量,G=[gij]M×n表示原始决策矩阵,其中gij表示第i个替代方案在第j个指标下的原始评估值。X=[xij]M×n表示标准化矩阵,Z=[zij]M×n表示加权标准化矩阵。wj表示第j个指标的组合权重。J+和J-分别表示收益型和成本型指标的集合。对于收益型指标,较大的值表示更好的评估性能;对于成本型指标,较小的值表示更好的评估性能。TOPSIS通过计算替代方案与正理想解和负理想解的距离来表征它们的性能,而GRA通过灰色关系程度来表征每个替代方案的指标轮廓与理想序列之间的相似性。因此,这两种方法的结合可以为多指标替代方案的比较提供全面的排名基础[45,51,65]。首先,构建了加权标准矩阵。设替代方案的数量为M,评估指标的数量为n。原始决策矩阵为G=[gij]M×n,其中gij表示第i个替代方案在第j个指标下的观测值。矩阵G经过Max Min标准化得到X=[xij]M×n。详细公式如下所示(19)和(20)。(19)xij={gij?minigijmaxigij?minigij,j∈J+(20)xij={maxigij?gijmaxigij?minigij,j∈J-在这些方程中,i=1,..., M 和 j=1,..., n。J+表示收益型指标的集合,J-表示成本型指标的集合,maxigij和minigij分别是所有替代方案中指标j的最大值和最小值。然后将权重应用于标准化矩阵,得到加权矩阵Z=[zij]M×n,如方程(21)所示。(21)zij=xij*wj,i=1,...,M;j=1,...,n在这个方程中,w是之前获得的组合权重列向量。其次,基于加权标准评估矩阵,构建了理想解,如方程(22)和(23)所示。(22)zj+=maxizij(j∈J+),zj+=minizij(j∈J-)(23)zj?=minizij(j∈J+),zj?=maxizij(j∈J-)在这些方程中,zj+和zj-分别表示指标j的正理想值和负理想值。第三,计算每个替代方案与正理想解和负理想解之间的欧几里得距离,如方程(24)所示。(24)Di+=∑j=1n(zij?zj+)2,Di?=∑j=1n(zij?zj?)2在这个方程中,Di+表示替代方案i到PIS的距离,Di?表示替代方案i到NIS的距离;较小的Di+和较大的Di-表示更理想的替代方案。第四,计算每个替代方案与正理想解和负理想解之间的灰色关系程度。设Δij+ = |zj+ ? zij| 和 Δij? = |zij ? zj?| 分别表示第i个替代方案在第j个指标下与正理想解和负理想解之间的绝对差异。Δmin和Δmax分别表示所有替代方案和所有指标之间的最小和最大差异值,ρ是区分系数,通常设置为0.5。根据这些定义,可以得到每个替代方案相对于正理想解和负理想解的灰色关系系数,如方程(25)–(26)所示。(25)Ri+=1n∑j=1nminp,j|zpj?zj+|+ξmaxp,j|zpj?zj+||zij?zj+|+ξmaxp,j|zpj?zj+|(26)Ri?=1n∑j=1nminp,j|zpj?zj?|+ξmaxp,j|zpj?zj?||zij?zj?|+ξmaxp,j|zpj?zj?|其中ξij+表示替代方案i相对于正理想解在指标j下的灰色关系系数,ξij?表示替代方案i相对于负理想解在指标j下的灰色关系系数。然后对所有指标的灰色关系系数取平均,得到替代方案i相对于正理想解和负理想解的平均灰色关系程度Ri+和Ri-。较大的Ri+表示替代方案的指标轮廓更接近正理想解,而较大的Ri-表示替代方案的指标轮廓更接近负理想解。第五,为了将距离信息和相似性信息纳入同一个综合接近度计算框架中,对欧几里得距离和灰色关系程度进行无量纲化。方程(27)用于标准化每个替代方案与正理想解和负理想解之间的欧几里得距离,而方程(28)用于标准化每个替代方案与正理想解和负理想解之间的灰色关系程度。通过这个程序,基于距离的信息和基于关系的信息可以共同贡献于在统一尺度下计算综合接近度。(27)di+=Di+maxpDp+,di?=Di?maxpDp?(28)ri+=Ri+maxpRp+,ri?=Ri?maxpRp?其中标准化距离结果用于表征每个替代方案在接近正理想解和远离负理想解方面的性能,而标准化灰色关系程度用于表征每个替代方案的指标轮廓与正理想解和负理想序列之间的相似性。标准化距离信息和灰色关系信息共同为综合接近度的计算提供了基础。第六,计算了综合接近度并确定了替代方案的排名。在本研究中,使用参数λ和μ通过加权融合来整合TOPSIS距离信息和GRA相似性信息,其中λ + μ = 1 且 λ, μ ∈ [0, 1]。在本研究中,这两种信息被认为具有同等的信息量;因此,采用λ = μ = 0.5。综合接近度ηi按照方程(29)计算。(29)ηi=λdi?+μri+λ(di++di?)+μ(ri++ri?),i=1,...,M其中ηi表示替代方案i的综合接近度。较大的值表示替代方案在接近正理想解、远离负理想解以及指标轮廓相似性方面的整体性能更好。最终按照ηi的降序确定了替代方案的优先排名。总之,第2节介绍的方法在实验中执行了四个顺序任务。首先,它们从应用评论中提取主题结构并建立指标生成的语义基础。其次,它们从专家问卷中得出主观权重并完成一致性优化。第三,它们从目标用户评分中计算客观权重并整合主观权重和客观权重。第四,它们对候选替代方案进行综合比较并生成最终排名结果。基于这一逻辑,第3节进一步详细介绍了数据来源、指标桥接、问卷设计和评估程序的实现。2.5. 方法组合的理论依据和简约性本研究使用的方法组合遵循“最小充分模块”的设计逻辑;也就是说,每个方法模块在评估链中只承担一个核心任务,这些模块一起形成了从用户证据到替代方案排名的连续过程。具体来说,使用LDA从7,041条用户评论中提取潜在的需求主题;使用文献整合、专家验证和标准映射将主题语义转换为评估指标;使用PSO–FAHP生成专家主观权重并优化判断一致性;使用改进的CRITIC方法从目标用户评分数据中得出客观权重;使用博弈论组合加权来协调主观权重和客观权重;使用GRA–TOPSIS生成多个替代方案的综合排名。因此,所提出的方法链对应于“证据提取–指标构建–主观加权–客观加权–组合加权–替代排名”的分阶段评估任务,使得每个方法模块在同一个工程评估链中都能承担明确的职能。从理论角度来看,LDA适用于在大规模评论文本中识别潜在的主题结构,从而为需求识别和指标生成提供了语义基础[5,11]。FAHP可以处理专家判断中固有的模糊性,而PSO可以优化判断矩阵的一致性和复杂搜索空间内的权重解的稳定性[6,60]。CRITIC方法可以通过同时考虑指标变化和指标间的冲突来推导出客观权重,这使得它适用于多指标工程评估中的数据端权重计算[7,62]。博弈论组合加权可以用来协调不同权重来源之间的信息差异,使专家知识和用户评分数据在同一权重结构中得到平衡表达[33,35]。GRA–TOPSIS方法可以将与理想解的距离与灰色关联度相结合,从而为多选项比较提供全面的排序依据[51,65]。这些方法服务于评估过程的不同阶段,并共同构成了AIMCAs应用级工程评估的模块化证据链。关于模型有效性测试,结果部分包含了比较验证和敏感性分析,以检验组合框架在内部参考一致性、权重稳定性和工程可实现性方面的表现。具体来说,在相同的指标系统和输入数据条件下,提出的方法与传统的FAHP和熵权重方法进行了比较,使用MAE、CR和计算时间作为评估指标。MAE用于衡量不同权重方法与内部折中参考向量之间的一致性程度;CR用于评估判断矩阵和权重求解过程的一致性水平;计算时间用于评估每种方法的工程实现成本。这种比较设计旨在检验所提出方法在平衡内部参考一致性、权重稳定性、可解释性和实施效率方面的整体表现,并为后续的敏感性分析提供方法论上的支持。

3. 实验设计与程序
本研究开发的设计评估模型的工作流程如图4所示。首先,对市场上现有的AIMCA平台进行了初步市场调查。然后通过Python深入挖掘从应用商店收集了多个目标应用的用户评价数据,之后对数据集进行了预处理和清洗。接下来使用Jieba词分割对评论文本进行分词并标注词汇项,并利用LDAvis工具可视化在线评论的主题聚类。在此基础上,遵循“主题关键词锚定–文献聚合–专家验证–标准映射”的规则,将LDA主题结果与18个评估指标对齐,构建了AIMCA设计评估指标体系。具体的映射关系见附录表A1。

在第二阶段,确定了指标权重。为了提高评估过程的科学严谨性和准确性,将FAHP与PSO结合,构建了PSO–FAHP模型。在该模型框架内,首先计算了评估指标的初始权重系数,然后使用改进的CRITIC方法推导出指标的客观权重。随后引入博弈论方法来结合初始权重和客观权重,从而获得融合主观和客观信息的综合权重。这些权重值成为后续对特定产品进行评估的重要基础。

第三阶段包括多选项评估和模型验证。选择了市场上具有代表性的AIMCAs作为实验对象,并邀请评估者根据评估指标对每个候选方案进行评分。接着构建了GRA–TOPSIS综合评估模型进行加权评估和排名。最后,除了对所提出的框架进行基于案例的验证外,还使用传统评估方法和本研究提出的方法进行了对比实验。同时进行了敏感性分析,通过比较不同方法在稳定性、一致性和计算效率方面的表现,进一步检验评估系统的优越性和可靠性。

4. 结果
4.1 评估指标体系的构建
为了确保评估指标体系充分覆盖AIMCAs的主要功能形式及其实际使用场景,本研究将“目标应用”定义为以对话互动为主要入口方式的移动应用,为健康咨询、初步症状筛查、医疗分诊、慢性病管理和健康教育等任务提供持续可访问的AI医疗对话代理服务。对于基于互联网的数据收集,使用Python开发了一个专门的数据采集和分析系统。由于本研究后续的用户评分样本主要来自中国用户,为了增强用户评论中的语义证据与目标人群之间的语境一致性,评论收集阶段优先考虑了中国Apple应用商店和主要国内Android应用市场,从中收集中文用户评论来构建语料库。先前的研究表明,来自不同国家或地区的应用商店的用户数据受到区域可访问性的限制,跨区域的数据聚合可能会引入额外的变异源,同时削弱与需求相关主题的可解释性和可转移性。因此,本研究将语料库限制在与目标用户群体一致的市场环境中[19]。

这种语料库设置策略旨在确保目标用户样本与评论的语义环境保持一致。因此,本研究报告的主题结构、指标聚合和选项比较结果主要适用于中文评论和中国应用市场的背景。它们在不同语言和市场环境下的通用性仍需进一步验证[19,21]。在数据收集过程中指定了适当的爬取深度,并为每个AIMCA应用连续收集了约六个月的用户评论。数据收集后,数据集被标准化并以Excel格式导出。经过严格的数据清洗和验证过程,共获得了7,041条有效记录。图5展示了部分收集到的评估数据。

值得注意的是,本研究使用六个月的评论窗口是为了捕捉AIMCA应用在快速迭代环境中的近期市场反馈和用户体验变化。AI医疗应用的功能模块、交互模式、隐私声明和平台策略更新相对较快,因此较新的评论能更直接反映用户需求、与体验相关的痛点以及当前应用版本下的功能评估。同时,这个时间窗口内的评论数据在本文中被视为最新的用户端市场证据,主要用于应用级指标生成、设计评估和选项比较。它们不作为长期临床安全性、长期有效性或医疗决策有效性的证据。现有的数字健康和医疗AI评估研究也强调,医疗AI系统的评估应整合多维证据,包括功能性能、用户体验、隐私安全、风险治理和持续监控,并且评估结论应通过跨时间窗口和实际环境的后续验证进一步完善[21,53,63]。

由于平台评论中经常包含系统默认评分、重复文本和大量非语义符号,这些冗余信息可能严重干扰主题建模中的词频分布估计,从而降低主题连贯性和结果的可解释性。因此,为了提高数据质量,收集到的评论数据经过了一系列密集的预处理步骤。具体而言,使用Python中的Jieba模块进行了中文分词处理,包括去除停用词和基本文本清洗。基于哈尔滨工业大学和四川大学机器智能实验室编制的停用词列表,构建了一个自定义的停用字符清单(见表1)。

表1. 停用字符类型
停用词类别 | 停用字符
--------- |———
数字 | 1, 2, 3, 4, 5, 6, 7, 8, 9, 0
字母 | a, b, c, d, e, f, ...
标点符号及其他 | ~, !, ?, ., ...

在文本清洗和预处理完成后,进一步研究了不同主题数量下的模型性能作为主题质量评估的一部分。具体来说,使用困惑度(perplexity)作为选择主题数量的统计标准,并结合主题连贯性和结构可解释性进行了进一步评估(见图6)。困惑度衡量的是概率主题模型对未见样本的预测能力;较低的值通常表示对文本分布的更好拟合和更强的泛化能力。相比之下,连贯性评估同一主题内高频词项的语义一致性。基于恢复的原始评论语料库和重做的清洗过程,分别对K=2、3、4和5进行了额外的比较。结果表明,K=2、3、4和5的困惑度值分别为469.355、470.746、464.137和488.278,相应的平均NPMI连贯性值分别为0.0218、0.0895、0.1016和0.0811。总体而言,K=4在统计拟合和平均连贯性方面表现更好,而K=3在主题粒度与一级维度的聚合之间实现了更稳定的对应关系。因此,本研究选择K=3作为主题提取和指标桥梁的设置。

LDAvis由Sievert和Shirley[56]提出,是一种交互式的话题模型可视化方法,广泛用于支持主题结构和关键词贡献的解释。基于LDA结果,本研究使用LDAvis来可视化主题分布、关键词贡献和主题间的区别关系(见图7)。K=3下的代表性关键词表明三个主题分别关注应用实用性和响应体验、系统问题和风险相关表达、以及健康服务和专业咨询。在此基础上,后续的指标桥梁阶段中,研究团队结合了文献聚合、专家问卷和访谈以及标准映射,对主题命名、关键词的语义聚类和一级维度的聚合进行了手动解释性检查,从而确保了主题解释和指标构建之间的一致性。先前的研究表明,连贯性指标、不同K值的比较以及手动解释性验证共同构成了主题质量验证的常见框架。在这一框架内,连贯性有助于反映术语共现的一致性,跨K值的比较有助于揭示主题结构的连续性,手动验证增强了应用环境中的可解释性和可用性[14,38,46,55]。

从主题质量验证的角度来看,本研究当前版本采用“初始困惑度筛选+PyLDAvis结构解释+代表性关键词提取”作为主题识别的基础,并在后续的指标构建阶段进一步结合了文献聚合、专家验证和标准映射,以加强主题解释和指标聚合之间的一致性。一个以连贯性指标为中心的更强验证框架,以及不同主题数量设置下的稳定性比较和手动解释性检查,已被证明对提高主题建模结果的可解释性和可靠性具有重要价值[38,46,55]。

预处理之后,将LDA主题模型应用于评论语料库,提取主题并获取每个主题的关键词贡献结构和分布特征。为了提高主题表示的清晰度并便于不同主题之间的比较,为每个主题指定了关键词提取规则,即选择该主题中概率权重最高的八个术语作为代表性关键词,并在表2中进行了总结。在此基础上,使用模型输出统计了这些关键词在语料库中的出现次数,并计算了每个主题在所有评论中的覆盖比例,从而描述了不同需求相关主题的相对强度和分布模式。

表2. LDA模型中的主题提取结果
| 主题 | 术语 | 总频率 |
|---------------|---------------------|-------------------------|
| Topic 1 | fast (287), easy to use (121), doctor (196), advice (173), stable (209), consultation (162), feature rich (138), diagnosis (149) | 1435 |
| Topic 2 | accurate (312), professional (241), error (167), risk (154), personal privacy (223), data (201), source (117), evidence (128) | 1543 |
| Topic 3 | interface (236), simple and convenient (271), experience (258), operation (214), attitude (163), reminders (178), reassurance (147), patience (119) | 1586 |

基于主题分析的结果,本研究采用四步桥梁规则构建了指标体系:“评论主题识别–文献聚合–专家验证–标准映射”。首先,使用LDA识别用户评论中的高频主题,从而为前端应用需求建立语义切入点。首先,通过借鉴数字健康应用评估框架和医学人工智能评估的研究,对这些主题关键词进行了临床层面的整合,以确保最终的指标能够涵盖功能性、风险性和使用场景。其次,通过行业专家的问卷调查和访谈来验证指标的边界、术语表达以及实际操作性。最后,利用中国国家标准GB/T 25000.10的质量模型完成了结构化映射,从而确定了三个一级维度和18个二级指标。这18个指标作为应用层比较的操作化工具,共同涵盖了三个评估方面:功能属性、安全属性和用户体验属性。其中,安全属性进一步包括了信息准确性、证据可追溯性、风险监控、数据保护、可解释性以及人机协作等方面,以提高医学环境下的评估完整性。近期研究表明,数字健康应用和医学人工智能的评估正朝着跨领域、多层次和标准化的框架结构发展,核心维度始终集中在有效性、功能性、合法性和安全性、实施以及伦理性上。因此,使用这18个操作化指标来支持应用层比较具有明确的方法学基础[21,27,63,73]。具体指标及其定义见表3,而从主题结果到这18个指标的逐项映射关系见附表A1。

表3. AIMCA评估指标系统及其定义

| 一级维度 | 二级指标 | 定义 |
|---------|----------------------------------|-------------------------------------------|
| 功能属性(C1) | | 响应效率 C11:端到端对话速度和并发处理能力,关注用户交互体验; |
| | | 系统稳定性 C12:在持续运行、版本更新和异常情况下保持服务不间断和性能不下降的能力; |
| | | 任务场景覆盖 C13:核心医疗对话任务的广度和质量,包括分诊指导、用药咨询、健康管理以及检查结果解释; |
| | | 知识库覆盖 C14:权威指南、药物信息和常见问题的更新范围和时效性; |
| | | 个性化 C15:在遵循规范的前提下,根据个人资料和过往对话提供个性化医疗建议的能力; |
| | | 成本效益 C16:用户交互过程中的总体成本和收益,以及应用是否符合经济合理性; |

| 安全属性(C2) | | 信息准确性 C21:输出与医学事实、指南或权威文献的一致性,重点关注关键错误和幻觉风险,并按风险等级分层; |
| | | 证据可追溯性 C22:回应中引用的信息来源是否明确、可验证和可复制,包括来源级别和时间戳信息; |
| | | 风险监控 C23:识别高风险关键词、场景和接近失误事件的能力,并提供早期预警和闭环响应; |
| | | 数据保护 C24:在数据收集、存储、传输和访问过程中对个人信息和敏感健康数据的保护强度; |
| | | 可解释性 C25:清晰解释结论、证据和推理路径的能力,强调解释的有效性和真实性,而不仅仅是可视化; |
| | | 人机协作 C26:在不确定或高风险情况下与人工 staff 的交接机制和协作质量; |

| 用户体验属性(C3) | | 美学呈现 C31:在医学背景下专业、克制且易读的呈现方式,确保信息层次清晰,重点突出关键风险; |
| | | 共情沟通 C32:理解用户情感状态和情境,礼貌且令人安心的回应方式,以及适当处理敏感话题的能力; |
| | | 适当的信息量 C33:在确保关键信息完整性的同时控制冗余,以减轻认知负担; |
| | | 交互便捷性 C34:任务完成路径的清晰度和效率,包括步骤数量、重试率、适应性以及跨模态输入输出的流畅性; |
| | | 反馈多样性 C35:提供多种反馈渠道,如文本、语音、图形、外部链接和程序指导,同时考虑可达性; |
| | | 情绪调节 C36:缓解和引导高焦虑、愤怒或痛苦等情绪状态的能力,避免加剧负面情绪或触发危险行为; |

为了提高从LDA主题结果到指标系统的透明度和可审查性,从主题到指标的映射过程被进一步组织在附表A1中。表格从三个主题及其代表关键词开始,列出了每个二级指标对应的主题来源、关键词锚点、辅助证据来源和最终命名结果。通过这种方式,可以沿着“主题结果–关键词语义–文献整合–专家验证–标准映射”的路径逐项追踪指标系统的形成过程。先前的研究表明,数字健康应用和医学人工智能的评估框架开发通常需要整合基于审查的证据、基于文献的支持和专家知识,以增强指标系统的内容有效性、情境适用性和解释一致性[20,21,60]。

基于建立的AIMCA设计评估指标系统,开发了一个层次化的分析结构模型。在该模型中,P级别代表AIMCA设计评估指标的总体目标层面,Cn级别代表标准层面,C1n级别代表指标层面,如图8所示。

下载:高分辨率图像(389KB)
下载:全尺寸图像

图8. AIMCA设计评估的层次模型

4.2. 模糊互补判断矩阵的构建

在层次化评估指标模型的基础上,下一步是将它嵌入优化后的FAHP框架中。首要任务是构建模糊互补判断矩阵,并通过基于问卷的评分获得其初始值。在标准层面上,明确定义了三个核心要素:功能属性、安全属性和用户体验属性,这些构成了AIMCA评估框架的基础。本研究使用0.1到0.9的评分尺度对指标之间的重要性进行成对判断。从层次化分析结构模型中的指标构建了模糊互补判断矩阵,共建立了四个此类矩阵,涵盖了标准层面和指标层面,详见表4、表5、表6、表7。通过精细的数值比较,这些矩阵有效地捕捉了评估指标内部和之间的复杂关系和影响,为后续的决策分析和优化提供了定量基础。

表4. 标准层面的模糊互补判断矩阵

| 功能属性(C1) | 安全属性(C2) | 用户体验属性(C3) |
|------------------|------------------|---------------------|
| ...) | ...) | ...) |

表5. 功能属性指标层面的模糊互补判断矩阵

| 功能属性(C1) | 响应效率 C11 | 系统稳定性 C12 | 任务场景覆盖 C13 |
| | 0.5000 | 0.3398 | 0.4186 |
| | | 0.5000 | 0.6602 |
| | | 0.5000 | 0.6208 |
| | | 0.5814 | 0.3792 |
| | | 0.5000 | 0.5072 |
| | | 0.5998 | 0.5000 | 0.4540 |
| | | 0.5114 | 0.3084 |
| | | 0.5797 | 0.5000 | 0.5301 |
| | | 0.5000 | 0.6262 |
| | | 0.5797 | 0.5000 | 0.5301 |
| | | 0.5165 | 0.4886 | 0.4699 |
| | | 0.5000 | 0.2903 |
| | | 0.5000 | 0.7771 | 0.6916 |
| | | 0.6599 | 0.7097 | 0.5000 |
| | | 0.4928 | 0.3738 | 0.3274 |
| | | 0.3606 | 0.2957 | 0.5000 |

表6. 安全属性指标层面的模糊互补判断矩阵

| 安全属性(C2) | 信息准确性 C21 | 证据可追溯性 C22 | 风险监控 C23 | 可解释性 C25 | 人机协作 C26 |
|------------------|------------------|------------------|------------------|------------------|----------------------|
| | 0.5000 | 0.6798 | 0.5839 | 0.5745 | 0.7575 |
| | 0.3202 | 0.5000 | 0.3416 | 0.3374 | 0.4027 |
| | | 0.4161 | 0.6584 | 0.5000 | 0.4699 |
| | | 0.4254 | 0.6627 | 0.5301 | 0.6193 |
| | | 0.2425 | 0.5973 | 0.4459 | 0.3807 |
| | | 0.2204 | 0.5252 | 0.3864 | 0.5541 |

表7. 用户体验属性指标层面的模糊互补判断矩阵

| 用户体验属性(C3) | 美学呈现 C31 | 共情沟通 C32 | 适当信息量 C33 | 交互便捷性 C34 | 反馈多样性 C35 | 情绪调节 C36 |
|------------------|------------------|------------------|------------------|------------------|----------------------|
| | 0.5000 | 0.3497 | 0.3867 | 0.5251 | 0.3301 |
| | | 0.6503 | 0.5000 | 0.5911 | 0.5616 |
| | | 0.6133 | 0.4089 | 0.5000 | 0.4140 |
| | | 0.6512 | 0.4384 | 0.5859 | 0.5000 |
| | | 0.6512 | 0.4384 | 0.5859 | 0.6262 |
| | | 0.4749 | 0.2348 | 0.5000 | 0.3738 |
| | | 0.6699 | 0.3955 | 0.6325 | 0.6218 |

在构建完模糊互补判断矩阵后,通过结构化问卷收集了这些矩阵的初始评分值。为了确保评估过程的全面性和专业性,对评估者的选择制定了明确的标准。首先,评估者需要具备医疗领域的人工智能、基于互联网的医疗服务、数字健康或交互设计等相关专业背景,并且对医疗对话代理的功能性、安全性和用户体验有较深入的了解。其次,优先考虑在医院信息管理、智能医疗产品开发或AI医疗平台运营等具有丰富实践经验的关键从业者,以便他们的判断基于实际业务场景。此外,还纳入了长期从事AIMCA设计或评估的大学和研究机构的专家,以补充方法论和标准方面的观点。共有35名合格的专业人士完成了问卷调查,包括10名行业专家、10名产品经理和9名设计师以及6名高级企业经理。总共回收了35份有效问卷,其中男性受访者23人(65.7%),女性受访者12人(34.3%),为构建群体模糊互补判断矩阵提供了可靠的数据基础。本研究遵守了赫尔辛基宣言,并获得了澳门城市大学创新与设计学院伦理委员会的伦理批准(参考编号20260302120 [6])。

为了提高主观权重阶段的可验证性,本研究进一步明确了专家判断的聚合规则、分歧统计以及PSO优化前的原始共识水平。具体来说,35份有效问卷分别产生了标准层面、功能属性层面、安全属性层面和用户体验属性层面的个体判断矩阵。然后通过元素层面的几何平均值将专家评分进行聚合,得到群体模糊互补判断矩阵。这种聚合方法保留了专家间的差异性,同时生成了适合群体决策的集体判断结构,已在群体AHP/FAHP研究中得到广泛应用[17,18]。为了表征专家分歧的程度,计算了上三角比较条目的专家评分的对数尺度分散统计。四个层面的平均ln标准差分别为:标准层面1.1787,功能属性层面0.3593,安全属性层面0.3431,用户体验属性层面0.3900。相应的最大ln标准差分别为1.4022、0.7529、0.6943和0.7455。在原始共识水平方面,PSO优化前的群体一致性结果分别为:标准层面CR=0.00510,功能属性层面CR=0.01295,安全属性层面CR=0.01813,用户体验属性层面CR=0.02589,均低于0.10。在个体问卷层面,一致性通过率为:标准层面35/35,功能属性层面35/35,安全属性层面33/35,用户体验属性层面32/35。这些结果表明,专家的原始判断为主观权重阶段提供了基本输入,而PSO的作用集中在基于群体矩阵的一致性优化和权重推导上;评估偏好本身来源于专家问卷的判断[13]。

问卷采用了两部分结构。第一部分收集评估者的基本信息,以考虑潜在差异并确保数据可追溯性。第二部分用于评估AIMCA设计指标的权重。同一层面所有指标之间的成对比较都使用了0.1到0.9的模糊尺度,其中0.5表示“重要性相当”,接近0.9的值表示前者比后者更重要,接近0.1的值表示后者明显更重要。为了减轻专家的回答负担并便于后续的程序化处理,问卷仅呈现了判断矩阵的上三角比较条目,并要求评估者为这些条目提供模糊判断。主对角线元素统一固定在0.5,而矩阵的下三角部分根据特定算法自动生成。通过这种设计,既保留了模糊互补判断矩阵的数学特性,又尽可能忠实反映了专家对AIMCA评估指标重要性的主观偏好,为后续的PSO-FAHP一致性优化和权重推导提供了高质量输入。

为了加强不同证据来源之间的可审计联系,本研究将权重生成过程分为四个连续步骤:用户评审语义证据、专家小组判断、目标用户评分和组合加权。具体来说,使用了7,041条应用商店评论进行基于LDA的主题识别和指标生成,反映了用户需求、体验相关的痛点和工作功能方面的关注点。使用35份专家问卷构建了同一层面指标之间的群体比较结构,并应用PSO-FAHP来提高群体判断矩阵的一致性并生成专家方面的主观权重。这一步反映了医学人工智能评估在信息可靠性、隐私保护、安全风险、可解释性和交互质量方面的专业校准。此外,还使用了76份目标用户评分数据集通过CRITIC方法计算指标分散性和相关性结构,从而生成了用户评分方面的客观权重。然后使用博弈论组合加权方法协调地整合了专家权重和用户评分权重。这样,评审语义、专家判断和用户评分分别进入了指标构建、主观权重和客观权重阶段,形成了具有清晰证据来源和层次结构的可追溯评估链。相关研究表明,在高风险环境中,医疗人工智能评估框架应采用一种设计逻辑,将多来源的证据与持续监控相结合,从而提高评估结果的透明度、可比性和实施可行性[2,27,63]。4.3 基于粒子群优化(PSO)的评估权重优化在应用粒子群优化算法来测试和调整模糊互补判断矩阵的一致性时,本研究将一致性问题重新表述为一个非线性优化问题,以获得每个层次评估指标的精确权重值。对于一个n阶模糊互补判断矩阵P=[pij],在满足互补对称条件pij+pji=1和pii=0.5以及指标权重向量WS=(W1, ..., Wn)满足归一化约束∑iwi=1的前提下,矩阵上三角部分中的n(n-1)/2个独立元素以及n个权重分量被视为决策变量。因此,优化问题的搜索空间维度为n(n-1)/2+n。在本研究中,标准层级包含三个评估指标,形成一个3×2/2+3=6个变量的决策空间。每个子标准层级包含六个评估指标,形成一个6×5/2+6=21个变量的决策空间。

初始化和适应度评估:对于每个需要优化的判断矩阵,构建了一个由100个粒子组成的群体。在标准层级,每个粒子由一个六维向量表示,其中三个维度编码了需要调整的模糊互补判断矩阵的上三角元素,剩余三个维度编码了C1到C3的权重分量。在每个子标准层级,每个粒子由一个21维向量表示,其中15个维度编码了模糊判断值,六个维度编码了该层级的六个子指标的权重。为所有粒子生成随机初始位置和速度后,将这些值代入一致性指数函数CIF(n)中计算适应度值,从而评估每个候选解的质量。

迭代优化:在迭代过程中,PSO根据预定义的更新方程同时更新粒子的速度和位置。一方面,将每个粒子在其当前位置的适应度与其历史最佳适应度进行比较;如果当前解更好,则更新该粒子的个人最佳位置。另一方面,比较群体中所有粒子的个人最佳值,并持续跟踪和更新全局最佳位置。通过这种结合个体学习与群体协作的非线性搜索机制,粒子在高维连续空间中逐渐收敛到最小化CIF(n)的解决方案。换句话说,模糊互补判断矩阵及其相关权重向量在保持原始专家判断的同时,被驱动到最佳匹配状态。

终止和结果输出:当迭代次数达到预设的上限(在本研究中设置为500次)或连续几代中的适应度改善幅度低于某个阈值时,算法终止。终止时全局最佳粒子的位置被视为最优调整后的解,即经过一致性校正后的PSO-FAHP模型得出的评估指标权重。这些权重为后续对AIMCAs进行全面评估提供了更加稳健的参数基础。每个评估指标的具体权重见表8。

下载:下载高分辨率图像(109KB)
下载:下载全尺寸图像

图9. 随着迭代次数变化的收敛曲线。
表8. 指标的初始权重。

目标层级 标准层级 权重指标 初始权重
AIMCA设计评估指标系统 功能属性(C1) 0.25
28 响应效率C1 10.12
44 0.03
14 系统稳定性C1 0.18
60 0.04
70 任务场景覆盖C1 0.17
18 0.04
34 知识库覆盖C1 0.10
14 0.02
56 个性化C1 0.34
96 0.08

安全属性(C2) 0.41
30 信息准确性C2 10.31
25 0.12
91 证据可追溯性C2 0.15
81 0.06
53 风险监控C2 0.21
74 0.08
98 数据保护C2 0.21
40 0.21
0.08

用户体验属性(C3) 0.33
41 美学呈现C3 0.08
40 0.02
81 共情沟通C3 0.23
65 0.07
90 适当的信息量C3 0.34
96 0.08

4.4 目标权重和组合权重为了验证AIMCA设计评估指标系统的有效性和区分能力,基于市场研究和研究团队内的专家咨询,选择了四个代表性的AIMCA应用作为候选方案。然后使用这些方案进行方案选择,并通过评估结果验证评估系统的可行性。关于方案选择,首先根据之前的用户评审结果构建了一个AIMCA应用候选池。随后制定了以下纳入标准:首先,每个应用必须通过基于对话的互动向公众提供健康咨询、分诊指导或用药建议等服务,并包含“智能咨询”或“AI医生”等可识别的功能模块。其次,应用必须支持中文界面,并且至少已连续运行六个月,在应用商店或平台端点上有了一定的用户基础和使用活跃度。同时,排除了仅提供静态信息或纯粹的人工在线咨询的应用、功能极不稳定的应用以及最近从市场上撤下的应用。

基于这些标准,并为了增强代表性和区分能力,进一步考虑了应用的功能定位和设计方向。优先选择了四个AIMCAs,它们分别代表嵌入在大型互联网医疗平台中的AI助手、由医疗机构运营的自我开发的分诊机器人、面向慢性病管理的健康管理助手以及嵌入在通用大型模型平台中的健康模块。这样,这四个AIMCAs在功能属性(C1)、安全属性(C2)和用户体验属性(C3)三个维度上表现出显著差异。在项目专家对候选应用进行初步试用和讨论后,最终确定了四个代表性的AIMCA应用案例(分别用方案A到D表示),如图10所示。这些案例构成了后续基于CRITIC和GRA-TOPSIS的综合评估的备选方案集,并用于测试评估系统在实际产品环境中的适用性和区分能力。

此外,在实验和问卷设计中采用了几种控制策略,以减少品牌因素对评分结果的影响。首先,在正式评分阶段,没有向参与者显示四个方案的具体产品名称和品牌标识;相反,应用被匿名处理并统一标记为方案A到D。其次,采用了被试内设计,并随机化了每个参与者遇到的四个方案的顺序,从而避免了品牌效应和顺序效应之间的系统性重叠。最后,问卷的基本信息部分收集了参与者之前使用经验和与每个应用或其母平台的熟悉程度等额外数据。这些数据用于后续分析,以检查品牌意识与评分结果之间的相关性,并评估任何潜在的品牌效应是否在可接受范围内。

方案A:这是一个建立在大型医疗模型和真实世界案例库上的智能健康助手,为用户提供专门的AI健康咨询,包括针对一般实践或特定专业的咨询服务、长形式的医疗报告解读以及纵向健康记录管理。在功能属性方面,该应用支持围绕单一健康问题的多轮跟进问题,并能结合用户的纵向医疗历史提供相对个性化的诊断和治疗建议,侧重于持续的健康管理而非一次性咨询。在安全属性方面,系统在其响应中经常引用基于证据的指南、测试指标的阈值和处方规范,并反复强调关键警告,如“此服务不能替代面对面咨询”和“在出现严重不适时立即寻求医疗帮助”。在用户体验方面,界面采用明亮的蓝色调色板和卡片式布局,并配以拟人化的卡通角色。回复文本结构分明,例如将“可能的原因、推荐的检查、用药参考和生活方式管理”分别呈现在不同的区块中,以传达专业而不过分疏远的健康陪伴感。

方案B:这是嵌入在大型 Chinese 互联网医疗平台中的AI咨询模块。它主要依赖于成熟的互联网医院基础设施和大量的真实咨询数据,提供包括基于AI的在线医疗咨询、AI专家虚拟咨询服务、健康检查报告解读、用药咨询、在线购药以及预约和转诊服务等综合服务。在功能属性方面,该应用可以通过多轮结构化提问收集症状和个人信息,生成初步的诊断倾向和护理建议,并将用户无缝连接到平台内的文本、语音或视频咨询,从而实现广泛的任务场景覆盖。在安全属性方面,屏幕上的突出提示提醒用户“AI回答仅作参考”,“不能替代医生的诊断”,并且实名账户系统结合健康记录管理增强了可追溯性。在用户体验方面,界面遵循平台的视觉风格,采用绿色主题和真实医生虚拟形象,以及快捷的输入点和模块化卡片式信息呈现。设计强调效率和专业性,同时在拟人化表达和情感支持方面较为克制,因此更像是一个“工具导向”的智能入口。

方案C:这是由一家中国科技公司基于自开发的大型医疗模型推出的独立AI医疗对话代理。它整合了超过一百项AI功能,包括健康知识问答、症状咨询、疾病自我评估、健康检查报告解读、用药指导和个人健康管理计划,并与数千家医院、数十万医生以及数百个“著名医生”AI虚拟形象相连,实现了在线智能咨询与线下专业服务的桥接。在功能属性方面,系统进行类似人类医生的多轮提问,逐步引导用户描述主要症状、相关症状、医疗历史和当前用药情况。它还支持长期随访场景,如慢性病管理和体重管理,并能同步来自可穿戴设备的血糖、睡眠和活动数据,以建立个人和家庭健康记录。在安全属性方面,隐私政策和屏幕提示强调数据的加密存储,在某些高风险情况下系统会主动引导用户寻求线下护理或咨询人类医生。在用户体验方面,界面采用绿色主题和真实医生虚拟形象,以及快速的输入点和模块化卡片式信息呈现,设计强调效率和专业性,同时在拟人化表达和情感支持方面较为克制。

方案D:这是由一家中国大型技术公司推出的独立AI医疗对话代理,基于自开发的大型医疗模型。它整合了超过一百项AI功能,包括健康知识问答、症状咨询、疾病自我评估、健康检查报告解读、用药指导和个性化健康管理计划,并与数千家医院、数十万医生以及数百个“著名医生”AI虚拟形象相连,实现了在线智能咨询与线下专业服务的衔接。在功能属性方面,系统进行类似人类医生的多轮提问,逐步引导用户描述主诉、相关症状、医疗历史和当前用药情况。它还支持长期随访场景,如慢性病管理和体重管理,并能同步来自可穿戴设备的血糖、睡眠和活动数据,以建立个人和家庭健康记录。在安全属性方面,隐私政策和屏幕提示强调数据的加密存储,在某些高风险情况下系统会主动引导用户寻求线下护理或咨询人类医生。在用户体验方面,应用采用拟人化的数字角色和柔和的渐变背景,以及问题和回答式的主对话区和底部的快捷查询按钮。整体互动风格接近于大型模型聊天界面,而内容组织则更具医学结构化特征。这个案例是一个“数字健康陪伴者”智能咨询系统,由中国的一家省级三级甲等医院和一个技术平台共同开发的。该系统深度嵌入了医院和区域健康信息系统中,提供了端到端的AI咨询服务,覆盖了整个门诊流程,包括就诊前指导和分诊、预约挂号、排队管理、院内导航、远程陪伴以及检查和测试报告的获取与解读,使用户能够通过单一移动设备管理整个护理过程。在功能属性方面,该系统更注重与具体医院场景的结合。它在将复杂的护理路径分解为可视化步骤方面特别有效,并使用基于对话的交互方式帮助患者完成注册、支付、取票和报告查询等具体操作。在安全属性方面,该系统得到了公立医院的认可和省级卫生委员会的认可,并强调数据在省级平台内进行流通和集中管理。在用户体验方面,该应用采用了拟人化的数字人物和柔和的色彩方案,结合语音输入和大字体界面,更适合老年人和首次来访者使用。总体而言,它作为一个“陪伴式”的数字健康管家,专为医院环境设计。

为了确保数据收集的科学严谨性和有效性,并测试AIMCA评估指标系统在真实使用条件下的适用性和区分能力,参与者被邀请体验应用程序A、B、C和D,并对每个方案在18个评估指标上的表现进行评分。得分30分及以下被视为不可接受,31-50分为相对可接受,51-60分为良好,61-80分为非常好,81-100分为优秀。

参与者为18岁及以上的普通成年用户。资格要求是他们去年至少使用过一次基于互联网的医疗或在线健康咨询服务,没有严重的视力或听力障碍,具备基本的智能手机操作技能,并自愿参与并签署知情同意书。共有76名参与者提供了有效数据,其中包括43名男性(56.6%)和33名女性(43.4%)。实验在安静的实验室环境中进行。在正式实验之前,研究人员呈现了一个标准化的使用场景:参与者被要求想象自己最近出现了轻微发烧、喉咙痛和干咳等上呼吸道症状,并希望利用在线AI咨询来了解潜在原因、是否需要就医以及适合的药物。在正式实验阶段,四个AIMCA案例的体验顺序在参与者之间是随机的,以控制顺序效应。对于每个应用程序,参与者在上述场景下与系统持续互动约5-8分钟,至少完成主诉的输入、阅读系统生成的分析和建议,并进行一到两轮关于药物选择和就医时间的追问。每个应用程序体验结束后,参与者立即完成了对该应用程序的评估问卷。最后,在数据汇总后,使用改进的CRITIC方法得出了评估指标的客观权重,如表9所示。

表9. 客观权重

| 评估指标 | 客观权重 |
|-----------------|--------------|
| 响应效率 | C1 | 10.0380 |
| 数据保护 | C2 | 40.0658 |
| 系统稳定性 | C1 | 40.0458 |
| 可解释性 | C2 | 50.0455 |
| 任务场景覆盖度 | C1 | 30.0336 |
| 人机协作 | C2 | 60.0654 |
| 知识库覆盖度 | C1 | 40.0347 |
| 美学呈现 | C3 | 10.0284 |
| 个性化 | C1 | 50.0538 |
| 共情沟通 | C3 | 20.1241 |
| 成本效益 | C1 | 60.0883 |
| 信息量适中 | C3 | 30.0618 |
| 信息准确性 | C2 | 10.0351 |
| 互动便捷性 | C3 | 40.0569 |
| 证据可追溯性 | C2 | 20.0154 |
| 反馈多样性 | C3 | 50.1023 |
| 风险监控 | C2 | 30.0275 |

尽管PSO–FAHP方法能够捕捉专家见解,但它本质上是主观的,而改进的CRITIC方法完全是数据驱动的,可能会忽略特定情境的相关性。因此,为了协调这两种观点,本研究进一步引入了博弈论推理来合理分配主观和客观权重。这种方法使得综合权重更能接近现实世界情况,并通过最大化互补的信息效益来实现决策均衡,从而为实际问题解决提供更有效的指导。每个指标的综合权重是使用MATLAB计算的,结果见表10。权重 的可视化表示也提供在图11中。如图所示,PSO–FAHP和改进的CRITIC方法得出的权重差异较大。然而,在博弈论组合加权后,权重曲线变得更加稳定,表明最终权重同时考虑了专家的主观判断和案例方案的实际表现,从而产生了更加科学合理的结果。

表10. 综合主观和客观权重

| 评估指标 | 综合权重 | 等级 |
|-------------------------|--------------|--------------|
| 响应效率 | C1 | 10.0343 | 15 |
| 数据保护 | C2 | 40.0784 | 4 |
| 系统稳定性 | C1 | 40.0465 | 11 |
| 可解释性 | C2 | 50.0375 | 14 |
| 任务场景覆盖度 | C1 | 30.0391 | 13 |
| 人机协作 | C2 | 60.0342 | 16 |
| 知识库覆盖度 | C1 | 40.0296 | 17 |
| 美学呈现 | C3 | 10.0282 | 18 |
| 个性化 | C1 | 50.0731 | 15 |
| 共情沟通 | C3 | 20.0989 | 18 |
| 成本效益 | C1 | 60.0485 | 10 |
| 信息量适中 | C3 | 30.0586 | 8 |
| 信息准确性 | C2 | 10.0875 | 2 |
| 互动便捷性 | C3 | 40.0681 | 16 |
| 证据可追溯性 | C2 | 20.0433 | 12 |
| 反馈多样性 | C3 | 50.1023 | 14 |
| 风险监控 | C3 | 30.0275 | 7 |

从综合权重结构来看,排名最高的指标主要集中在三个维度:互动信任、安全治理和信息质量。具体来说,同情沟通(C32)、信息准确性(C21)、情绪调节(C36)、数据保护(C24)和个性化(C15)位列前茅。这表明AIMCA的应用层面评估更受可靠信息提供、隐私和安全保障以及情感和沟通支持等综合因素的影响。这一结果与医学AI和数字健康评估研究的基本理解一致,即在高风险健康咨询情境中,用户不仅根据功能完成情况来评估这些系统,还考虑信息可靠性、隐私保护、可解释性、风险治理和互动体验等全面属性[12,53,63]。因此,后续的排序不是由单一功能指标决定的,而是由不同选项在高权重指标上的整体表现共同驱动的。

4.5. 综合评估结果

本研究构建了一个GRA–TOPSIS评估模型,对四个AIMCA选项进行了应用层面的综合比较。基于博弈论组合权重生成加权评估矩阵后,进一步计算了每个选项与正向理想解(PIS)和负向理想解(NIS)之间的欧几里得距离和灰色关系度,从而获得了综合接近度值。综合作用权重结合了专家侧的医疗风险校准信息和用户评分侧的数据分布信息,允许这两种类型的证据共同参与GRA–TOPSIS的选项排序过程。如表11所示,四个选项的基线优先级排序为选项C > 选项D > 选项A > 选项B,其中选项C获得了最高的综合接近度值(η = 0.5575)。这表明,在本研究中使用的指标系统、综合权重和近期用户侧证据的条件下,选项C表现出最高的整体优先级。需要注意的是,GRA–TOPSIS基于当前的指标系统、综合权重和评估数据产生了综合优先级结果。其意义在于每个选项在多指标综合评估框架内的相对接近程度,而不是对应用之间整体现实差异的统计显著性测试。这也并不构成对应用长期临床效果、安全性或医疗决策适用性的直接判断。因此,本研究将结果描述为“基线优先级排序”或“综合评估优先级”,主要是为了支持AIMCA的应用层面设计优化和选项比较。通过敏感性分析和参数稳定性分析进一步检验了这种排序在不同扰动条件下的连续性和稳定性。

表11. 综合评估结果

| 选项 | 欧几里得距离D+ | 欧几里得距离D- | 正向关系度R+ | 负向关系度R- | 综合接近度 |
|---------------|--------------|--------------|--------------|-----------------|
| A | 0.1693 | 0.1566 | 0.702 | 0.702 | 0.1693 |
| B | 0.1770 | 0.1522 | 0.671 | 0.671 | 0.671 |
| C | 0.1203 | 0.1689 | 0.708 | 0.708 | 0.708 |
| D | 0.1475 | 0.1603 | 0.741 | 0.651 | 0.651 |

从分数差异来看,选项C与选项D之间的综合接近度差为0.0218,而选项A与选项B之间的差异为0.0206,表明相邻选项之间的差异相对较小。根据这一结果,本研究更强调选项之间的相对优先级和结构差异,而不是将排序结果视为绝对的优劣判断。具体来说,选项C的领先地位主要体现在其距离正向理想解较近、距离负向理想解较远以及正向灰色关系度较高。相比之下,选项D可以被视为一个与选项C竞争的候选者。这种解释有助于确保GRA–TOPSIS的排序结果与多标准决策模型的解释框架保持一致[45,65]。

进一步分析显示,选项C排名第一主要归因于其在基于距离和关系信息方面的平衡表现。如表11所示,选项C的D+值最低(0.1203),D-值最高(0.1689),表明其整体评估向量更接近正向理想解,远离负向理想解。同时,选项C的正向灰色关系度R+也相对较高(0.7080),表明其指标配置与正向理想序列高度相似。结合表10中的权重结构,选项C的综合优势由信息准确性、同情沟通、情绪调节、数据保护、个性化和互动便捷性等高权重指标共同塑造。GRA–TOPSIS的解释逻辑还表明,选项排序受到理想解距离和指标配置相似性的影响。因此,选项C的优势反映了多个高权重属性的协调表现,而不仅仅是单一指标的局部优势[45,65]。

选项D排名第二,表明其在综合评估结构中也具有较强的竞争力。与选项C相比,选项D的综合接近度值略低;然而,其D-和R-结果表明它在几个安全、稳定性或治理相关指标上仍保持相对良好的表现。选项A排名第三,表明在某些功能或体验相关指标上有一定的基础,但在与安全治理、情感支持或互动信任相关的高权重指标上的协调性相对有限。选项B排名第四,表明在当前权重结构下,其与正向理想解的综合距离较大,其在几个高权重指标上的优势不足以抵消其他方面的劣势。因此,C > D > A > B的排序结果可以理解为高权重指标综合效应的表现差异。

从结果解释的角度来看,本研究的排序输出与现有健康应用和医学AI评估研究中强调的核心质量领域有明显的结构对应关系。表3中呈现的功能、安全和用户体验属性分别对应于最近框架中反复强调的评估方向,包括技术和功能性、有效性和安全性、信任和实用性以及实施和伦理。结合表10,本研究中权重最高的指标主要集中在同情沟通(C32)、信息准确性(C21)、情绪调节(C36)、数据保护(C24)和个性化(C15)。这表明选项排序是通过通信质量、信息可信度、风险和隐私保护以及个性化等指标的协同作用形成的。因此,选项C的领先地位可以进一步解释为应用层面质量要求和用户体验要求之间更好的平衡,从而在本研究的排序结果与医学AI质量评估框架之间建立了更清晰的对应关系[21,23,27,31]。

4.6. 对比验证

为了检验所提出方法在设计评估系统中的整体性能和可靠性,在两个层面进行了对比验证:“权重机制比较”和“排序模型比较”。首先,在权重机制层面,选择了基于模糊判断矩阵和特征值方法的传统FAHP、基于信息熵的熵权重方法(EWM)以及所提出的方法进行对比实验。比较内容包括内部折中参考一致性、权重解决一致性和计算效率。其次,在排序模型层面,引入了TOPSIS-only和VIKOR作为标准的MCDM排序基准,并与本研究获得的GRA–TOPSIS结果进行了比较,以测试在不同排序规则下的最终选项排序的一致性和可复现性。先前的MCDM研究表明,在多选项工程评估中,同时比较权重机制和排序规则可以更全面地检验评估结果的稳定性和可解释性[44,64,65]。4.6.1. 实验程序和设置为了模拟专家判断的变化和样本数据扰动对最终权重的影响,并确保研究结果的稳健性,每种方法都进行了30次运行。详细程序如下:1) 传统的FAHP。使用AIMCA评估指标体系作为分析对象,利用专家提供的模糊成对比较判断矩阵,通过特征值方法得出权重向量,并测试每个矩阵的一致性。为了模拟专家之间的差异以及同一专家随时间的判断变化,在每次重复实验中对原始判断矩阵施加小的随机扰动。通过这种方式,获得了30组传统的FAHP权重及其对应的一致性指数。2) 熵权重方法。基于76组用户评分数据,每次运行时通过自助法重新抽样用户样本以构建新的决策矩阵X(r)。然后应用经典的熵权重方法计算权重向量w(EWM),得到30组基于熵的权重。3) 提出的方法。使用与传统FAHP和熵权重方法相同的指标体系和输入数据,提出的方法依次实现了PSO–FAHP主观加权、改进的CRITIC客观加权和博弈论组合加权。记录每次运行获得的权重向量CR、MAE和运行时间。通过在相同实验条件下与传统FAHP和熵权重方法进行比较,本研究的基准测试了PSO引入的稳定性增益和计算开销。对于这三种方法的每次运行,记录了以下结果:(i) 权重向量;(ii) 相对于内部折中参考权重的平均绝对误差(MAE);(iii) 作为判断稳定性指标的一致性比率(CR),仅针对FAHP和提出的方法计算;(iv) 总运行时间(以秒为单位)。4.6.2. 权重计算和评估指标的构建为了将三种加权方法的结果进行共同比较,首先需要定义一个统一的参考标准。因此,本研究通过取PSO-FAHP获得的主观权重和改进的CRITIC方法获得的目标权重的规范化平均值,构建了一个内部折中参考权重向量,如方程(30)所示。(30)Wref=norm(wS+wO)其中norm(?)表示通过向量分量之和进行规范化。Wref可以理解为当前研究框架内的一个折中参考,其中专家知识和用户数据被赋予了同等的重要性。应当注意的是,这个向量仅作为在统一条件下比较三种方法的内部基准,而不是作为外部真实权重向量或绝对的金标准。因此,后续的MAE值应解释为每种方法与这个内部折中参考的接近程度,而不是对外部准确性的直接验证。在此基础上,构建了以下评估指标:1) 平均绝对误差(MAE)该指标用于衡量第r次实验中方法k获得的权重向量w(k,r)=(w1(k,r),...,wn(k,r))与内部折中参考权重向量Wref=(W1,...,Wn)之间的偏差,如方程(31)所示。(31)MAE(k,r)=1n∑j=1n|wj(k,r)?Wj|其中k∈{FAHP, EWM, Proposed},n=18表示指标的数量。较小的MAE值表示某种方法获得的权重向量更接近内部折中参考向量Wref,因此在当前比较框架内与主观和客观信息之间的折中结果有更高的一致性。对于每种方法,计算了30次实验中MAE值的平均值和标准差,得到MAE ̄和Std(MAE)。2) 一致性指数对于依赖于成对比较矩阵的FAHP和提出的方法,使用权重向量的变异系数(CV)来表征30次实验运行中判断结果的一致性,如方程(32)所示。(32)CV(k)=σ(wk)μ(wk)在这个表达式中,(?)和(?)分别表示权重的数据标准差和平均值。为了便于与一致性指数的大小进行比较,CV(k)被线性重新缩放以获得CR值。由于熵权重方法仅从观察数据中得出权重,不涉及任何判断矩阵,因此没有为这种方法计算CR。3) 计算时间在统一的硬件和编程环境下,记录了每种方法完成一次完整权重计算所需的时间(k,),并计算了其平均值和标准差。该指标反映了每种方法的计算效率及其实际工程实施成本。4.6.3. 实验结果比较每种方法进行了30次重复实验后,总结了三种方法获得的结果的平均值和标准差。统计结果如表12所示。表12. 实验结果比较。方法CRMAE计算时间(秒)传统FAHP0.034±0.0050.031±0.00413.703±7.823熵权重方法0.048±0.0080.275±0.100本研究提出的方法0.020±0.0020.019±0.0021.017±0.115结果表明,就稳定性而言,传统FAHP的平均CR约为0.034(SD=0.005),表明其权重结果在不同判断扰动下表现出一定的波动。相比之下,提出的方法的平均CR约为0.020(SD=0.002),明显低于传统FAHP。这表明通过PSO优化FAHP并将其与改进的CRITIC方法和博弈论集成相结合可以显著提高权重解决方案在重复实验中的稳定性。作为一种纯粹客观的方法,EWM不依赖于判断矩阵;因此,没有为这种方法计算CR值。就与内部折中参考的接近程度而言,提出的方法的MAE为0.019±0.002,低于传统FAHP(0.031±0.004)和EWM(0.048±0.008)。这表明,在本研究中建立的比较框架内,提出的方法产生的权重结果更接近由主观和客观信息集成形成的折中参考向量。应当强调的是,这一结果应解释为提出的方法在当前内部参考系统内达成更高一致性的证据,而不是对外部真实权重向量的直接验证。就计算效率而言,传统FAHP的一次完整执行的平均运行时间约为13.703±7.823秒。由于构建和调整模糊判断矩阵以及特征值迭代,这种方法的计算成本最高。相比之下,EWM仅需要从决策矩阵中计算一次熵值和权重,平均运行时间约为0.275±0.100秒,是三种方法中最快的,尽管其MAE相对较大。提出的方法的平均运行时间约为1.017±0.115秒,明显低于传统FAHP,仅略高于EWM。综合来看,MAE、CR和计算时间的结果表明,提出的方法在内部折中参考一致性、权重解的一致性和工程实施效率之间实现了良好的平衡。因此,它为后续基于GRA–TOPSIS的综合评估提供了稳定、可解释且实际可行的权重基础。此外,为了确定上述差异是否具有统计学意义,本研究还对30次试验中从三种方法获得的MAE序列进行了参数和非参数测试。结果如表13所示。以提出的方法作为参考组,分别对传统FAHP和熵权重方法进行了双样本Welch’s t检验、Cohen’s d效应量计算和Mann–Whitney U检验。结果表明,在参数和非参数测试下,提出的方法在MAE方面与传统FAHP和熵权重方法有显著差异,表明其在本研究中建立的内部折中参考框架内与参考向量的吻合程度更高。表13. 统计测试和效应量分析。比较组t值p值Cohen’s dMann-Whitney U值(非参数)提出的方法 vs. 传统FAHP15.36<0.0013.973.0<0.001提出的方法 vs. 熵方法19.09<0.0014.930.0<0.001根据上述发现,可以得出结论,传统FAHP能够充分反映专家偏好,但其权重解决方案在重复扰动下稳定性有限,且计算成本相对较高。尽管熵权重方法的计算效率最高,但它完全依赖于指标方差和信息熵,难以充分捕捉医疗信任背景下如安全性、隐私和信任等“软属性”。因此,在本研究中构建的内部折中参考下,它表现出相对较大的偏差。相比之下,提出的“PSO-FAHP + 改进的CRITIC + 博弈论组合加权”方法在接近内部折中参考、结果稳定性和计算效率之间实现了更理想的平衡。一方面,它显著降低了相对于Wref的MAE,从而提高了权重解决方案在重复扰动下的稳定性。另一方面,其计算时间远低于传统FAHP,仅略高于EWM,表明具有良好的工程适用性。因此,这种方法可以为后续的综合评估提供更稳健可靠的权重基础,并为复杂的人机医疗系统(如AIMCAs)的多标准评估和设计决策提供更广泛适用的加权策略。4.6.4. 排名模型的基线比较为了进一步检验排名阶段的基准可比性,除了比较权重方法外,还引入了TOPSIS-only和VIKOR作为标准排名基准方法。为了确保比较的公平性,所有三种排名方法使用了相同的18个评估指标、相同的原始决策矩阵和相同的博弈论组合权重;唯一的区别在于最终排名规则。TOPSIS-only根据选项与正理想解决方案和负理想解决方案的距离进行排名。VIKOR根据群体效用、个体遗憾和折中解决方案的概念选择选项,而本研究中使用的GRA–TOPSIS方法同时考虑了理想解决方案距离和灰色关系度[44,64,65]。基准比较结果如表14所示。结果表明,TOPSIS-only、VIKOR和提出的GRA–TOPSIS方法产生了致的选项排名,即C > D > A > B。具体来说,使用TOPSIS-only获得的相对接近度排名是C (0.5840) > D (0.5208) > A (0.4805) > B (0.4624)。VIKOR (Q)-值排名是C (0.0000) < D (0.5072) < A (0.5877) < B (0.8585)。使用GRA–TOPSIS获得的综合接近度排名是C (0.5575) > D (0.5357) > A (0.4951) > B (0.4745)。这些结果表明,在相同的指标体系、决策矩阵和组合权重下,标准排名方法和提出的方法在选项优先级的主要判断上保持一致。表14. 不同排名模型的基线比较结果。方法核心评估值选项A选项B选项C排名TOPSIS-only相对接近度0.48050.46240.58400.5208C > D > A > BMPICOR Q值;数值越小越好0.58770.85850.00000.5072C > D > A > BGRA–TOPSIS综合接近度η0.49510.47450.55750.5357C > D > A > B从解释的角度来看,TOPSIS-only主要反映了每个选项与正理想解决方案和负理想解决方案之间的距离接近度,而VIKOR强调了群体效用和最大遗憾之间的折中。相比之下,GRA–TOPSIS进一步结合了灰色关系度来表征每个指标轮廓与理想序列之间的相似性。因此,在保持与标准排名方法一致的基准排名的同时,提出的方法进一步提供了同时考虑距离信息和关系结构的解释基础。基准比较进一步表明,本研究中获得的最终排名在TOPSIS-only、VIKOR和GRA–TOPSIS三种排名规则之间保持了一致性,表明良好的跨排名模型稳定性和可重复性。4.7. 敏感性分析敏感性分析是一种定量技术,用于确定模型输入变量对输出变量的影响程度。它是检查和预测特定指标变化如何影响模型输出的有效工具[71]。在复杂的评估指标系统中,敏感性分析尤为重要,因为它有助于识别对评估模型产生显著影响的关键指标[62]。在评估AIMCA设计方案时,敏感性分析主要关注个别评估指标权重分配的变化如何影响整体设计评估。因此,为了评估所提出方法的稳健性以及权重变化对结果的影响,本研究进行了敏感性分析。在这一研究中,使用博弈论结合权重作为敏感性分析的基线权重,因为它们同时整合了专家方面的风险校准信息和用户评分方面的数据分布信息。专家方面的权重反映了在医疗保健AI评估中对信息可靠性、隐私保护、安全风险、可解释性和交互质量的专业判断,而用户评分方面的权重则反映了指标分散程度和目标用户评估数据中嵌入的相关结构。基于结合权重进行扰动分析有助于识别在综合证据框架内对替代方案排名更敏感的关键指标,并进一步测试在不同权重偏好场景下排名结果的结构稳定性。

本研究共包括了18个AIMCA设计评估指标,使用上一阶段得到的博弈论结合权重向量ω=(ω1,...,ω18)作为基线。设第j个指标为Cj,其原始权重表示为ωj,其余指标的权重表示为ωt(t≠j)。为了模拟不同程度的权重变化,采用了乘法扰动方法,扰动系数设定为ε∈{0.2,0.5,2,5}。这一设置覆盖了从大幅减弱到极度增强指标权重的广泛参数范围。具体来说,ε=0.2表示指标权重减少到原始值的20%;ε=0.5表示权重减少到原始值的50%;ε=2表示权重增加到原始值的两倍;ε=5表示权重增加到原始值的五倍。这样创建了一个从0.2到5的25倍乘法扰动范围,可以观察四种AIMCA方案在不同权重偏好强度下的排名轨迹。对所有18个指标分别进行了敏感性分析,共得到72种权重扰动场景。

为了保持归一化约束∑k=118ωk′=1,剩余权重按比例重新调整。设k为缩放因子,满足:∑t≠jωt′=1?ωj′=1?εωj。由于∑t≠jωt=1?ωj,因此有:ωt′=kωt,k=1?εωj1?ωj,t≠j。获得扰动权重向量ω′=(ω1′,...,ω18′)后,原始决策矩阵、灰关联度的计算、正负理想解的构造以及综合接近度ηi的公式保持不变。然后重新运行GRA-TOPSIS-η模型,以得出每种扰动场景下四种AIMCA方案的综合接近度和排名。当ε=1.0时,ω′=ω,对应于基线权重和基线排名。在本研究中,基线排名是C > D > A > B。如果在给定的ε扰动下排名保持不变,则认为该指标的权重变化对该排名不敏感;如果排名发生变化,则表明指标权重的变化对方案的相对排序有显著影响,说明该指标对决策结果更敏感。

上述过程对所有18个指标依次进行,共得到72种权重扰动场景。为了减少正文中表格的密集程度并突出敏感性分析的主要发现,完整的扰动结果被移至附录表A2中。在正文中进一步添加了排名稳定性的总结和指标敏感性分类的解释。如表15所示,在72种扰动场景中,基线排名C > D > A > B在40种场景中保持不变,占比55.56%。在权重减弱场景ε=0.2和ε=0.5下,基线排名分别在14/18和16/18的指标扰动中保持不变。在权重增强场景ε=2下,基线排名在10/18的指标扰动中保持不变。在极端权重偏好场景ε=5下,所有指标扰动都导致排名变化。进一步检查排在第一的方案C在52/72的扰动场景中保持第一,占比72.22%。这表明方案C的基线优势在大多数权重扰动条件下具有良好的结构稳定性。根据排名首次变化的扰动阈值,指标被进一步分为三类:低敏感性、中等敏感性和高敏感性指标。

表15. 排名稳定性结果总结。
- 稳定性指标
- 权重扰动场景总数:72
- 基线排名C > D > A > B保持不变的场景数:40
- 基线排名保持不变的场景比例:55.56%
- 排名变化的场景数:32
- 排名变化的比例:44.44%

在ε=0.2时,基线排名保持不变的场景数:14/18,占比77.78%
- 在ε=0.5时,基线排名保持不变的场景数:16/18,占比88.89%
- 在ε=2时,基线排名保持不变的场景数:10/18,占比55.56%
- 在ε=5时,基线排名保持不变的场景数:0/18,占比0.00%
- 方案C保持第一的场景数:52/72,占比72.22%
- 方案D保持第一的场景数:11/72,占比15.28%
- 方案B保持第一的场景数:5/72,占比6.94%
- 方案A保持第一的场景数:4/72,占比5.56%

为了进一步展示不同权重分布对方案排名的影响,基于附录表A2绘制了排名变化热图(见图12)。图12中,垂直轴表示18个评估指标,水平轴表示4个扰动系数。该图显示了在不同权重扰动水平下每个指标引起的排名变化类型。这种可视化更直观地表明,排名变化主要集中在高敏感性指标(如C21、C32、C33和C34)以及权重偏好较强的场景(如ε=2和ε=5)中。

下载:下载高分辨率图片(713KB)
下载:下载全尺寸图片

图12. 权重扰动下AIMCA方案排名变化的热图。
- 注:x轴表示扰动系数ε,y轴表示18个AIMCA评估指标。绿色表示基线排名C > D > A > B保持不变;橙色表示局部排名发生变化但C仍为排名第一的方案;红色表示排名第一的方案发生了变化。完整接近度系数和排名结果见附录表A2。

低敏感性指标被定义为仅在极端扰动ε=5下才改变排名的指标。这类指标包括C11、C12、C13、C14、C22、C25、C26、C31和C35。例如,当C25的权重扰动为ε=5时,方案A的η值显著增加,方案A成为表现最好的方案。这一发现表明,在当前的权重结构和得分分布下,只要这些功能性和安全性基准指标保持在合理范围内,对其权重的适度调整不会改变整体决策结果。

中等敏感性指标被定义为在中等到高强度扰动(即ε=2或ε=5)下改变排名的指标。这类指标包括C15、C16、C23、C24和C36。以C36为例,当ε=2和ε=5时,方案D的η值分别增加到约0.564和0.628。这表明当用户或决策者更重视情感安慰和心理安抚时,方案D的整体表现变得更加吸引人。一般来说,中等敏感性指标表现出结构稳定性与局部可调性的特征。它们不会推翻方案C和D的整体优势,但在特定权重配置下可以显著提升某些方案(如B或D)的相对竞争力。

高敏感性指标被定义为在相对较小的扰动下就改变排名的指标。这类指标包括C21、C32、C33和C34。对于这些指标,即使在ε=0.2或ε=0.5时就会发生排名变化,而在ε=2和ε=5时变化更为明显。例如,当C32的权重减少时,具有更强的安全性和功能性特征的方案D获得了更明显的整体优势。当其权重增加时,方案B和A的η值显著上升。这种模式表明,当强调情感支持和同理心时,更注重关怀表达和沟通风格的类型B和A的系统成为更受欢迎的选择。总体而言,高敏感性指标集中在信息可信度和关键交互体验的维度上。即使相对较小的权重调整也会改变方案的排名,因此这些指标对综合决策具有最大的影响。

总的来说,权重扰动分析显示,在本研究中指定的72种扰动场景中,基线排名C > D > A > B在40种场景中保持不变,方案C在52种场景中保持第一。这一结果表明,方案C的基线优势主要源于其在多个高权重属性(包括信息准确性、同理心沟通、情绪调节、数据保护和个人化)上的均衡表现,而D、A和B的相对位置可能在特定权重偏好条件下发生局部调整。进一步分析表明,排名变化主要集中在高敏感性指标(如C21、C32、C33和C34)以及权重偏好较强的场景(如ε=2和ε=5)中。这些结果表明,本研究的结果有两个含义:一方面,C > D > A > B可以被视为在当前指标系统、结合权重和评估数据条件下的稳定基线优先排名;另一方面,高敏感性指标揭示了在不同设计偏好下替代方案排名可能发生变化的关键触发点。因此,敏感性分析不仅展示了排名变化本身,还进一步揭示了这些变化背后的驱动机制,为后续的AIMCA方案优化、权重审计和情境特定设计决策提供了更清晰的方向。

除了权重扰动外,本研究还对LDA主题模型的关键参数进行了额外的稳定性测试,重点关注在主题数量K和狄利克雷先验参数α变化情况下主题结构、主维度映射和下游综合比较结果的一致性。结果显示,在指定的参数范围内,参数变化主要影响了主题表达的粒度以及三个主维度上的权重分配比例,而四种方案的基线排名总体上仍为C > D > A > B。具体来说,较小的K值产生了更压缩的主题结构,部分用户体验语义合并到了功能或安全相关主题中;相反,较大的K值进一步细分了功能属性和用户体验属性,从而增加了主题的粒度,但降低了主题解释的集中度。这些发现表明,在本研究的设置下,LDA参数的变化主要影响了前端主题表示和维度权重结构,而下游替代方案排名在指定的参数范围内保持了良好的连续性。这一结果进一步支持了C > D > A > B作为当前指标系统、结合权重和评估数据下稳定基线优先排名的解释。

5. 讨论
5.1. 理论贡献和方法创新
本研究开发的综合评估系统为AI应用的设计优化和市场比较提供了一个创新且可重用的理论框架。与传统主要依赖专家先验来构建指标的评估研究不同,本研究引入了LDA主题模型,自动从用户评论中嵌入的语义证据中识别潜在需求结构,并将其转换为操作性评估维度,从而在某种程度上缓解了指标覆盖范围有限和更新延迟的问题。该理论框架基于大规模语义数据分析,能够动态捕捉用户偏好,为AI应用的创新设计提供了坚实的数据支持和理论基础。它还建立了从理论到实践的桥梁,并在当前实验中展示了实际应用的稳健性和潜在价值。

在方法论层面,本研究整合了LDA、PSO、FAHP、改进的CRITIC、博弈论组合权重和GRA–TOPSIS,形成了一个封闭式的分析流程,用于AIMCA的应用层评估。FAHP用于结合专家判断并表达指标的重要性;PSO用于基于群组判断矩阵进行一致性优化和权重推导;改进的CRITIC和博弈论组合加权方法被用来整合主观和客观信息;GRA–TOPSIS用于生成备选方案的比较结果。比较实验表明,在当前的比较框架内,所提出的方法在保持可接受的计算效率的同时,能够获得较低的CR值和MAE值。敏感性分析进一步指出,在大多数权重扰动情况下,基线排名保持不变,排名变化主要集中在少数高度敏感的指标上。综合这些结果表明,所提出的方法为基于用户证据和多源权重整合的AIMCA应用评估、比较和设计优化提供了分析路径,同时也为相关AI应用的比较提供了应用层面的参考。更重要的是,本研究将语义挖掘、模糊多标准决策和基于群体智能的优化有机地集成到一个闭环系统中,将需求相关的证据与决策输出联系起来。总体而言,该系统为AIMCA等AI应用的评估、选择和优化提供了一个定量和系统的决策支持工具,并为相关领域的评估实践从经验驱动的判断向证据驱动的评估提供了操作方法论路径[12]。

5.2 实际意义
本研究提出的AI应用评估系统多方法有机集成,对实际设计和管理决策具有重要意义。首先,指标权重的排名提供了对当前AIMCA应用的若干新颖见解,也可能对更广泛的相关AI应用提供有用启示。在标准层面上,安全属性(C2=0.4130)的权重明显高于用户体验属性(C3=0.3341)和功能属性(C1=0.2528)。这表明,对于高风险医疗对话代理(如AIMCA)而言,产品的竞争力主要体现在其可信性、可控性和易用性上,而不仅仅是功能的积累。先前的研究表明,医疗对话代理在现实世界中部署的主要障碍通常集中在信息可靠性、潜在危害、隐私和治理等高风险问题上[12,32]。因此,AIMCA的产品开发路径应首先满足安全和合规性的最低可接受标准,然后通过设计改进来追求体验和功能的差异化扩展。否则,即使功能丰富的系统也可能无法实现持续采用。其次,根据评估指标的组合权重结果,排名最高的指标是沟通中的同理心(C32=0.0989)、信息准确性(C21=0.0875)、情绪调节(C36=0.0806)和数据保护(C24=0.0784),其次是个性化(C15=0.0731)和互动便捷性(C34=0.0681),这些进一步增加了它们的整体重要性。这表明,在高风险和高度不确定的医疗交互背景下,用户倾向于将AIMCA视为需要既可信赖的关系又有强安全约束的对话服务。因此,用户的主要期望是系统应提供准确的信息,以类似人类的方式沟通,并保护隐私。这一模式与最近的综述证据一致,进一步强化了用户体验和安全作为实际部署关键门槛的双重重要性[24]。

从证据属性的角度来看,应用商店评论特别适合捕捉前端信号,如界面可用性、交互效率、沟通体验、隐私感知和服务流程摩擦。这些信号对应用层设计优化具有直接价值。平台评论中的高频表达往往会在与体验相关的主题上形成聚类效应;因此,讨论部分是组织基于评论的证据和医疗质量证据的协调解释结构的合适场所。现有研究表明,数字健康应用的质量框架一致地将数据隐私和安全性、有效性、实施和伦理视为核心领域。健康应用评估的标准化研究同样将安全性和隐私、实施和伦理纳入关键评估集群。同时,生成式AI在诊断任务中的整体表现显示出模型之间的明显差异,专家级别的表现形成了一个明显的质量梯度。基于这一证据结构,本研究将用户评论定位为需求发现和体验校准的证据入口点,而专家问卷、标准映射、应用层评分以及信息准确性、风险监控、数据保护、可解释性和人机协作等安全相关指标共同构成了多源评估链。通过这种方式,评论中识别出的高频体验相关主题为设计迭代提供了方向,而关于临床有效性和治理的证据则为备选方案筛选提供了边界;这两种形式的证据共同支持医疗环境中的设计决策[21,31,57]。

更具体地说,权重较高的指标可以归纳为三类可操作的建议。首先,应围绕C32(沟通中的同理心)和C36(情绪调节)开发以工程为导向的“对话护理能力”。例如,这可能包括在关键交互点引入情感识别和认可,在风险相关情况下提供安慰和边界声明,以及纳入针对焦虑和恐惧等高唤醒情绪的降级脚本。由于这两个指标分别排名第一和第三,它们更有可能决定用户是否愿意继续对话并披露额外的症状信息,从而影响后续建议的质量和用户依从性。最近的研究还表明,同情心对话代理的设计和评估已成为近年来的一个明显增长领域,其有效性往往取决于它们能否稳定地响应用户情绪并产生可用的可用性和接受度证据[54]。其次,应围绕C21(信息准确性)和C23(风险监控)建立“安全护栏”。这应包括可追溯的证据链、缺失关键咨询信息的提示,以及在高风险情况下的升级或转诊机制。这是因为C21在权重中排名第二,也是一个高度敏感的指标,这意味着即使是很小的变化也可能改变整体排名和偏好结构。同时,最近的研究也明确警告了生成式对话系统在健康信息环境中传播误导性或不准确信息的风险,从而强调了将准确性和风险识别作为硬性工程约束的必要性[40]。第三,应通过C24(数据保护)、C34(互动便捷性)和C33(信息量适中)来实现AIMCA中的可用性和治理协调。一方面,产品应最小化数据收集、提供透明的权限和可控的设置;另一方面,在交互层面,应使用逐步提问、信息总结和确认机制来减少一次性信息负担,并防止因信息过载而导致误解或错误决策的连锁风险[4]。

最后,本研究开发的评估指标系统为设计师和管理人员提供了一个有效的工具,用于初步和全面评估设计方案,从而帮助确保这些方案符合用户需求。该系统不仅帮助设计师在设计过程的早期阶段专注于设计任务,还为管理人员提供了直接获取产品评估结果的手段,从而提高了决策的可靠性,减少了错误的可能性,并进一步简化了评估复杂系统设计的挑战。此外,基于本研究提出的方法,还使用MATLAB开发了一个自动化模拟系统。该系统提供了一个直观高效的界面,通过与设计师或管理人员一起加载多个设计方案及相关评分信息来评估它们,并查看结果,如图13所示。用户可以使用“导入”按钮加载多个设计方案及其相关的评分信息,然后执行“权重配置”模块以获得指标的组合权重。最后,通过执行“运行GRA-TOPSIS-η”操作,可以生成每个方案的复合接近系数和排名,最优方案会以可视化形式显示。

从实施的角度来看,本研究提出的多阶段模型可以组织为一个循环过程:“审查监控–主题整合–风险筛查–方案评估–发布后监控–反馈迭代”。对于医院管理人员,信息部门、临床部门、护理管理人员和伦理或治理委员会可以共同建立一个季度审查机制。该机制可以首先总结审查主题和高频痛点,然后通过将这些问题与安全相关指标和内部治理要求进行比较来进行优先级审议。随后可以选择需要产品修改的关键问题,并在下一轮版本评估中重新检查这些修改的效果。对于开发团队来说,这一过程可以嵌入到常规的软件迭代周期中。可以在版本规划期间更新审查主题;在需求审查期间完成标准映射和风险筛查;在原型设计和灰盒测试期间引入18个指标进行比较验证;发布后可以持续跟踪用户反馈、安全警报、手动交接记录和版本修复结果。因此,所提出模型的工程评估支持价值体现在两个方面。一方面,它可以将应用商店评论转化为设计输入,这些输入可以纳入需求池和风险审查清单;另一方面,它可以将备选方案排名、敏感性指标和高权重风险属性反馈到下一轮界面优化、交互流程调整、隐私设置改进和安全策略更新中。最近的医疗AI治理和实施框架强调,多学科合作、分阶段验证和持续监控有助于在同一实施循环中连接创新、患者安全和组织责任。因此,所提出的模型适合定期和以审计为导向的方式整合到现实世界的软件开发生命周期中[53,63,68]。

5.3 局限性和未来方向
本研究提出的评估系统具有理论和方法论上的新颖性,但其实际局限性和方法论约束也需要进一步澄清。首先,本研究使用的用户评论证据主要支持与应用层体验和服务流程相关的需求识别。此类证据可以敏感地反映可用性、沟通体验、功能摩擦、隐私感知和信任线索,并有助于识别高频痛点和需求集群。然而,在医疗AI评估中,其最合适的角色是作为多源证据链的一部分,与其他证据链一起使用,如临床有效性、现实世界的安全事件、专家共识、标准化的基于任务的评估和治理审查。应用商店评论通常涉及用户自我选择、情绪表达的差异以及平台可见性效应。高频评论主题可能会放大用户体验层面的痛点,而低频但高风险的临床安全问题在语义主题中可能获得较低的权重。因此,本研究将评论挖掘定位为应用层设计优化的前端输入,并进一步将信息准确性、风险监控、数据保护、可解释性和人机协作等指标纳入后续评估过程,以增强医疗环境中的解释完整性。现有研究表明,数字健康应用的质量框架已将安全性和隐私、有效性、实施和伦理确定为核心维度,而医疗机构中的AI治理实践也强调持续监控、责任分配和部署审查[31,53,63]。此外,平台用户群体结构、评估动机、表达模式和评论数据的语料库大小可能会影响主题覆盖范围、需求结构和指标整合结果。本研究使用的语料库主要来自中文评论和中文应用市场环境。这种设置加强了评论语义与目标用户场景之间的匹配,但也意味着研究发现首先适用于相似的语言环境、平台结构和医疗服务背景。当应用于不同语言和文化时,医疗系统、隐私规范、医患沟通实践、健康素养结构和AI信任基础的不同可能会改变用户评论中表达的优先级。例如,某些背景可能更重视数据保护和服务界限,而其他背景可能更重视响应效率、情感支持或可解释性。这些差异可能会进一步影响LDA主题结构、指标映射、专家判断权重和最终备选方案排名。未来的研究可以通过在英语、中文和其他语言市场中建立语料库,比较不同语言和文化背景下的主题一致性、指标可转移性和权重稳定性,并通过纳入本地化专家判断和目标用户评分来进行跨市场复制。关于更系统的主题质量验证,未来的研究可以使用统一清洗后的语料库,对不同的(K)值进行稳定性测试,并通过编码者间或多方编码者一致性检查来提高主题命名和语义整合的可重复性[14,19,31,38,55]。同时,本研究中使用的评审数据来源于过去六个月内应用商店用户的反馈。这个时间窗口有助于捕捉AIMCA应用程序在快速迭代过程中的近期功能表现、用户体验和市场反馈,但其证据范围主要对应于当前版本和近期的使用场景。鉴于医疗健康AI应用程序具有高风险、严格监管和持续演变的特性,本研究中的替代排名应被视为在当前评估条件下的应用级基线优先级和设计优化参考,而不是关于长期临床有效性、安全性或医疗决策的结论。未来的研究可以进一步扩大评审收集窗口,包括跨年份、多平台和多区域的数据,并结合实际使用记录、用户评分、专家重新评估以及来自临床场景的反馈,以增强评估结果的时间鲁棒性和外部验证。

其次,专家判断也可能影响最终的权重结构和替代排名。在本研究中,使用来自行业、产品开发、设计和企业管理的35位专家的反馈构建了一个群体判断矩阵,并采用了PSO–FAHP方法来提高判断矩阵的一致性和权重解决的可重复性。尽管如此,专家的专业背景、工作经验、风险认知以及对医疗健康AI应用场景的熟悉程度仍可能影响成对比较的结果。具体来说,与安全性、隐私和风险监控相关的指标可能会受到具有更强医疗治理经验的专家的更多关注,而与交互效率、信息呈现和情感沟通相关的指标可能会吸引具有产品设计和用户体验背景的专家的更多关注。博弈论组合权重将专家主观权重和用户评分客观权重结合到同一结构中,有助于实现专业判断与用户数据之间的平衡表达。未来的研究可以进一步引入多轮德尔菲反馈、跨跨学科专家组的分层比较、专家信心权重以及评分者间一致性测试,以提高专家判断过程的透明度和稳定性[17,18,42]。

此外,本研究中的实证验证主要关注AIMCA场景中的代表性应用替代方案,且参与者的评分基于相对较短的任务基础体验。因此,需要在不同的应用类别和用户群体中进一步检验研究结果的外部泛化能力。一方面,AIMCAs内的不同任务类型可能存在显著差异。例如,一般健康咨询、慢性病管理、复杂分诊、药物建议和高风险症状咨询在信息准确性、风险监控、可解释性、责任边界以及人机协作方面具有不同的评估优先级。另一方面,不同的用户群体在健康素养、数字素养、年龄结构、疾病经验、感知的医疗风险和隐私偏好方面可能存在差异,这些因素反过来可能会影响指标权重和替代排名结果。现有的关于数字健康和医疗健康AI评估的研究表明,评估框架的外部扩展需要基于特定应用场景、目标用户特征和实际使用环境进行跨场景和跨人群的验证[21,31,53,63]。因此,本研究的结果更适合作为在当前任务场景和目标用户样本下AIMCAs的应用级工程评估框架的验证结果。未来的研究可以在不同的AI应用类别、医疗任务和用户群体中进行复制研究,例如比较普通成年人、老年用户、慢性病患者、健康素养较低的用户以及具有高风险健康需求的用户,在指标权重、风险偏好和替代优先级方面的差异,以测试评估框架的跨场景适用性和人群鲁棒性。

基于以上结果,本研究将实证排名结果定位为在当前数据条件下的应用级评估证据。具体来说,C > D > A > B反映了本研究构建的18个指标系统、7,041条近期用户评论、35位专家判断和四个候选AIMCA替代方案共同产生的相对优先级结果。这一结果可以为类似AIMCA产品的设计评估和替代比较提供方法学参考。对于涉及不同医疗任务、用户群体、应用市场和时间窗口的AIMCA系统,仍需要使用新的评审语料库、专家判断和目标用户评分进行复制和验证。

第三,尽管本研究通过比较实验和敏感性分析检验了方法的稳健性,但模型不可避免地依赖于一系列结构和参数设置。此外,本研究中的比较验证使用了由主观和客观权重构建的内部折中参考向量。其主要目的是为不同的权重方法提供一个统一的比较基准,而不是作为外部真实权重或绝对黄金标准。因此,本研究中报告的MAE结果应解释为每种方法与这一内部参考的接近程度,而不是“外部真实准确性”的直接证据。同样,应当注意的是,GRA–TOPSIS综合接近度是多标准决策框架内的相对优先级指标,其主要功能是在给定的指标系统、权重结构和评估数据条件下支持替代比较。本研究通过权重扰动、参数稳定性分析和比较验证加强了排名结果的稳健性解释。尽管如此,排名结果仍应被视为当前评估背景下的决策支持证据,而不是关于应用程序之间总体真实差异的统计显著结论。未来的研究可以纳入更大规模、多轮和跨时间的用户评分数据,并引入自助重采样、置信区间估计或贝叶斯排名稳定性分析,以进一步量化相邻替代方案之间的排名不确定性。

总体而言,本研究提供了一个从用户语义证据到决策级排名的闭环评估路径。然而,其结论的泛化仍然依赖于更广泛的数据来源、更真实的使用场景和更系统的外部验证。未来的研究可以沿着三个主要方向进行:首先,未来的研究可以扩展语料库和平台覆盖范围,并使用跨时间窗口的复制来检验指标系统的动态稳定性;其次,可以引入多情境和纵向的实际使用评估,以便将用户体验指标与可验证的安全性和治理证据结合起来;第三,对于高敏感性指标,可以为不同的风险偏好和应用目标建立权重配置和审计机制,从而使评估框架在保持可重复性的同时实现更强的情境适应性和决策解释性。

6. 结论

本研究提出了一个数据驱动的综合性评估和优化框架,该框架整合了从用户评论中获取语义证据、构建评估指标系统、权重推导以及输出综合排名。在此框架内,使用LDA从用户评论中提取潜在的需求结构。在权重阶段,将专家判断与观察数据的特征相结合:分别通过PSO–FAHP和改进的CRITIC方法推导出主观和客观权重;然后引入博弈论以实现权重整合;最后,使用耦合的GRA–TOPSIS模型完成多个替代方案的排名。从AIMCA案例获得的实证结果表明,该框架可以支持多维度属性识别、替代方案比较和设计优化。进一步的比较实验显示,在当前的比较框架内,所提出的方法产生了相对较低的CR和MAE值。敏感性分析进一步表明,在大多数权重扰动场景下,基线排名保持稳定。基于这些发现,本研究为AI应用的应用层评估提供了定量工具,以支持设计优化和市场比较。

总体而言,本研究为中文评论和中国应用市场环境下的AIMCAs的设计迭代、替代方案选择和基准评估提供了应用层参考。它还为类似背景下的相关AI应用的用户证据驱动评估研究提供了方法论基础。

**CRediT作者声明**

欧阳伍民:概念化、方法论、形式分析、数据整理、可视化、初稿撰写、审稿与编辑。
范兆辉:概念化、监督、验证、审稿与编辑。
韩勇:调查、数据整理、验证、审稿与编辑。
王子桓:形式分析、调查、可视化、审稿与编辑。
陈宇琪:数据整理、调查、审稿与编辑。
何雨雨:方法论、验证、形式分析、审稿与编辑。
杜慧敏:概念化、方法论、监督、项目管理、验证、审稿与编辑。

**资助**

本研究得到了广州市理工学院(60-K0224060)的校级科学研究项目、中国教育部人文社会科学基金(25YJA760031)和湖南省教育厅科学研究项目(25C0004)的支持。

**披露声明**

作者未报告任何潜在的利益冲突。

**数据可用性**

数据将在请求时提供。

**CRediT作者贡献声明**

欧阳伍民:审稿与编辑、初稿撰写、可视化、方法论、数据整理、概念化。
范兆辉:审稿与编辑、验证、监督、概念化。
韩勇:审稿与编辑、验证、调查、数据整理。
王子桓:审稿与编辑、可视化、调查、形式分析。
陈宇琪:审稿与编辑、调查、数据整理。
何雨雨:审稿与编辑、验证、方法论、形式分析。
杜慧敏:审稿与编辑、验证、监督、项目管理、方法论、概念化。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号