人工智能对话机器人(TICS-M-AI)在老年人认知状态评估中的应用：概念验证研究

《Journal of Clinical and Experimental Neuropsychology》：Cognitive status assessment of older adults – test administration by conversational artificial intelligence (AI) chatbot: proof-of-concept investigation

这篇研究通过四项严谨实验验证了人工智能对话机器人(TICS-M-AI)在电话认知评估中的可行性。结果显示其与传统心理学家主导的TICS-M评估具有高度一致性(r=0.81)，一周重测信度良好(ICC=0.72)，且安全性与传统方法相当(6% vs 5% distress rate)。该研究为AI自动化认知筛查提供了重要概念验证。

　　

ABSTRACT

Background

电话认知状态改良量表(TICS-M)是社区老年人远程认知评估的重要工具。研究开发了由对话式AI管理的TICS-M-AI版本，通过四项研究验证其心理测量特性和安全性。

Method

研究1(n=100)比较TICS-M-AI与传统心理学家评估的并发效度；研究2(n=82)检验一周重测信度；研究3(n=264)通过Lindgren等人(2019)的条目反应模式验证结构效度；研究4比较两种方法的评估相关痛苦发生率。

Results

TICS-M-AI展现出优异的并发效度(r=0.81，κ=0.73)和良好的重测信度(r=0.76，ICC=0.72)。成功复制了Lindgren等人的研究结果，且痛苦报告率与传统方法无显著差异(6% vs 5%)。

Conclusions

TICS-M-AI在保持隐私安全的前提下，展现出与传统方法相当的可靠性、效度和安全性，同时具备成本低、可扩展性强等优势。

Introduction

TICS-M作为电话认知筛查金标准，已在全球多种文化中验证(Welsh et al., 1993)。AI技术通过语音识别(TTS)和语音合成(STT)实现自然对话，本研究创新性地将其应用于标准化认知评估流程。

Study 1 – concurrent validity

100名60-80岁澳大利亚社区老年人完成两种评估。结果显示：

• 强相关性(r=0.81，95%CI[0.73,0.87])

• 88%的分类一致性(κ=0.73)

• 发现0.88分的"模式效应"和0.67分的"练习效应"

Study 2 – test-retest reliability

82名参与者一周内完成两次TICS-M-AI评估：

• 重测相关性r=0.76

• ICC=0.72(95%CI[0.59,0.81])

• 83%分类一致性(κ=0.65)

Study 3 – construct validity

264次TICS-M-AI评估数据成功复制了Lindgren等人发现的三种分数分布模式：

• 总分和即时回忆分呈正态分布

• 非词表项目分呈右偏分布

Study 4 – safety

痛苦报告率分析显示：

• TICS-M-AI组6%(16/264)

• 传统方法组5%(5/100)

  差异无统计学意义(χ²=0.15，p=0.89)

Discussion

这项概念验证研究证实：

1. 隐私保护架构有效隔离敏感数据

2. 云+本地混合处理实现8分钟/评估的高效运行

3. 需注意AI系统缺乏动态调整语速/音调的能力

4. 未来需在临床人群验证，并优化对记忆策略的识别

Conclusion

TICS-M-AI为认知评估自动化提供了可行模板，其24/7可用性、低成本(每次约0.08美元)和即时评分特性，有望革新传统神经心理学实践。研究同时为其他AI自动化评估开发提供了重要方法论参考。