《International Journal of Environmental Research and Public Health》：Contextualizing Evaluation in Research Consortia: A Reflective Case Study from the Research Centers in Minority Institutions (RCMIs) Program
编辑推荐：
2020年，少数族裔机构研究中心（RCMIs）项目内的评估人员提出了一个概念框架，确定了四个主要评估目标：科学产出、科学合作、专业成长和研究资源。本研究通过捕捉项目影响的情境性和过程导向维度，扩展了先前的工作。这项基于反思实践的课题考察了非量化方法如何补充传统
2020年，少数族裔机构研究中心（RCMIs）项目内的评估人员提出了一个概念框架，确定了四个主要评估目标：科学产出、科学合作、专业成长和研究资源。本研究通过捕捉项目影响的情境性和过程导向维度，扩展了先前的工作。这项基于反思实践的课题考察了非量化方法如何补充传统指标，以更好地表征RCMI成果。代表十个RCMI站点的评估人员参与了一项多站点案例研究，该研究由三个问题引导，分别涉及：（1）超越指标的定性影响证据；（2）实施非量化方法的挑战与成功；（3）评估目标的潜在扩展。评估人员提供了描述性回答，生成了一个22页的数据集，并进行了主题分析。出现了十三个非量化评估领域：研究者咨询、研究者生产力、研究者成功、社区伙伴关系、RCMI内部合作、团队科学实施、职业发展、项目支持、导师支持、对RCMI附属机构的影响、智力资源、物质资源和教师招聘。主要挑战包括不一致的数据捕获和有限的评估资源，而成功之处则突出了跨站点学习的改进和项目影响的可见性。研究结果支持保留原有评估目标，同时将框架扩展至包括机构转型、公平的研究环境和长期的社会影响。开发了一个概念图，描述了包含非量化方法的混合方法如何能够产生RCMI评估，从而扩展当前主要依赖定量数据的方法。研究人员建议采用定量目标和非量化策略，以提供情境、传达成功证据，并指导项目变更，从而深化发现并加强RCMI评估实践的严谨性。
**研究联盟中的情境化评估：来自少数族裔机构研究中心（RCMIs）项目的反思性案例研究**
**论文解读**
**研究背景、现存问题与研究目的**
研究能力建设（RCB）中心旨在增强学术机构设计、实施和转化研究成果的能力，其资金支持多机构、社区参与的联盟，以应对复杂健康问题并减少健康差异。随着RCB项目的发展，评估已从追踪学术产品（如资助、出版物）转向综合性与稳健性框架，衡量研究能力、利益相关者参与和社区影响。然而，现有联盟级评估框架在指导如何情境化收集的真实世界数据方面存在局限，尤其是在复杂、多伙伴的健康公平环境中。例如，转化科学效益模型（TSBM）缺乏解释机构能力如何建设的粒度；实施研究综合框架（CFIR）和RE-AIM主要关注实施成败，但较少涉及长期影响；发展性评估和响应式反馈虽支持非量化方法，但在多站点联盟中的应用有限。少数族裔机构研究中心（RCMIs）项目作为美国国立卫生研究院（NIH）资助的联盟，其评估主要依赖定量指标（如资助数、出版物数），缺乏对机构转型、合作过程和社区影响的定性洞察。Sy等人（2020年）提出了四个主要评估目标（科学产出、科学合作、专业成长和研究资源），但尚未系统整合非量化方法。本研究旨在：（1）表征RCMIs中当前实施的非量化评估方法；（2）情境化成功与挑战，深化对评估实践的理解；（3）利用这些信息扩展评估模型，纳入混合方法以记录RCMI对健康差异研究能力的影响。该论文发表在《International Journal of Environmental Research and Public Health》。
**主要关键技术方法**
本研究采用多站点反思性案例研究方法，基于社区实践（CoP）中的评估人员经验。研究人员来自十个RCMI站点（平均资助年限22年），通过共享Google文档收集对三个开放式引导问题的书面回答，生成22页定性数据集。分析方法包括主题分析（对81个文本片段进行编码和迭代共识构建）、内容分析（区分挑战与成功主题），并使用生成式AI辅助引文筛选（但保留研究人员解释权威）。理论框架基于元评估和反思性实践，旨在评估非量化评估方法的实施状况。样本为便利样本，代表近一半的在资助RCMI站点。
**研究结果**
**3.1 识别和情境化RCMI非量化评估方法（引导问题1）**
通过分析73个文本片段，发现非量化方法最常用于评估专业成长（41%），其次为科学合作（33%）、研究资源（18%）和科学产出（8%）。每个主要目标下出现了多个非量化评估领域：
- **3.1.1 科学产出（主要目标1）**：关键主题包括研究者咨询、研究者生产力和研究者成功，揭示了项目如何影响或抑制进展，以及如何促进产出。评估方法包括里程碑审查、纵向追踪和成功故事访谈。
- **3.1.2 科学合作（主要目标2）**：关键主题聚焦社区伙伴关系、RCMI内部合作和团队科学实施，通过社会网络分析（SNA）、调查和文件审查等非量化方法评估合作形成与协同效益。
- **3.1.3 专业成长（主要目标3）**：关键主题包括职业发展、项目支持、导师支持和对RCMI附属机构的影响，采用访谈、开放性问题调查和个人发展计划（IDP）审查等方法。
- **3.1.4 研究资源（主要目标4）**：关键主题包括智力资源、物质资源和教师招聘，评估资源意识、利用率、能力变化和基础设施增强的情境。
**3.2 非量化方法应用的挑战与成功（引导问题2）**
分析26个文本片段，识别出跨目标的成功与挑战主题：
- **成功主题**：加强评估基础设施（通过集中数据系统如REDCap）；使用混合方法深化洞察（结合定量指标与定性访谈）；系统追踪研究产出与合作（如SNA可视化）；记录社区参与合作（通过社区参与核心CEC评估）；数据驱动的项目改进（开放性问题反馈）；结构化使用IDP和导师评估提升研究准备度。
- **挑战主题**：非量化方法能力与资源有限；调查参与率低（50-60%）；数据收集不一致（跨项目、合作和社区伙伴）；技术与基础设施限制（如SNA数据清理耗时）；报告周期与项目活动时间错位。
**3.3 主要目标与次要目标的扩展建议（引导问题3）**
通过18个文本片段分析，提出三个新主要目标：
- **促进公平且响应性强的研究环境**：通过关键知情人访谈记录政策或资源分配变化。
- **高质量、互惠且公平的合作**：通过项目负责人访谈评估挑战解决、资源交换和权力分配。
- **实现可持续的社区与政策影响**：通过社区咨询委员会（CAB）成员访谈、研究者调查和内容分析追踪政策变化及社区健康知识转移。
此外，对现有次要目标（如资助、出版物）进行定性细化，例如通过纵向编码追踪早期研究者（ESI）和代表性不足（UR）状态，并使用Altmetric Explore分析研究成果在临床指南和政策文件中的融入程度。
**概念图**：提出了一个扩展的RCMI评估概念图，将定量指标（灰色和蓝色层）与非定量情境与过程（橙色层）以及可持续系统变革（绿色层）整合，强调迭代反馈循环。
**讨论与结论**
**讨论**：本研究通过反思性多站点实践，阐明了非量化方法如何揭示RCMI建设研究者与机构能力的情境化机制。非量化策略贯穿形成性、过程性和影响性评估，补充了TSBM模型中对实施过程和劳动力发展的理解。挑战（如能力有限、数据分散）反映了结构性系统问题，需要政策层面调整（如评估预算、联邦层面整合非量化方法）。成功（如混合方法、集中数据系统）凸显了非量化方法在深化洞察方面的价值。扩展的评估目标（公平环境、高质量合作、可持续影响）强调了健康公平和社区互惠，与TSBM的社区与政策领域一致。理论整合表明，非量化方法对于捕捉复杂环境中RCB的机制、情境和关系动态至关重要。研究局限性包括样本来自评估实践社区（CoP），可能存在选择性偏差；共享文档可能引入服从偏差；使用生成式AI可能引入错误（但通过人工验证缓解）。
**结论**：研究人员建议采用结合Sy等人（2020年）的定量目标与本项目识别的非量化策略的方法，以提供情境、传达成功证据，并指导项目变更，从而丰富发现并加强RCMI评估实践的严谨性。整合跨来源的评估数据与信息的标准化流程有助于传达影响，并增强站点集体讲述RCMI联盟故事的能力。
