《SoftwareX》：MMAnnotator: Enhancing the annotation of web documents in the field of educational sciences with a RAG chatbot
编辑推荐：
生成式人工智能引发了语言学标注领域的变革。以往需要人工完成的标注任务如今可实现自动化。随着大语言模型（LLMs）能力的增强，其所能解决的问题也日趋复杂。基于LLM的聊天机器人带来了新的机遇：标注人员可以在用户界面内向机器人提问并请求解释。这对多模态标注尤为重要
生成式人工智能引发了语言学标注领域的变革。以往需要人工完成的标注任务如今可实现自动化。随着大语言模型（LLMs）能力的增强，其所能解决的问题也日趋复杂。基于LLM的聊天机器人带来了新的机遇：标注人员可以在用户界面内向机器人提问并请求解释。这对多模态标注尤为重要，因为目前仅有少数平台支持对不同模态的数据进行标注。研究人员提出MMAnnotator——一个旨在填补这一空白的多媒体标注系统。该系统借助聊天机器人实现语言学和多模态标注。研究人员在教育科学领域对MMAnnotator进行了展示，并通过用户研究对其进行了评估。
一、研究背景与问题
在自然语言处理（NLP）和机器学习（ML）领域，数据标注需求广泛存在于法学、语言学/教育学、物流/零售、人文科学及生物医学等众多学科。早期的标注工作依赖Excel电子表格，随后被基于表单的系统所取代。然而，现有标注平台往往功能受限，例如仅支持文本数据或标注能力有限。尽管已有如Label Studio、INCEpTION、MEGAnno+、doccano、HUMAN、AWOCATo和textAnnotatoR等网络化标注工具，但它们在不同维度上存在不足：开源版Label Studio缺乏用户与群组权限管理，可能导致标注偏差；多数平台不支持真正的多模态数据灵活标注；更重要的是，鲜有平台能将检索增强生成（RAG）聊天机器人深度集成到标注流程中，为标注人员提供实时的智能辅助。因此，研究人员亟需一个既能支持多模态、多视角协作标注，又能通过可选的RAG聊天机器人提升标注效率与准确性的综合性平台。
二、研究目标与结论
针对上述空白，来自法兰克福歌德大学的研究团队开发了MMAnnotator——一个基于网络的、面向多媒体的多视图标注系统。该系统建立在TextAnnotator和通用语料库浏览器（UCE）的基础上，利用非结构化信息管理体系结构（UIMA）作为底层数据结构，通过Docker统一UIMA接口（DUUI）封装NLP流水线，并集成了基于RAG的聊天机器人。研究的主要结论包括：（1）MMAnnotator成功实现了文本、图像等多模态数据的协同标注；（2）通过项目-仓库层级管理机制，支持同一文档从不同视角进行标注，提升了数据复用性；（3）集成的RAG聊天机器人能够响应自然语言指令，自动填充标注表单字段，且始终由人工确认最终决策；（4）在教育科学领域的真实用例（CORE项目）中，22名参与者的用户研究表明，标注人员普遍认为该工具满足需求且易于使用，相比Excel更受青睐，聊天机器人在解释标准、描述图像内容等方面提供了有效辅助。
三、关键技术方法
研究人员采用了以下关键技术方法：基于UIMA的数据模型用于建模多模态标注结构；Docker统一UIMA接口（DUUI）将NLP处理流程封装为微服务，支持水平与垂直扩展；基于React的前端框架确保跨平台兼容性；检索增强生成（RAG）技术使聊天机器人能够以文档内容为上下文提供精准回答；后端采用Ollama框架，支持本地部署的大语言模型（LLMs）以及OpenAI API兼容模型，在本研究中使用了Qwen-2.5-VL-7B（多模态）和Qwen-3-8B（纯文本）两种模型，所有模型均在本地运行以确保数据隐私。
四、研究结果
2.1 软件架构
MMAnnotator基于TextAnnotator构建，后者是一个基于网络的语料标注平台，可计算标注者间一致性等统计指标。系统通过WebSocket和REST协议通信，并可嵌入虚拟现实标注环境。UCE提供语料库搜索与探索功能，其RAG机器人被MMAnnotator用于辅助标注。所有数据均以UIMA类型编码，支持文本、图像、音频和视频等多种媒体格式。
2.1.1 后端
研究人员引入“项目”概念作为特定标注任务的仓库容器，每个项目可包含子项目和仓库，支持同一文档在不同项目中共享标注，从而满足多视角（D）和多模态（H）需求。通过DUUI集成多种统计分析工具（F）和标注辅助工具（I），如报告标注者间一致性和导出CSV格式标注结果。聊天API（L）允许标注人员以自然语言与机器人交互，机器人可根据文档内容自动填写表单字段。后端扩展了UCE以支持Ollama框架，可使用本地或云端LLM，所有学生数据均未离开本地基础设施。
2.1.2 前端
前端基于React框架（E），包含登录页、项目列表页、文档概览页和标注视图。在标注视图中，用户可以启动聊天机器人，机器人根据项目设置配置系统提示词、可用值和可编辑字段。机器人可以设置数字、选择选项和单选按钮，所有设置值均保持可见和可编辑，最终决定权始终在标注人员手中。管理员可通过管理页面高效管理项目、仓库、文档和用户访问权限（A）。
2.2 软件功能
MMAnnotator提供四大核心功能：第一，支持文本、图像、音频和视频的多模态、多视角标注（C、D、H）；第二，基于项目和仓库的数据管理允许同一文档从不同视图协作标注且无需调整前端（G、J）；第三，通过DUUI集成NLP流水线实现自动预标注、实时统计、标注者间一致性和导出（F、I、K）；第四，提供基于RAG的聊天机器人辅助标注（L），该功能完全可选。
3 示例用例
两个用例均来自高等教育批判性在线推理（CORE）项目。用例US1涉及对学生书面陈述的标注，依据文本连贯性、引用来源数量、论据数量等多项标准进行评估。用例US2基于截取的网页截图进行标注，涵盖网页体裁、可见图形数量和类型、页面内容完整性等维度。聊天机器人在处理多语言网页、密集截图以及新标注人员培训场景中尤为有用。
4 影响与评估
评估任务要求标注人员根据学生在线研究的书面总结和随机选取的网站截图，基于10项标准（6项与文本相关、3项与图像相关、1项需结合两者）进行评分。22名参与者（博士研究员和计算机科学学生）完成了标注并填写了调查问卷。UMUX量表结果显示标注人员倾向于同意工具满足需求且易于使用，强烈偏好MMAnnotator而非Excel。关于聊天机器人，平均每人发起2.05次对话，发送6.22条消息，约50%的参与者仅发送1-2条消息。大多数消息请求评估（24%）、解释（20%）、图像描述（16%）或翻译（7%），20%的消息要求机器人填写字段。整体上，标注人员对聊天机器人的支持作用持轻度至中度认可态度。
五、讨论与结论
讨论部分指出，当前评估属于实地部署而非受控实验，存在局限性：所有参与者仅评价单一学生回答，聊天机器人使用为自选行为，用户与非用户群体规模较小；系统记录标注创建时间但未记录文档打开时间，因此效率声明依赖于自我报告；LLM建议可能锚定人类判断导致过度依赖。MMAnnotator通过设计缓解了这一风险：机器人仅在显式请求下行动，所有设置值保持可编辑，项目可完全禁用聊天机器人功能。
研究结论部分翻译如下：研究人员介绍了MMAnnotator——一个多媒体、多视图标注系统。研究人员识别了有效标注系统的需求，并以此指导了MMAnnotator的开发。尽管部分需求尚未完全满足，但已为实现它们奠定了基础。未来工作包括改进聊天机器人的历史管理以更有效地引导标注过程，提升性能和响应时间，以及记录编辑和交互时间戳以实现对聊天机器人影响的受控评估。目前，MMAnnotator正在教育领域投入使用，这是一个对非专业人员的差异化标注工具有迫切需求却供应不足的领域。MMAnnotator已在GitHub上发布（AGPL v3许可证），可供社区使用和扩展。
