混合方法实现大规模患者评估分类：从专家标注到可量产的机器学习模型，助力可持续医疗发展 伊琳娜·叶夫根尼耶夫娜·卡拉比希娜（Irina Evgenievna Kalabikhina）、 安东·瓦西里耶维奇·科洛图沙（Anton Vasilyevich Kolotusha） 以及 瓦迪姆·谢尔盖耶维奇·莫什金（Vadim Sergeevich Moshkin）

《Big Data and Cognitive Computing》：Hybrid Approach to Patient Review Classification at Scale: From Expert Annotations to Production-Ready Machine Learning Models for Sustainable Healthcare Irina Evgenievna Kalabikhina, Anton Vasilyevich Kolotusha and Vadim Sergeevich Moshkin

　　摘要：患者每年留下数百万条医疗评价，为质量管理提供了关键数据。然而，手动处理这些评价是不可能的，现有的系统也无法区分医疗问题和组织问题——这种区分对于投诉的定向处理至关重要。错误定向处理的后果非常严重：当医疗投诉到达行政部门人员手中时，临床问题可能得不到解决；而当组织问题投诉到达医疗主管那里时，系统性服务问题依然存在。我们开发了一种结合专家注释和大型语言模型（LLM）的混合方法。在对1500条评价进行15次提示迭代并经过专家验证（使用修改后的Cohen’s kappa（κ_mod）方法，该方法对错误进行了分层加权）后，对15,000条混合情感和正面评价进行了LLM注释，最终得到了0.745的准确率。这些评价与7417条专家注释的负面评价相结合，形成了总共22,417条评价的语料库。我们比较了八种模型架构，从逻辑回归到BERT + TF-IDF + LightGBM集成模型，并使用标准指标和针对投诉定向处理的特定领域实用指标进行了评估。最佳模型在Prodoctorov.ru平台上应用于430万条俄语评价时，达到了92.9%的实际准确率——即没有出现医疗与组织错误分类的错误；而使用标准方法（将所有错误同等对待）时，准确率仅为68.0%。错误率降低了1.4%，与传统方法（TF-IDF + 逻辑回归）相比，正确处理的投诉数量增加了144,000条。对扩展数据进行分析后发现：46.1%的评价属于医疗问题，21.0%属于组织问题，32.9%属于混合问题；医疗问题的评价评分最高（4.75分 vs 4.59分，p < 0.001）；混合问题的评价长度最长（802个字符）；零星评价占反馈的3.8%，其中组织问题投诉占极端负面评价的绝大多数（38.2%）；平均评分在14年间上升了1.24分。这种混合方法能够生成与专家水平相当的语料库，自动化处理93%的反馈，确保正确的投诉定向处理，并通过减少行政负担、加快问题解决速度以及实现数据驱动的质量管理来促进医疗系统的可持续性，而无需大幅增加人力资源。所有分析均基于俄语患者评价。

1. 引言
1.1 研究背景和意义
医疗行业的数字化催生了一种全新的数据来源，用于管理医疗服务的质量——即患者在专业在线平台上的评价。每年，患者都会留下数百万条关于医生和诊所工作的评论，形成的数据集规模可与大数据相媲美。仅在Prodoctorov.ru平台上，2011年至2025年间就积累了超过430万条评价，俄语医疗评价的总量达到了数千万条。这些数据包含了识别医疗系统中问题的关键信息。然而，由于人力资源有限，这些数据的潜力尚未得到充分发挥。首先，手动处理数百万条评价是不现实的。其次，现有的自动文本分析系统（如情感分析、主题建模）无法完成关键的管理任务——即根据责任领域对投诉进行定向处理。
为了有效进行质量管理，区分评价中描述的三种类型的问题至关重要。医疗问题（M）是指与医生专业能力相关的投诉，包括诊断、治疗、处方、医疗错误和手术结果等方面，这些问题属于医疗主管的职责范围，需要临床分析。组织问题（O）是指关于服务和管理方面的投诉，如预约安排、等待时间、服务费用、工作人员礼貌程度以及诊所清洁度等问题，这些问题属于行政人员的职责范围，可以通过组织手段解决。混合问题（C）是指患者同时评价医疗和组织方面的问题，这两种因素都没有占据主导地位。这类评价特别有价值，因为它们包含了患者与医疗系统互动的最完整信息。
错误定向处理的后果非常严重：将医疗投诉发送给行政部门人员会导致临床问题得不到解决；而将组织问题投诉发送给医疗主管则会使服务问题仍然存在。在自动处理过程中混淆这些问题类型会导致关于医疗错误的投诉到达行政部门，而关于排队问题的投诉却到达医疗主管那里。结果，两组都未能获得决策所需的相关信息，患者也无法得到回应。

1.2 文献回顾和以往研究
电子口碑（eWOM）和医生评价网站
在线评价分析领域的研究基础是电子口碑（eWOM）的概念——即通过互联网技术向消费者传递的非正式信息，内容涉及使用特定产品、服务或其提供者的体验[1]。特别是在在线评价形式下，eWOM已成为消费者决策最重要的信息来源[2,3]。
在医疗领域，这种现象通过医生评价网站（PRW）得到了广泛传播。根据2018年的数据，德国超过52%的医生在这些平台上拥有个人页面[4]。在线门户不仅允许评估个别医生，还可以评估医院等大型机构[5,6]。评价的结构因国家和上下文而异：在某些国家，关于医院和整体体验的评价更为普遍[7,8]。
研究人员注意到医疗领域的正面评价和医生评分普遍较高[9,10,11,12,13,14]。然而，在COVID-19大流行初期，在线论坛上的负面评价比例暂时增加[15]。正面反馈的普遍性可能促使企业提高产品和服务价格以最大化利润[16]，这促使不道德的公司利用虚假评价和评分扭曲来操纵评价[17,18,19]。一个特别的威胁是使用人工智能生成几乎无法与真实用户评价区分开来的评论[20,21]。

影响评价内容和情感的因素
医生收到正面评价的主要因素包括他们的友善程度和沟通能力[22]。Shah等人[23]将增加医生收到正面评价的可能性因素分为两类：一类取决于医疗机构（医院环境、地理位置、停车设施、医疗流程等），另一类与医生的行为（知识、能力、态度等）相关[23]。
医生的个人特征，如性别、年龄和专业，也会影响患者的评分[24,25,26,27,28]。根据德国和美国的数据研究，女性医生通常获得更高的评分[24,25]，妇产科医生和年轻医生也表现出更高的评分[28,29]。患者特征也会影响评分分布。例如，Emmert和Meier[24]的研究表明，老年患者倾向于给予医生更高的评分。保险政策状况也会显著影响反馈情感[24,30]。一些研究表明，农村地区的患者更多给出负面评价[31]。一些研究关注在线服务用户的特征，指出某些特征表明了人们使用医生评价的频率[32,33]。
一些研究同时使用数值评分和评论文本作为数据[34]。特别是[34]发现了影响更正面评价的因素，这些因素既与医生的特征有关，也与医生无法控制的因素有关。

关于在线评分与实际医疗质量之间联系的争论
研究人员发现，关于医生的在线评价往往不能反映实际的医疗效果[35,36,37]。因此，与其它行业相比，医疗领域的评价和在线评分的实用性和有效性较低[38,39]。然而，也有研究显示用户在线评分与临床效果之间存在直接关联[40,41,42,43]。这一争论强调了需要更细致的分析工具，这些工具不仅能够进行简单的情感分析，还能考虑评价的实质性内容。

自然语言处理（NLP）和机器学习在患者评价分析中的应用
从传统调查转向自动分析患者在社交媒体和评价平台上生成的文章，标志着医疗质量评估的重大进步[44,45]。这种方法利用大样本量，提供了更客观、更具代表性的患者态度画像。
系统评价[46]表明，NLP和机器学习已成为处理患者反馈中的非结构化文本的重要工具。该评价总结了19项研究，指出最常见的方法是监督学习（通常使用支持向量机和朴素贝叶斯分类器）和无监督学习（主题建模）。
这种方法已成功应用于标准化调查的数据分析[47]。在[47]中，基于Press Ganey的数据开发并验证了一个系统，用于自动进行主题分类和患者评论的情感分析，取得了0.74的F值。在另一项研究[48]中，利用NLP和神经网络对Press Ganey调查的反馈进行了分析，识别出了关键的不满因素，如病房内的环境控制、噪音、出院延迟和频繁抽血等问题。
大量研究以医生评价文本作为实证基础[49,50,51,52]。研究人员发现，医生评价服务可以补充传统患者满意度调查提供的信息，有助于更好地理解医疗质量[45,53,54]。
在俄罗斯医疗领域，这一方向正在发展[55]。作者强调了算法化和自动化处理大量非结构化患者评价文本的必要性，以建立独立的质量评估，并展示了经典机器学习方法在俄语数据情感分析上的有效性。

现代趋势：大型语言模型和新挑战
一个现代且快速发展的是在医疗领域应用大型语言模型（LLM）。正如[56]所指出的，LLM具有改变医患互动的潜力，包括自动化行政任务、为患者语义化复杂医疗信息以及整理临床数据。
然而，尽管技术潜力巨大，目前LLM的应用主要集中在个人互动任务和临床决策支持上，而其在系统分析反馈以识别医疗专业领域的结构问题和进行质量管理方面的应用尚未得到充分探索。

作者之前的工作
在过去三年中，我们开展了一系列研究，致力于分析患者评价并开发自动分类的方法[57]。在[57]中，我们开发了一种混合方法，用于分类关于医疗机构的俄语评价，使用了多种神经网络架构（GRU、LSTM和CNN）。在6万条评价中，基于GRU的架构取得了最佳结果（准确率=0.927）。这项研究证明了在评价文本中自动区分医疗和组织方面的基本可行性。
在[58]中，发表了来自infodoctor.ru平台2012-2023年的18,492条负面评价（一星评分）数据库，涵盖了16个主要俄罗斯城市。这个数据库成为了后续研究的基础，证实了不同城市和患者群体之间评价结构的系统差异。
在[59]中，使用逻辑回归解决了将负面评价二元分类为医疗问题（M）和组织问题（O）的问题（准确率=88.5%）。对18,680条负面评价的分析显示，自2021年以来，莫斯科的医疗投诉比例开始超过组织问题，并且不同医疗专业群体之间的评价结构也存在稳定差异。
基于作者对18,492条负面评价的分析[60]，技术科室（外科医生、牙科医生）的投诉更常与医疗问题相关（39.8% vs 通信专业科室的29.3%，p < 0.001），而通信专业科室（妇科医生、产科医生）的投诉更多与组织问题相关（45.7% vs 35.0%，p < 0.001）。

当前研究的不足
现有研究存在一些关键 gaps。根据最近的一项综述研究[61]，在分析截至2024年2月发表的52项研究后，情感分析、主题建模和文本分类是分析非结构化患者反馈的三种主要方法。然而，该综述指出了两个关键的不足：
1. NLP所得结果与传统医疗质量指标之间的联系仍然有限。
2. 几乎没有证据表明这些方法在实际临床实践中被用来影响医疗工作者的行为或管理决策[61]。
这一发现与先前的观察结果一致：尽管患者反馈可以促使医生行为改变，但这一过程并非自动的，严重依赖于上下文因素，其中叙述性评论在反馈接受中起着关键作用[62]。
另一项基于患者反馈的干预措施系统评价[63]也证实，同时针对个体医疗工作者行为和组织流程的综合性干预措施最为有效，这强调了需要能够精确识别结构问题的分析工具。

此外，机器学习还被应用于其他临床领域中的患者分类。Ruk sakul pi wat 等人 [64] 进行的一项系统评价研究了基于机器学习（ML）的中风患者分类系统，确定了 44 个临床特征（主要是年龄、性别和葡萄糖水平）以及 15 种算法，其中支持向量机（SVMs）和随机森林（Random Forest）被最常使用。尽管这项评价侧重于临床分类而非患者体验反馈，但它强调了 ML 在患者分层中的广泛适用性，以及根据输入数据特征的不同方法多样性——这些发现与我们的观察结果一致，即算法的选择取决于数据来源和任务定义。1.3. 以往研究的局限性和与本研究的联系尽管取得了上述结果，但以往的研究（包括我们自己的和国际上的）存在一些局限性，这些局限性阻碍了将开发出的方法应用于实际数据流的规模生产部署。第一个局限性在于我们之前的研究 [58,59,60] 仅关注负面评价。然而，根据 Prodoctorov.ru 平台的数据，高评分（4-5 星）的比例为 89.7%，而低评分的比例仅为 6.2%。忽略正面评价，尤其是混合情感评价，会导致超过 90% 的可用信息丢失。第二个局限性是分类的完整性问题。在之前的研究 [59,60] 中，尽管方法中考虑了综合评价，但并未将其作为分析的重点。然而，初步分析显示，综合评价占了相当大的比例（约 30%），并且具有独立的价值。第三个局限性是专家注释的工作强度高且成本高昂。在以前的研究 [57,58,59,60] 中，注释语料库完全由专家创建，这限制了其容量（18,000 至 60,000 条评论）。训练现代模型，特别是基于转换器架构的模型，需要大量注释数据。第四个局限性是缺乏考虑医疗情境下不同错误成本的指标。标准指标（准确率、F1 分数）将所有错误视为同等重要，这不符合医疗组织的实际需求。第五个局限性是开发出的模型未在真实数据规模上进行验证。以往的研究 [46,49,55,57,59] 仅停留在概念验证阶段，未能展示模型在接近生产环境条件下的性能。1.4. 本研究的目的和目标本研究旨在开发并验证一个适用于医疗组织生产部署的三类患者评价分类系统（M、O 和 C），并能扩展到百万级别的数据集。为了实现这一目标，将解决以下问题：开发一种混合方法来创建注释语料库，结合专家验证和大型语言模型（LLMs）以及迭代提示工程，以实现注释的规模化同时保持与专家注释相当的质量；引入并证明实用指标（实际准确率、实际 F1 分数），这些指标考虑了错误的层次结构，并反映了模型在医疗情境中的实际业务价值；对八种机器学习架构（从逻辑回归到基于 BERT、TF-IDF 和 LightGBM 的堆叠集成）在 22,417 条平衡数据集上的比较分析；将最佳模型扩展到 Prodoctorov.ru 平台的 430 万条真实评论，评估类别分布并计算业务实施效果；从百万级别数据集的分析中提取实质性见解，包括评价类型与评分/长度之间的关系、时间动态、按人口标准化的地理分布以及按医疗专科的分析。1.5. 本文的科学新颖性和贡献本研究在患者评价分析方法及其在医疗保健中的实际应用方面做出了以下贡献：方法学贡献：提出了一种混合的“专家 + LLM”方法，并通过迭代提示工程（15 个版本）和修改后的 Cohen’s kappa（考虑层次化错误权重）进行了验证。研究表明，LLM 可以达到与专家相当的一致性水平（κ_mod = 0.745），使其可以用于注释的规模化。指标贡献：开发并证明了实用指标（实际准确率、实际 F1 分数），这些指标是针对特定应用的成本敏感度评估的调整，考虑了医疗情境下不同错误的成本，并允许从实际业务价值的角度评估模型，回应了 [61] 中提出的挑战。实证贡献：这是迄今为止对八种架构（从简单线性模型到复杂集成）在统一平衡数据集上的最全面比较，既使用了标准指标也使用了实用指标进行评估。应用贡献：首次成功将患者评价分类模型扩展到 430 万条记录，并对业务效果进行了定量评估，直接解决了文献中关于缺乏在实践中实施 NLP 方法的证据的空白 [61]。分析贡献：基于百万级别数据集的分析，识别出了对理解患者行为和满意度动态具有独立价值的稳定模式。1.6. 文章结构后续内容安排如下。第 2 节描述了研究的方法和材料：数据来源、抽样程序、LLM 分类的迭代提示工程和验证、最终训练数据集的创建、比较的机器学习架构、评估指标和实验设计。第 3 节展示了结果：LLM 验证、模型比较分析、数据分布影响分析、扩展到 400 万条评论以及实质性见解。第 4 节讨论了获得的结果、其解释、与以往研究的比较、实际意义的评估以及研究的局限性。第 5 节提出了主要结论。附录 A 提供了分类手册的完整文本，版本 v15。2. 材料和方法该方法包括四个阶段：（1）使用混合专家 + LLM 方法创建大型注释语料库；（2）结合专家验证的迭代提示工程；（3）使用标准和领域特定指标训练和比较八种机器学习架构；（4）扩展到 430 万条评论，并考虑生产就绪的部署。2.1. 数据来源和抽样原则本研究基于两个最大的俄罗斯医学评价聚合平台的数据：Infodoctor 和 Prodoctorov.ru。选择这些来源是因为它们的代表性（合计覆盖数百万条评论）、数据可用于研究分析，以及不同的收集时期，从而可以评估开发出的模型对时间变化的鲁棒性。Infodoctor 平台（2012–2023）：初始样本。Infodoctor 平台的数据被用作开发和验证分类系统的基础。为了确保代表性并考虑情感对分类的影响，形成了三个专门的样本。负面样本基于之前研究 [57,58] 中专家注释的档案，重点关注俄罗斯主要城市的医疗机构评价。该样本仅包含经过高专家一致性验证（Cohen’s kappa ≥ 0.75）的评论，并明确归类为 M、O 或 C 三大类问题之一。这个高质量注释样本的量为 7417 条评论。混合情感样本使用了一种原创的两级方法生成，旨在选择评价模糊或矛盾的评论。在第一级，进行了评分过滤：选择平台 5 级评分中为 2-4 星的评论。这个范围表明文本中不存在极负面或无条件积极的印象，增加了文本中同时存在正面和负面因素的概率。在第二级，使用一组正则表达式进行了语言过滤，以识别混合评价的特征语言模式。这些模式包括：基本的对比结构（“但是”、“然而”和“另一方面”）；结构化的对立（“一方面……另一方面……”、“好医生，但是……”）；医疗情境短语（“治疗效果有效但费用昂贵”、“诊断正确但等待时间长”）；以及定性评价（“唯一的缺点”、“有一个小瑕疵”和“总体良好，但是……”）。如果检测到至少一种指定模式，则将该评论纳入样本。最终混合情感样本的量为 7500 条评论。正面样本根据直接且可复制的标准创建。它仅包含获得最高用户评分（5 星）的评论。为了确保样本的纯度，手动排除了那些高评分与文本明显负面内容相矛盾的情况（例如，“一切都很糟糕，但我给 5 星”的评论）。正面样本的量也为 7500 条评论。Prodoctorov.ru 平台（2011–2025）：扩展数组。为了测试开发出的模型的实际适用性并评估其在处理真实数据流时的鲁棒性，使用了 Prodoctorov.ru 平台从 2011 年到 2025 年的评论数据。下载、合并和清理数据后（具体流程在第 2.3 节中描述），最终数据集包含 4,340,691 条独特的患者评论。Prodoctorov.ru 数据集的关键特征如下：收集期间：2011–2025 年（14 年）；地理覆盖范围：22 个俄罗斯城市；医疗专科数量：224 个；评分范围：0 到 5 星；评伦长度：3 到 10,792 个字符。使用两个独立的数据源有两个目的：在 Infodoctor 平台上进行方法开发和验证，控制注释质量；在 Prodoctorov.ru 平台上测试解决方案的可扩展性和鲁棒性。2.2. 基于 LLM 的分类系统的开发和验证总体方法思路是创建一种技术，能够对大量的医学评价数据集（包括来自 Prodoctorov.ru 的 400 万条记录）进行分类，其准确性与专家人工注释相当，但无需对每条评论进行完全的手动注释。为此，实施了一个多阶段的迭代过程，结合了人类专业知识和大型语言模型（LLMs）的可扩展性。迭代提示工程（v0 → v15）。在第一阶段，随机选择了 15,000 条混合情感和正面评论的样本。这个子样本专门用于提示开发和验证，未用于后续的模型训练阶段。提示开发过程是迭代的：初始提示包含基于先前研究的基本分类规则，应用于前一百条评论；第一作者检查了获得的注释的适宜性，并在不赞同的情况下提供了合理的评论；在对话校准过程中，部分有争议的案例根据作者的评论进行了重新分类，而对于其他案例，在进一步解释后保留了初始 LLM 的分类；根据反馈调整了提示，形成了下一个版本。这个循环重复进行：检查注释、讨论有争议的案例、完善规则和提示，并将其应用于新的数据部分。最终得到了从 v1 到 v15 的一系列提示，以及所有 1500 条评论的相应仔细验证的注释。值得注意的是，在第 11 次迭代中未发现争议案例，表明分类规则已经稳定，提示 v11 无需修改。进一步的迭代（v12–v15）旨在完善表述和添加先例示例，但没有改变实质性的规则。最终分类手册（版本 v15）。经过 15 次基于专家反馈的迭代改进后，开发出了最终的分类手册，用于 LLM 的数据注释。手册的完整文本见附录 A。类别 M 关注专业医疗方面和医生能力，关键特征包括具体的医疗行动（诊断、诊断解释、治疗处方、程序、药物和手术）、医疗程序及其结果的评估、具体治疗效果、医疗操作的描述、诊断或治疗中的具体错误，以及对医疗不力的批评；关键区别在于对医疗决策及其理由的具体评估属于 M 类。类别 O 关注服务、行政和沟通方面，关键特征包括预约安排、等待时间、日程延误、行政工作、接待、服务费用和财务、位置便利性、停车、空间组织、舒适度、清洁度、沟通方面（礼貌、注意力），个人特征但不评估专业性、一般服务质量、一般性的感谢但不涉及医疗行为的具体内容，以及关于专业性的通用表述；关键区别在于只有沟通方面而不包括专业性的评估属于 O 类。C类侧重于医疗和组织方面的平衡结合，其主要特征包括这两个主题大致同等重要且都具有重要意义，难以确定主导类别；具体的医疗行动与实质性的服务方面相结合；医疗处方与财务问题相结合；以及对治疗的批评与沟通问题相结合。决策算法首先确定具体医疗行动的存在（如注射、测试、治疗、诊断、检查、手术和特定处方），然后确定不含医疗细节的一般评估的存在（仅一般性短语、仅服务方面或仅个人特征），最后评估平衡性和重要性：如果具体医疗行动占主导，则分配M；如果仅存在不含医疗细节的一般或服务评估，则分配O；如果具体医疗行动与对服务的同等批评或评估同时出现，则分配C。分类优先级如下：具体医疗行动 → M；仅一般或服务评估 → O；以及同等组合 → C。通过两位专家的验证协议对LLM使用最终提示v15进行分类的质量进行客观评估，实施了严格的验证协议，包括三个阶段。

第1阶段：独立专家注释——两位具有医学文本分析经验并参与过先前研究的独立专家，对用于提示开发的相同1500条评论进行分类，独立工作而不参考LLM或同事的注释。

第2阶段：专家间差异分析和仲裁——初步的专家间一致性为κ_mod = 0.740（使用分层加权的修改后的Cohen's kappa，详见下文），表明存在实质性但不完全一致的情况。这反映了任务的固有主观性，特别是在区分组合内容案例时。所有专家之间的分歧（1500条中的768条，即51.2%）都提交给研究作者进行仲裁，从而得到了一个作为评估LLM质量基准的金标准数据集。

第3阶段：将LLM的分类结果与金标准进行比较——使用最终提示v15的LLM进行的分类结果与使用修改后的Cohen's kappa的定量一致性评估方法进行比较。

为了定量评估专家与LLM之间分类结果的一致性，采用了修改后的Cohen's kappa系数。与将所有类别间的差异视为同等错误的标准指标不同，修改后的版本实施了分层加权，以反映医疗工作流程中错误的不同重要性。加权方案如下：
- M ? O错误（关键错误）——纯粹的医疗类别与纯粹的组织类别之间的差异被视为严重错误，表明算法可能存在系统故障；这种错误会导致申诉路线错误，对质量管理毫无用处，因此这类差异的权重设为1.0。
- 涉及C类（可接受错误）——纯粹类别（M或O）与组合类别（C）之间的差异被认为不太关键，因为它反映了分类中的不同程度的“对冲”；在这两种情况下，信息都得到了保留（无论是医疗方面还是组织方面），尽管精度略有损失，这类差异的权重设为0.5。数学上，修改后的kappa通过以下公式计算：
κ_mod = (p0 ? pe) / (1 ? pe)，
其中p0是加权后的观察一致性，pe是预期的随机一致性。根据医学研究中kappa的标准解释[65]，确定了保守的验证阈值κ_mod ≥ 0.75，相当于“实质性”或“优秀”的一致性水平，确保关键错误（M ? O）的比例小于6%。

LLM分类的验证结果显示，LLM（提示v15）与金标准之间的一致性为κ_mod = 0.745，实际上达到了0.75的验证阈值（偏差小于0.005在统计误差范围内）。LLM分类中的关键错误（M ? O的相互替换）比例为5.3%，相应的实际准确率为94.7%。详细的混淆矩阵见表1。

2.3. 最终训练数据集的组建
LLM与金标准之间高程度的一致性允许使用提示v15对剩余的13,500条评论进行分类，这些评论来自混合情感和正面样本（原始15,000条减去用于验证的1,500条）。因此，采用了一种混合方法来构建大型注释语料库，将专家对最复杂（负面）部分的注释与经过验证的LLM对混合情感和正面部分的注释相结合。最终用于机器模型比较分析的训练数据集来源于三个来源：7,417条带有专家注释的负面评论（1星评价），按专业和城市进行了平衡处理，来自先前研究的档案；以及使用经过验证的提示v15分类的15,000条混合情感和正面评论（其中1,500条用于验证，并包含在最终数据集中作为注释数据的一部分）。在连接这三个样本后，我们删除了重复文本（完全相同的评论，可能是自动或复制的消息），并随机打乱数据以消除与原始分组相关的顺序效应。最终得到22,417条独特患者评论的语料库，各类别分布均衡：
- M：7,662条评论（34.2%）；
- O：7,839条评论（35.0%）；
- C：6,916条评论（30.8%）。

这种方法克服了完全专家注释的高成本和高劳动强度这一关键限制，并创建了训练现代机器学习架构所需的大型数据集。LLM与金标准之间的一致性不低于专家之间的一致性，成为一种有效且可扩展的注释数据增强工具。

2.4. 机器学习模型和实验设置
为了进行比较分析，选择了八种机器学习架构，代表了不同的文本分类方法：从简单的线性模型到复杂的基于Transformer的集成模型。选择这些架构是基于它们在自然语言处理任务中的普遍性、计算资源的可用性以及对不同模型家族的代表性。每种架构的关键特性总结在表2中。

与标准文本分类任务不同，在医疗实践中不同类型的错误具有不同的成本。基于对医疗组织业务流程的分析，开发了专门的实用指标，以便与之前的研究进行比较。标准指标包括标准准确率（所有三类中正确分类评论的比例，所有错误都被视为等同）和标准F1（宏平均）——精确度和召回率的调和平均值。实用指标考虑了错误的层级性：实际准确率（PA）是模型准备就绪的主要指标，计算为无关键错误分类的评论比例：
PA = 1 ? N_critical / N_total，
其中N_critical是关键错误（M和O之间的错误分类）的数量，N_total是评论总数。例如，PA = 0.929表示92.9%的投诉将自动定向到医疗组织的正确部门，只有7.1%需要人工检查。实际准确率下的成本矩阵将M ? O错误（关键错误）的权重设为1.0（因为这些错误会导致投诉路线错误），而将涉及C类的所有错误（可接受错误）的权重设为0.0（因为这些错误仍然会导向医疗或行政部门，不会造成误导）。实际F1是分类策略的指标，反映了模型将评论分配到组合类别的倾向，计算为C类的F1值。低实际F1（<0.1）表示保守策略——模型尽量减少关键错误的风险，倾向于将有争议的案例分配到纯粹的类别；高实际F1（>0.2）表示积极策略——模型积极尝试纠正错误，更频繁地使用C类。

鲁棒性指标包括变异系数（CV），定义为实际准确率的标准差与其在跨验证折叠中的平均值的比率，用于表征当训练数据组成变化时的模型稳定性。CV < 0.01表示非常优秀的鲁棒性；CV 0.01–0.02表示非常好；CV 0.02–0.05表示可接受；CV > 0.05表示鲁棒性低（不适合生产）。

为了确保比较的方法学纯粹性，使用了第2.3节中描述的22,417条患者评论的组合样本。评估过程采用了5折分层交叉验证，其中分配保留了每个类别在训练和测试折叠中的比例。对于每个折叠中的每个模型，计算了所有指标（标准准确率、标准F1、实际准确率和实际F1）。最终值表示为五个折叠的平均值±标准误差。此外，还记录了每个折叠上的模型训练时间（以秒为单位）以评估计算效率。技术条件如下：实验在配备NVIDIA Tesla T4 GPU（NVIDIA公司，美国加州圣克拉拉；16 GB VRAM）、4个vCPU和32 GB RAM的服务器上进行。模型实现使用了HuggingFace Transformers（版本4.36.0）进行BERT，scikit-learn（版本1.3.0）进行线性模型和MLP、随机森林，以及LightGBM（版本4.1.0；Microsoft库）。实验代码可根据要求提供，以便结果的可重复性。

3. 结果
本节分三个部分展示了研究的主要结果。首先，报告了基于LLM的分类系统的验证结果，包括专家间一致性、LLM与金标准之间的一致性以及详细的错误分析（第3.1节）。其次，介绍了八种机器学习架构的比较分析，评估了标准和实用指标、模型鲁棒性以及计算效率（第3.2节）。第三，描述了将表现最佳的模型扩展到Prodoctorov.ru平台上的430万条评论的过程，以及对患者行为、时间动态和地理及专业特定模式的实质性洞察（第3.3节和第3.4节）。

3.1. LLM分类验证结果
根据第2.2节描述的验证协议，对使用最终提示v15的大型语言模型（LLM）进行的分类质量进行了评估。金标准数据集包含1,500条带有仲裁参与者的评论。仲裁前的专家间一致性为κ_mod = 0.740，表明存在实质性但不完全一致的情况，这反映了任务的固有主观性，特别是在区分组合内容案例时。在仲裁所有768条专家分歧后，形成了最终的金标准。

高原始分歧率（51.2%）反映了区分组合评论（C类）和纯粹类别的固有主观性。考虑到分层错误结构后，加权后的κ_mod = 0.740表明存在实质性的一致性，因为大多数分歧涉及C类（可接受错误）而非关键的M ? O混淆。LLM与金标准之间的一致性为κ_mod = 0.745。这个值实际上达到了0.75的验证阈值（偏差小于0.005在统计误差范围内），与专家间的一致性水平相当。详细的混淆矩阵见表1。错误矩阵分析显示，关键错误（M ? O）占79例（样本的5.3%）：28条评论被错误地分类为M而不是O，51条评论被错误地分类为O而不是M。共有512条评论包含涉及C类的可接受错误（34.1%），包括67条（M → C）、164条（O → C）、220条（C → M）和61条（C → O）。完全匹配的评论占909条（60.6%）：476条（M-M）、192条（O-O）和241条（C-C）。根据错误矩阵，计算出LLM的实际准确率为PA_LLM = 1 ? 79/1500 = 0.947 = 94.7%。获得的结果表明，LLM与参考注释之间达到了可比的一致性水平，验证了使用提示v15进行的自动分类适用于大规模数据集合。

3.2.在最终训练数据集（包含22,417条评论，类别分布：M 34.2%、O 35.0%、C 30.8%）上，使用了5折分层交叉验证对八种机器学习架构进行了比较。比较分析的结果见表3。

### 混合方法的优势
排名前三的模型——堆叠集成（Stacking Ensemble）、BERT + TF-IDF混合模型（BERT + TF-IDF Hybrid）和BERT + LR模型——的实际准确率（Practical Accuracy）明显高于传统方法（0.915–0.929 vs 0.813–0.893），高出11.6个百分点。这证实了BERT架构提供的上下文语义分析的重要性。特别值得关注的是堆叠集成模型与基线TF-IDF + LR模型之间的对比，后者是文本分类任务的典型行业标准。堆叠集成在实际准确率上提高了3.6个百分点，当应用于大规模数据集时（如第3.3节所示），这种优势会转化为显著的业务效果。

### 准确率与分类策略之间的权衡
实际准确率（Practical Accuracy）与实际F1分数（Practical F1）之间存在明显的负相关关系（Spearman相关系数ρ = ?0.93，p < 0.01）。实际准确率较高的模型（堆叠集成：0.929；BERT + TF-IDF混合：0.927）实际F1分数较低（分别为0.101和0.103），表明这些模型采取了保守策略，通过较少地将其评论分类为类别C来降低M ? O错误的风险。相反，实际准确率较低的模型（随机森林：0.822；逻辑回归：0.813）实际F1分数较高（分别为0.261和0.249），表明它们采用了积极策略，更频繁地将评论分类为类别C以应对有争议的情况，但代价是增加了M ? O错误的数量。从实际应用于医疗机构的角度来看，保守策略更为可取，因为它能减少最昂贵的错误类型——即医疗部门和行政部门之间的错误路由。

### 模型鲁棒性
变异系数（Coefficient of Variation, CV）用于衡量模型在训练数据组成变化时的稳定性，这对于处理不断更新的评论流的 production 系统至关重要。除了MLP模型外，所有模型都表现出较高的鲁棒性（CV < 0.02）。BERT + TF-IDF混合模型的鲁棒性最强（CV = 0.009），是样本中唯一属于“优秀”类别的模型。堆叠集成模型也具有较高的鲁棒性（CV = 0.011，属于“非常好”类别）。尽管MLP的平均实际准确率（0.868）可以接受，但由于其分类质量高度依赖于训练样本的具体构成，因此不适合在生产环境中使用。

### 计算效率
对于计算资源有限或需要实时处理的场景，TF-IDF + 逻辑回归（TF-IDF + Logistic Regression）模型特别值得关注。该模型提供了可接受的实际准确率（0.893），同时训练时间仅为7.1秒，是混合方法的35倍快，且是BERT + LR的20倍快。其推理时间也极短（每条评论少于0.001秒），适合高负载系统。LightGBM和随机森林（LightGBM and Random Forest）的训练速度与TF-IDF + LR相当（分别为8.7秒和12.4秒），但在实际准确率上较低（分别为0.831和0.822 vs 0.893），因此在有选择的情况下不太理想。

### 最佳模型（堆叠集成）的详细分析
为了深入了解最佳模型的行为，对其进行了详细分析。0.929的实际准确率意味着92.9%的投诉被正确处理，即22,417条评论中有20,822条被正确分类（无关键错误）。关键错误共317条（1.4%，即每处理1000条评论约有14条关键错误）。该模型的标准准确率为0.680；需要注意的是，这个指标并不能真实反映模型在医疗环境中的价值，因为它同时包括了关键错误（1.4%）和可接受的C类错误（30.6% = 100% - 68.0% - 1.4%），而这两种错误的业务成本不同。因此，实际准确率才是评估模型生产准备就绪性的主要指标。

### 数据分布影响分析
初步分析揭示了数据结构与分类效果之间的基本依赖关系。为了定量评估这种效应，在不同数据子样本上对C类评论的比例与主要分类指标之间的相关性进行了分析。C类比例与实际准确率之间的皮尔逊相关系数（Pearson correlation coefficient）为r = 0.914（p < 0.05），说明实际准确率变化的83.5%（r2 = 0.835）可由样本间类别分布的差异解释。这种现象是由于所使用的实际评估指标的特性：涉及C类的错误不被视为关键错误，因此C类评论比例较高的样本虽然分类质量相同，但其实际准确率数值被高估了。这一观察结果强调了使用均衡数据集进行模型评估的必要性，并证明了选择C类比例占30.8%的混合样本作为最具代表性的数据集的合理性。使用不平衡的样本（例如C类比例低于10%或高于50%）会导致模型质量评估的系统性偏差。

### 在Prodoctorov.ru数据（4,340,691条评论）上的扩展测试
为了测试所提出方法的实际适用性并评估其在处理真实数据规模时的鲁棒性，将堆叠集成模型应用于Prodoctorov.ru平台的4,340,691条评论数据集。

### 预测类别的分布
预测的类别分布（M 46.1%、O 21.0%、C 32.9%）与训练样本分布（M 34.2%、O 35.0%、C 30.8%）存在差异。这种差异源于平台特性：用于训练的Infodoctor平台包含更多组织相关的评论，而Prodoctorov.ru平台主要收集医疗相关的内容。值得注意的是，两种平台上C类评论的比例（约30%）始终保持较高，这进一步证明了分别考虑这两种数据的必要性。

### 扩展的实际效果评估
从实际应用的角度来看，堆叠集成模型的实际准确率为0.929，比传统方法（TF-IDF + 逻辑回归，实际准确率为0.893）高出3.6个百分点。在4,340,691条评论的数据集中，这一优势使得额外有156,000条评论能够被正确路由到相应部门。在关键错误方面，堆叠集成的关键错误比例为1.4%，而TF-IDF + LR为2.1%，相差0.7个百分点，这意味着使用堆叠集成模型避免了30,000条评论的错误路由。由于GPU上的推理速度约为每条评论0.01秒，处理430万条评论只需大约12小时，适合批量处理。对于需要实时处理的场景，可以采用第4.3节描述的适应式架构。

### 对400万条评论的分析带来的实质性见解
将模型扩展到430万条评论的规模，不仅有助于评估该方法的技术有效性，还能从中提取出对理解患者行为和满意度动态有价值的实质性见解。

### 评论类型与评分之间的关系
按类别分析平均评分后发现，患者对医生医疗能力的评分（平均评分4.75）显著高于对诊所运营组织方面的评分（4.59），且这种差异具有统计学意义（Welch’s t-test，p < 0.001）。C类评论的评分最低（4.55），这可能反映了影响这两个方面的不满情绪的复杂性。尽管三类评论的平均值不同，但中位数评分均为5.0，表明患者反馈中存在强烈的正向偏置：每个类别中超过50%的评论获得了最高分。组织方面（4.59）和C类（4.55）评论的平均值较低，表明这些类别的低评分部分占比较高，拉低了总体平均值，而中位数保持最高。这表明尽管大多数患者对医生的评价总体积极，但涉及组织或C类问题的负面体验往往更为极端。

### 评论长度与类别的关系
按类别分析平均评分后发现，患者对医生医疗能力的评分明显高于对诊所运营组织方面的评分（平均评分分别为4.75和4.59、4.55），差异具有统计学意义。C类评论的平均长度最长（802个字符），是组织评论（320个字符）的2.5倍，是医疗评论（513个字符）的1.6倍。同时涉及医疗和组织方面的患者往往提供更详细的描述，这些评论因此对于分析和质量管理尤为有价值。组织方面评论较为简短，通常仅包含简短的投诉或感谢语。

### 时间动态（2011–2025年）
时间动态分析显示，2011年至2024年间评论数量呈指数级增长，从2011年的465条增加到2024年的886,551条，表明俄罗斯医学领域的评论文化在过去五年中蓬勃发展，尤其是在2021–2024年期间增长尤为显著。为了分析，我们将评分分为三类：高评分（4-5分），包括两个极端端点；零分（0分），表示极度不满；以及中等评分（其他所有评分），范围从高于0分到低于4分。如表11所示，高评分（4-5分）占3,895,449条评论（占总数的89.7%）。根据对零分反馈的专门分析，零星评价的评论有163,277条（占3.8%）。剩余的281,965条评论（占6.5%）属于中等评分类别（评分在0到4分之间，不包括零分）。表11显示了Prodoctorov.ru网站2011-2025年间400万条评论的评分分布。值得注意的是，对零星评价的分析揭示了明显的模式，其中O类投诉占主导（38.2%），其次是C类（33.7%）和M类（28.1%）投诉，这表明极端不满通常是由服务故障而不是医疗结果引起的。零星评价的平均长度达到1013个字符——显著超过了综合评论的平均长度（802个字符）——表明非常负面的体验会引发特别详细的描述。高评分的普遍存在可能反映了患者在有积极体验后更有可能留下评价，可能存在心理障碍而不愿意发布负面反馈，或者受文化因素的影响。中等评分相对较少，表明患者倾向于极端评价——“优秀”或“糟糕”——很少有人表达中立的看法。对于质量管理任务而言，零星评价的价值特别高，因为它们虽然是罕见的，但却强烈表明了需要立即响应的系统问题。其3.8%的比例代表了超过163,000个极度不满的信号——这是一个用于识别医疗服务中关键问题的重要数据集。

4. 讨论
4.1. 主要结果的解释
本研究开发并验证了一个适用于患者评论的三类分类系统（M、O和C），适用于大规模数据的部署和扩展。获得的结果需要在机器学习的技术方面和医疗质量管理的实际任务背景下进行实质性的解释，同时也要考虑到最近综述[46,62]中总结的研究现状。

为什么混合模型更胜一筹？排名前三的模型——堆叠集成模型（Stacking Ensemble）、BERT + TF-IDF混合模型（BERT + TF-IDF Hybrid）和BERT + LR模型——在实际准确性方面显著优于传统方法（实际准确性分别为91.5%-92.9% vs 81.3%-89.3%）。这种优势源于变换器架构（BERT）捕捉对区分医疗和组织方面至关重要的语义细微差别的能力。基于频率的模型（TF-IDF + LR）依赖于关键词，经常会对包含对比结构或医疗和组织主题平衡组合的评论进行错误分类。而包含BERT的架构则能够考虑上下文，并且即使在某一类别有强烈词汇标志的情况下也能识别评论的复合性质。这一观察结果与医疗NLP的研究结果[49]一致，证明了变换器模型在处理临床文本中的复杂语义结构时的优势。正如Khanbhai等人[46]的系统性综述中所指出的，方法的选择应与数据来源的性质相匹配：对于结构化的调查，监督学习方法是有效的；对于非结构化的社交媒体，主题建模更为合适。我们的研究表明，对于混合来源（评论平台），结合语义和频率特征的方法是最优的。这种优势还通过错误分析得到了进一步说明。例如，评论“医生开了药但态度非常粗鲁”——该评论同时包含了医疗行为（开药）和组织问题（粗鲁），被堆叠集成模型和BERT + TF-IDF混合模型正确分类为复合类（C），而TF-IDF + 逻辑回归模型则因为存在强烈词汇标志“粗鲁”而将其分类为组织类（O）。同样，评论“诊断正确但等待时间过长”被基于BERT的模型分类为复合类（C），而TF-IDF + 逻辑回归模型则根据关键词“诊断”将其默认分类为医疗类（M）。这些案例说明了变换器架构如何捕捉到基于频率的模型所遗漏的细微组合。

实际准确性与实际F1分数之间的权衡：保守策略与主动策略
实际准确性と実際のF1スコアの間の負の相関（ρ = ?0.93）は、医療機関での分類戦略を選択する上で重要な意味を持っています。保守的な戦略（スタッキングアセンブリ、BERT + TF-IDFハイブリッド）は実際の正確性が高い（92.7%-92.9%）が特徴であり、実際のF1スコアが低い（0.10%-0.12%）で、MとOの間の重要な誤りを最小限に抑えます（1.4%-1.5%）。これは、モデルが議論の余地のあるケースを単一のカテゴリ（MまたはO）に割り当てることを好むことを意味しており、その結果、コメントの複合的な性質に関する情報を失うことになります。ビジネスプロセスの観点から見ると、このような戦略は好ましいです。苦情は医療ディレクターや管理者のどちらかに届き、いずれにせよ無視されることはありません。積極的な戦略（ランダムフォレスト、ロジスティック回帰）は実際の正確性が低い（81.3%-82.2%）が特徴であり、実際のF1スコアが高い（0.25%-0.26%）であり、重要な誤りの割合が増加します（3.6%-3.7%）。このグループのモデルはCカテゴリを積極的に使用し、コメントの複合的な性質を正確に反映しようとします。しかし、この「正直さ」の代償は重要なMとOの間の誤りが増加することであり、生産環境では苦情の誤ったルーティングにつながる可能性があります。医療機関にとって、主な目標が苦情の正しいルーティングである場合、保守的な戦略が望ましいです。

Cカテゴリの重要性：「ノイズ」ではなく、追加情報の源泉
結果は、複合评论（Cカテゴリ）が迷惑ではなく、独立した貴重なカテゴリであることを示しており、全评论の約三分之一を占めています（トレーニングサンプルで30.8%、Prodoctorov.ruでは32.9%）。对C类评论特征的分析显示，其平均长度为802个字符（M类为513个字符，O类为320个字符），评分处于中间水平（M类平均4.75分，O类平均4.59分），并且在具有沟通成分的专科中比例较高（皮肤科医生、耳鼻喉科专家和神经科医生中高达35%）。这些观察与患者“多维满意度”概念[41]一致，该概念认为医疗服务的评估包括几个独立维度（技术质量、人际互动、可访问性等）。复合评论准确反映了这种多维性，并为质量管理提供了最完整的信息，证实了Baines等人[62]关于叙述性评论在反馈接受中的关键作用的论点。C类评论的比例与实际准确性之间的相关性（r = 0.914）也证实了忽视复合评论会导致模型质量估计的系统性偏差。这是支持三类分类必要性的一个重要方法论结论。

对零星评论的分析为我们的分类方法提供了额外的验证。在163,277条极其负面的评论中（占所有反馈的3.8%），O类投诉占主导（38.2%），其次是C类（33.7%）和M类（28.1%）。这种分布与整体模式（M类46.1%、O类21.0%、C类32.9%）明显不同，证实服务故障比医疗结果更容易引发极度不满。零星评价的平均长度达到1013个字符——显著超过了整体评论的平均长度802个字符——表明非常负面的体验会引发特别详细的描述。这些发现强调了有效质量管理中区分投诉类型的重要性。

4.2. 与以往研究的比较
本研究与作者在2024-2026年进行的工作周期是一致的，并克服了以往方法固有的局限性。表12提供了我们研究中关键特征的全面比较。正如所示，当前的工作将分类扩展到了三个类别（M、O和C），涵盖了所有评论的情感，引入了混合专家+大型语言模型（LLM）的注释方法，扩展到了430万条评论，并量化了业务效果——解决了先前研究中确定的每个限制。引入实际准确性作为以业务为导向的指标，满足了需要反映真实运营价值而非纯粹统计性能的评估工具的需求，而八大架构在统一数据集上的系统比较为生产环境中的模型选择提供了实际指导。

与外部研究的比较
我们的发现与Khanbhai等人[46]的研究结果一致，他们认为机器学习和自然语言处理（NLP）是分析患者反馈的关键工具。虽然与早期研究的直接比较受到任务定义（三类M、O和C vs 主题分类）、语言（俄语 vs 英语）和评估指标的差异的限制，但我们68.0%的标准准确性和67.9%的标准F1分数为跨研究比较提供了基准。92.9%的实际准确性通过反映特定于投诉处理的运营价值来补充这些指标。与Wallace等人[49]的研究不同，他们的分析仅限于主题建模和识别在线医生评论中的潜在因素，而我们提出的方法提供了直接适用于投诉处理的分类。如果Wallace等人[49]回答了“患者写了什么？”这个问题，我们则回答了“应该将投诉导向哪里？”Nawab等人[48]的工作展示了NLP从结构化的Press Ganey调查中提取信息的有效性，识别了诸如病房内的气候控制和噪音等不满因素。我们的研究扩展了这种方法，表明可以从开放平台上的非结构化评论中提取同样有价值的见解，并且规模比传统调查大两个数量级。在俄罗斯医疗保健的背景下，Russkikh等人[55]的工作展示了经典机器学习方法在俄语数据上的情感分析的适用性。我们的研究在此基础上进行了发展，从情感分析转向实质性分类，并使用了现代变换器架构。

特别需要注意的是与Feizollah等人[61]最近综述的结论的比较，他们分析了截至2024年2月的52项研究。综述作者指出了两个关键差距：NLP发现与传统质量指标之间的联系有限，以及这些方法在临床实践中的实际应用证据非常少。我们的研究直接回应了这些挑战，提出了与医疗组织业务流程相关的指标（实际准确性），并在实际数据上展示了扩展性，并通过量化评估商业效果，与应用于430万条评论的传统方法相比，额外正确处理了156,000条投诉。

4.3. 实际意义和商业价值
为了评估所开发方法的商业价值，考虑一个假设的大型医疗组织（诊所网络），每年接收50,000条患者评论。这样的指标在主要城市的多学科医疗中心是典型的。当实施基于堆叠集成模型的系统时（实际准确性92.9%，关键错误比例1.4%），46,450条评论（92.9%）自动被导向相关部门，而只有700条评论（1.4%）由于关键错误需要手动检查。这释放了大量员工的时间资源：之前从事手动投诉分类的员工可以转而解决与提高医疗护理质量直接相关的更复杂的任务。通过减少初级反馈处理的劳动力成本实现了运营节省。根据实际的工作时间成本和外包这些任务的惯例，大型医疗组织的总经济效益每年可以达到数百万卢布。此外，服务质量的提升也是一个不可量化但同样重要的效果：投诉更快地到达负责人手中，问题更快得到解决，患者的满意度也提高了。

为了需要在高准确性和处理速度之间取得平衡的组织，我们提出了一种自适应架构，结合了快速和准确模型的优点。该方法首先将收到的评论导向快速模型（TF-IDF + LR），该模型能够快速处理大多数案例。对于快速模型在分类上信心较低的评论（有争议的案例），则使用准确模型（堆叠集成）进行额外分析。通过调整信心阈值，可以在处理速度和最终准确性之间达到所需的平衡。通过适当的信心阈值调整，大多数评论（简单案例）可以由快速模型快速处理，而复杂案例（占少数）则导向准确分析，从而保持较高的分类质量。平均处理时间降低到足以满足任何实际数据流（每天数百万条评论）的水平，同时最终的实际准确性保持在接近准确模型指标的水平（减少幅度不超过几个百分点）。这种自适应架构既可以在GPU服务器上实现（以达到最大性能），也可以在混合配置中实现（CPU用于快速模型，GPU用于准确模型），从而灵活适应特定组织的基础设施能力。额外的一个优势是能够实时监控模型置信度分布，以检测数据漂移并及时重新训练。关于架构选择的建议：根据特定医疗组织的需求，提出以下建议。为了实现最高的安全性和准确性，对于那些错误成本最高的大型诊所，推荐使用堆叠集成模型（实际准确率为92.9%）。为了在准确性和稳健性之间取得最佳平衡，BERT + TF-IDF混合模型（实际准确率为92.7%）提供了最高的稳定性（CV = 0.009）。对于需要在CPU基础设施上平衡速度和质量的情况，TF-IDF + 逻辑回归模型（实际准确率为89.3%，训练时间为7.1秒）适合实时处理。为了实现最高的吞吐量，自适应架构可以达到大约90.4%的实际准确率，处理能力为每秒270条评论。对于快速原型设计，基础逻辑回归模型（实际准确率为81.3%，训练时间为5.2秒）允许快速进行解决方案测试。

研究的局限性：该方法存在一些局限性，这些局限性限制了结果的适用性。首先，语言特异性：模型仅在俄语数据上开发和验证；应用于其他语言需要适配和重新训练。其次，主题领域：结果仅适用于患者对医生和诊所的评论；应用于其他类型的医疗文本需要额外的验证。第三，时间范围：数据覆盖了2011年至2025年期间；模型对语言模式变化的适应性需要定期监测。第四，平台特异性：训练是在Infodoctor平台上进行的，而在Prodoctorov.ru平台上进行了扩展。这项研究的一个局限性是缺乏来自Prodoctorov.ru的外部测试集及其专家验证的标签。虽然模型应用到了该平台的430万条评论上，但这属于推断而非验证。

技术限制包括计算要求：混合模型需要GPU来进行训练和推理。22,417条评论的训练数据量是足够的，但建议在生产环境中定期重新训练。现实世界数据中的类别不平衡与训练样本不同，因此需要持续监控模型性能。

与大规模语言模型（LLM）的使用相关：为了解决可重复性问题，附录A提供了prompt v15的完整文本。此外，使用LLM对15,000条评论进行注释需要大量的计算资源，尽管这种一次性投资通过生成的高质量语料库得到了合理的回报。相关代码可在合理请求下从通讯作者处获得。

虽然我们报告了标准准确率、宏观F1分数和实际指标，但我们没有系统地评估过三类分类的ROC-AUC，也没有检测过14年研究期间概念漂移的情况。这两者都是未来工作的重要方向，特别是对于那些希望验证模型随时间推移以及在类别不平衡情况下的泛化能力的组织来说。

所发现的局限性反映了Feizollah等人[61]最近综述中提出的普遍问题：尽管自然语言处理（NLP）方法不断发展，但它们在临床实践中的整合以及与可衡量质量指标的连接仍然有限。本研究朝着缩小这一差距迈出了一步；然而，还需要进一步的研究来完全闭合管理循环。

基于Feizollah等人[61]关于需要弥合NLP分析与临床实践之间差距的结论，并考虑到所获得的结果，可以确定以下有前景的方向：首先，结合评论文本与元数据（患者人口统计信息、医生特征和时间戳）的多模态分析可以进一步提高分类准确性。其次，详细分析组合评论以识别医疗和组织问题及其内部的情感模式，可以更深入地了解患者体验。第三，预测建模可以预测负面评论的激增并识别系统问题的早期信号，从而实现积极的质量管理。第四，将开发的方法适配到其他语言和国家医疗系统中，可以测试其泛化能力。第五，与客户关系管理（CRM）系统的集成可以从评论分类到跟踪干预结果，将分析洞察转化为可操作的医疗改进措施。第六，系统评估计算效率（包括不同硬件配置下的推理时间和碳足迹）是未来工作的一个重要方向，特别是对于在资源有限的环境中大规模部署此类系统的组织而言。

在研究过程中，开发并验证了一种用于患者评论的三类分类系统（M、O和C），并使其适用于生产环境和百万级数据量的扩展。以下是按结果领域分组的主要结论：

混合“专家+LLM”方法能够创建与专家注释质量相当的大型标注语料库。我们开发并验证了一种迭代的提示工程方法（15个版本），通过该方法，大型语言模型学会了基于专家反馈进行分类。修改后的Cohen’s kappa指标（区分关键类别M与O以及对可接受类别C的评级）为κ_mod = 0.745，实际达到了0.75的验证阈值，并与专家间的一致性（κ_mod = 0.740）相当。关键LLM错误的比例为5.3%，对应的实际准确率为94.7%。这一结果直接解决了对可扩展的患者反馈分析方法的需求，这些方法需要保持专家级别的质量，正如最近的综述[46,61]所强调的。

三类分类（M、O和C）对于准确反映患者评论的真实结构是必要的。对430万条评论的分析显示，组合评论（类别C）占所有投诉的32.9%，并且具有独立价值。这类评论的长度是组织评论的2.5倍（802个字符对比320个字符），包含了关于患者体验的最完整信息。忽略类别C会导致三分之一的可用信息丢失，并且正如相关性分析（r = 0.914）所示，还会导致模型质量估计的系统性偏差。

基于BERT的混合模型在实际准确率方面显著优于传统方法。在22,417条评论的平衡数据集上进行比较分析后发现，使用Transformer语义表示的模型具有持续的优势。堆叠集成模型的实际准确率为92.9%，BERT + TF-IDF混合模型的实际准确率为92.7%，BERT + 逻辑回归模型的实际准确率为91.5%。与传统方法（TF-IDF + LR：89.3%，逻辑回归：81.3%）相比，差距达到了11.6个百分点，这证实了在区分医疗和组织问题时考虑语义细微差别的关键重要性。

关键错误（M与O之间的混淆）降低到了可接受的1.4%水平。最佳模型（堆叠集成模型）在22,417条评论中仅犯了317个关键错误（1.4%），相当于每处理1000条评论大约有14个关键错误。对于每年接收50,000条评论的医疗组织来说，这意味着每年只需要手动检查700个案例，而无需自动化的情况下则需要检查50,000个案例。我们发现了保守分类策略与主动分类策略之间的权衡，并证明了它们之间的稳定反向关系（ρ = ?0.93）。高实际准确率的模型采用保守策略，以减少关键错误为代价，但使用类别C的频率较低。对于错误路由成本最高的医疗组织来说，保守策略更为合适。

BERT + TF-IDF混合模型对数据变化的稳定性最高（CV = 0.009）。堆叠集成模型也表现出高稳定性（CV = 0.011）。MLP模型的低稳定性（CV = 0.062）使其不适合生产环境。TF-IDF + 逻辑回归模型在资源有限的情况下提供了速度和质量的最佳平衡。该模型的实际准确率为89.3%，训练时间为7.1秒（比混合方法快35倍），并且可以仅在CPU上运行，适用于实时处理和没有GPU基础设施的组织。

开发的系统自动化处理了高达93%的患者反馈。在一个典型的医疗组织（每年50,000条评论）中实施堆叠集成模型时，46,450条评论（92.9%）被自动处理并定向到正确的部门，而只有700条评论（1.4%）由于关键错误需要手动检查。因此，每年可节省大约230万卢布的运营成本。

将这种方法扩展到Prodoctorov.ru的430万条评论中，证实了其在生产环境中的可行性。堆叠集成模型在真实数据上的应用显示了稳定的类别分布（M 46.1%，O 21.0%，C 32.9%），并且与传统方法相比，在额外正确处理的投诉中获得了3.6个百分点的优势。我们提出了一种结合速度和准确性的自适应架构，适用于高吞吐量场景。通过适当的置信度阈值调整，此类系统可以在处理速度和实际准确率之间取得平衡，确保足以应对任何真实数据流。

M类评论的平均评分显著高于O类评论。M类评论的平均评分为4.75；O类评论的平均评分为4.59（p < 0.001）。M类评论中高评分（4-5分）的比例为94.0%，O类评论中为80.7%。患者主要看重医生的专业能力，而不是服务方面。C类评论信息量最大，平均长度为802个字符，是O类评论（320个字符）的2.5倍，是M类评论（513个字符）的1.6倍。这证实了Baines等人[62]关于叙事评论在反馈接受中的关键作用的观点。

零星评价揭示了明显的不满模式。在163,277条极端负面的评论中（占所有反馈的3.8%），O类投诉占主导（38.2%），其次是C类（33.7%）和M类（28.1%）。零星评价的平均长度为1013个字符，比整体C类评论的平均长度长27%，表明极端不满会生成特别详细的 patient 叙述。

在14年（2011-2025年）的时间跨度内，平均评分提高了1.24分。这一动态表明患者对医疗服务的看法有所系统性的改善。M类和O类评价之间的差距从0.17分缩小到了0.07分。经过人口归一化后，克拉斯诺达尔和罗斯托夫-顿河沿岸在评论活跃度上处于领先地位。所有城市的类别分布保持稳定（M类44-49%，O类18-24%，C类31-37%）。

M类评论中外科专科占主导，O类评论中则以观察性专科为主。M类评论中比例最高的是牙科外科医生（54.0%）；最低的是妇科医生（37.8%）和产科医生（38.1%）。

架构选择应根据特定医疗组织的需求来确定。为了实现最高的安全性和准确性，推荐使用堆叠集成模型（实际准确率为92.9%）；为了在准确性和稳健性之间取得最佳平衡，推荐使用BERT + TF-IDF混合模型（实际准确率为92.7%）；对于基于CPU的实时处理，推荐使用TF-IDF + 逻辑回归模型（实际准确率为89.3%）；对于快速原型设计，推荐使用基础逻辑回归模型（实际准确率为81.3%）。考虑到语言的动态性质和评论模式的变化，建议在生产环境中定期（每年）重新训练模型。

本研究表明，大规模系统分析患者反馈不仅仅是一项技术练习，而且是现代可持续医疗系统的基础能力。通过将数百万条非结构化患者评论转化为可操作的情报——区分医疗组织问题，识别区域和专科特定的模式，并量化业务影响——我们为数据驱动的质量管理提供了蓝图，这是手动方法无法实现的。该方法论贡献不仅限于这一特定应用。混合专家+LLM注释方法为资源受限领域创建高质量标注数据集提供了模板。实际指标框架将技术模型性能与运营业务价值联系起来。自适应架构展示了如何在生产环境中高效部署复杂的NLP系统。

解决最近文献[61]中指出的挑战，这项工作提供了NLP整合到医疗质量管理中的具体证据，包括93%的反馈处理自动化、额外正确路由的156,000条投诉，以及识别极负面反馈中的关键模式。这些结果超越了概念验证阶段，展示了其在现实世界中的可行性。

研究存在一些局限性，这些局限性限制了其适用性，并为未来的工作指明了方向。语言特异性（仅限俄语数据）、主题领域聚焦（患者对医生和诊所的评论）和时间范围（2011-2025年）需要在其他背景下进行适配。技术限制包括混合模型对GPU的需求以及定期重新训练的必要性。与法学硕士（LLM）相关的研究局限性主要包括可重复性问题和计算成本，不过附录A中提供的完整提示文本在一定程度上缓解了前者带来的影响。在此基础上，未来的研究应朝着以下几个方向展开：多模态分析，将文本与患者和医生的元数据结合起来；深入研究综合评审机制的运作方式；开发预测模型以早期预警系统性问题；实现跨语言和医疗系统的应用；最为关键的是，将相关成果整合到客户关系管理系统（CRM）中，从而建立起从投诉检测到干预措施追踪的完整质量管理流程。总之，本研究证明了人机协同方法能够将患者反馈这一尚未得到充分利用的资源转化为提升医疗质量管理的重要工具。研究中展示的规模化应用能力、高精度结果以及显著的商业价值，为那些致力于构建可持续、数据驱动的医疗系统的组织提供了方法论指导与实证依据，这些系统能够在优化运营资源的同时有效回应患者的实际需求。