基于投票式光学字符识别（VOCR）的听力表格式报告数据自动提取与分析方法开发

《Scientific Reports》：Development of an automated method for audiometric data extraction and analysis using voting optical character recognition

　　

听力损失影响全球超过15亿人，显著影响语言发育、生活质量及经济独立性。对纯音测听（PTA）、言语接受阈（SRT）和词语识别得分（WRS）等听力测量数据的研究，对于理解和预防听力损失至关重要。然而，这些数据常以图像文件形式存储于电子病历（EMR）中，因此用于研究时需要进行人工提取。人工提取耗时、成本高且易出错，限制了数据利用并阻碍大规模数据获取。本文提出一种针对听力报告图像的自动提取方法，使用Tesseract光学字符识别（OCR）和改进的投票式OCR（VOCR）算法。VOCR通过去除符号（例如“dB”“%”）并使用表格化数据、为每个单元格生成多个OCR候选并利用投票机制选择可靠值，从而减轻OCR变异性。研究结果表明，VOCR达到97.60%的图像级准确率，并在所有听力测量数据类别中均具有高准确率，包括PTA（99.95%）、SRT（98.95%）、WRS %（98.05%）和WRS刺激声级（WRS stimulus，99.80%）。基于投票的准确率指标可评估可靠性，使研究人员能够有针对性地复核共识度低的区域。该方法有潜力用于基于网络的数据收集服务，支持实时、标准化数据管理并减少人工提取需求，因而成为耳鼻咽喉科研究的有价值工具。

听力对人类与周围环境互动、与他人交流、自我表达和获取知识至关重要。全球超过15亿人一生中经历过不同程度的听力损失，其中至少4.3亿人需要专业照护；若未干预，听力障碍可在不同生命阶段显著影响语言发育、心理健康、生活质量、教育成就和经济独立性。世界卫生组织（WHO）估计，未治疗听力损失的全球年经济负担超过9800亿美元，而许多听力损失病因可通过有效公共卫生措施预防，因此需要主动的预防和干预策略。在耳鼻咽喉科，准确收集和分析纯音测听（PTA，用于评估不同频率气导和骨导听阈）、言语接受阈（SRT，能理解言语的最低声级）和词语识别得分（WRS，阈上言语水平下正确复述单词的最大百分比）等听力测量数据，是评估患者听力并制定适当治疗计划所必需的。然而，听力数据常以不利于高效利用的格式存储：许多医疗机构将这些数据以图像文件形式保存在电子病历（EMR）中，通常为包含表格数据的听力报告；部分机构的听力结果还会手工绘制在纸上。因此，为研究或临床分析利用这些信息时，往往需要人工提取和录入数据，费时、费力且成本高。为减少医学领域人工数据提取需求，光学字符识别（OCR）技术越来越多地用于数据收集和研究，促进临床信息数字化并便利大规模研究。深度学习推动OCR从研究快速扩展到实际应用，基于深度学习的神经网络模型相较传统OCR显著提高字符识别准确率和效率，即使对扭曲图像、多种字体和手写内容也可获得高识别率。当前有AWS Textract、Google Vision API和Microsoft Azure OCR等云端商业OCR服务，以及Tesseract OCR和EasyOCR等广泛使用的开源方案。在耳鼻咽喉科，听力数据自动提取迄今几乎只集中于图形听力图，即用符号和曲线在频率—强度轴上表示听阈；近期研究结合卷积神经网络、目标检测和OCR定位听力图符号并恢复相应数值阈值。这些基于图形的方法有效，且听力图坐标轴和比例高度标准化，可在不同机构间较好泛化，但仅处理听力结果存储方式之一。在许多临床和职业健康场景中，听力计和EMR系统还以数值表而非绘制图表形式导出结果；此类表格式报告尚未被现有自动提取方法处理，尽管研究人员仍须人工转录。为克服这些局限，研究人员开发了一种自动数据收集程序，从EMR系统中的听力报告图像提取表格式听力数据。该方法采用开源Tesseract OCR引擎并实现投票式OCR（VOCR）算法以提高提取数据准确性。通过聚焦表格化数值数据而非图形曲线，该方法处理与图形听力图互补的数据模态，并可适配不同医疗机构的各种报告格式，目标支持多中心研究。该方法对图像进行预处理以改善OCR性能，并通过VOCR算法聚合多个OCR输出，从而为提取数据提供可靠性指标，使数据收集者能够聚焦共识度低的区域进行复核，提高效率和准确性。研究人员还通过去除SRT和WRS读数中常被OCR引擎误读的特殊符号来增强OCR性能。通过自动化数据提取并利用VOCR提高准确性，该方法显著减少与人工数据录入相关的时间、成本和潜在错误，从而支持耳鼻咽喉科听力数据的高效收集与分析，提升未来研究和临床应用中的数据利用，并最终改善患者照护质量。研究结果表明，VOCR总体图像级准确率达到97.60%，显著优于基本OCR的24.95%，并在PTA、SRT、WRS %和WRS stimulus等类别均表现高准确率；该方法有潜力用于基于网络的数据收集服务，支持实时、标准化数据管理并减少人工提取需求，对耳鼻咽喉科研究具有重要价值。

主要技术方法：数据集来自2013年1月16日至2018年11月8日期间就诊于某医疗机构的710例患者，共2000份听力报告图像，全部作为验证数据；研究经Kyungpook National University Hospital伦理审查委员会（IRB）批准（编号KNUH 2021-06-055-003），豁免知情同意，数据匿名化并去标识。方法使用Tesseract OCR的公开预训练LSTM识别模型，以零样本方式识别；采用Canny边缘检测和像素直方图定位表格单元格；对SRT和WRS表格去除“dB”“%”符号并检测字符重叠；利用OpenCV进行膨胀、腐蚀、开运算和闭运算等形态学变换，并通过单字符轮廓提取生成多候选；采用Otsu二值化（一种自动阈值二值化方法）、7×7高斯模糊和轮廓检测；对候选OCR结果进行多数投票，并结合期望字符长度惩罚；以耳鼻咽喉科住院医师转录并交叉核对的数据为金标准，采用图像级准确率、McNemar检验（一种配对二分类结果比较检验）及Newcombe混合评分法置信区间进行评估。

研究结果：
**总体图像级准确率**：在2000份报告图像上，以所有区域所有单元格均正确为图像级正确标准进行配对比较，基本OCR总体图像级准确率为24.95%，VOCR为97.60%；McNemar检验显示差异具有统计学意义（χ²_cc=1451.0，p<0.001）。VOCR在任何图像、任何区域均未比基本OCR结果更差，所有相对基本OCR的变化均为改善。
**纯音测听（PTA）**：以每份图像中所有频率骨导和气导听阈均正确提取为区域级正确标准，基本OCR的图像级PTA准确率为77.95%，VOCR提高至99.95%（χ²_cc=438.0，p<0.001）。PTA不需要去除符号，其改善归因于多候选输出生成和投票机制。
**言语接受阈（SRT）**：在SRT区域，基本OCR图像级准确率仅为31.60%，VOCR提高至98.95%（χ²_cc=1345.0，p<0.001）。SRT中“dB”符号常与数值重叠，符号去除和多候选交叉验证共同促成大幅改善。
**词语识别得分百分比（WRS %）**：WRS %区域基本OCR图像级准确率为31.60%，VOCR提高至98.05%（χ²_cc=1323.0，p<0.001）。改善主要与去除“%”符号有关。
**词语识别得分刺激声级（WRS stimulus）**：WRS stimulus区域基本OCR图像级准确率为33.55%，VOCR提高至99.80%（χ²_cc=1327.0，p<0.001）。改善主要与去除“dB”符号有关，尤其在符号与数字重叠时效果明显。
**投票率与可靠性**：通过分析不同投票率阈值下的错误率评估VOCR稳定性。100%投票率时，PTA错误率为0%；SRT、WRS %和WRS stimulus仅有轻微错误，错误率接近0%。当投票率阈值降至75%和50%时，各区域错误率略有升高，但高投票率下错误很少，表明VOCR具有较高可靠性。

讨论部分总结：VOCR针对表格式数值听力报告，与既往针对图形听力图的自动提取方法互补；多候选生成可提供置信评分并便于复核，使研究人员聚焦低共识区域，减少逐个手动录入。新报告格式无需重新训练，只需指定表格区域近似位置、定义行列结构并确认各列期望值类型；研究人员正在准备基于网络的实现。VOCR有潜力扩展至耳鸣图、阻抗测听、听觉诱发电位、镫骨肌反射及畸变产物耳声发射等其他常以图像存储的耳鼻咽喉科听力学数据，以及实验室结果打印件、肺功能（spirometry）报告表和生命体征记录等表格化医学数据。局限包括：方法仅在单中心2000份采用统一表格式布局的报告上开发和验证，尚未在其他机构及不同表格结构上评估；符号去除和重叠检测依赖报告所用等宽字体的固定字符像素宽度，像素宽度阈值（最大字符宽28像素、边距8像素）据此调整，尚未验证比例字体报告；所用图像为计算机生成数字图像而非纸质打印件扫描或拍照图像；扩展至其他表格医学数据及Web实现尚属前瞻性，未在本研究中评估。

研究结论翻译：本文提出VOCR作为一种先进的OCR方法，用于从听力报告中准确、高效地提取数据，克服传统OCR方法常见局限。通过有效管理符号和重叠文本，VOCR利用OCR候选之间的投票率确保高数据可靠性，达到97.6%的图像级准确率，并在SRT（98.95%）和WRS %（98.05%）等指标上相较标准OCR方法表现出更优性能。这种一致且准确的数据提取凸显了VOCR适应多种听力报告格式的能力。VOCR采用的基于表格的方法旨在适应多样报告结构，这可能促进在其他机构整合，并支持标准化、大规模数据收集。通过消除人工数据录入，VOCR实现显著时间、成本和人力节省，提高研究效率，并通过实现更快速的数据分析以改善诊断和治疗过程来支持临床实践。这些益处在数据一致性至关重要的多机构合作研究中尤其有价值。此外，VOCR有潜力作为基于网络的服务使用。通过支持院际数据整合和实时数据收集，VOCR可为医院和研究机构提供高效的数据管理和分析框架。这种基于网络的方法促进跨机构标准化数据收集，营造可产生高度可靠研究结果并促进多中心合作的环境。总之，通过自动化听力数据提取，VOCR可减少医疗专业人员和研究人员所需的人工工作，并支持更高效地构建研究数据集。随着进一步开发和跨多个机构验证，VOCR可为耳鼻咽喉科研究的标准化数据处理作出贡献。