《Journal of Imaging》：Error Injection in Task-Based Image Quality Pipelines: What Regression Testing Cannot Catch, and Why Neither Internal Identities nor Closed-Form References Suffice Alone
编辑推荐：
专业术语翻译的摘要
基于任务的图像质量评估——调制传递函数（modulation transfer function, MTF）、噪声功率谱（noise power spectrum, NPS）、噪声等效量子数（noise-equivalent quanta,
专业术语翻译的摘要
基于任务的图像质量评估——调制传递函数（modulation transfer function, MTF）、噪声功率谱（noise power spectrum, NPS）、噪声等效量子数（noise-equivalent quanta, NEQ）和模型观察者（model observers）——其失败模式并非报错，而是返回一个看似合理的错误数值，而大多数实现所采用的回归测试无法区分正确的合理答案与错误的合理答案，因为存储的参考值正是从存在缺陷的代码中记录的。研究人员通过一个严重度旋钮向一条经过验证的上述链式流程中注入了六种缺陷，该旋钮在零值时精确恢复正确流水线。自我一致性回归测试未能检测出其中任何一种缺陷。四种无需真实值的内部恒等式（internal identities）和两种需要已知答案模体的闭式参考（closed-form references）共同检测出了全部六种缺陷，并且在每一种情况下，检测时机均不晚于报告的可检测性指数d′（detectability index d′）因错误超过5%的时刻——而对于其中三种缺陷，这种程度的误差从未出现。两类方法单独均不足够：内部恒等式检测出三种缺陷，闭式参考检测出五种，而报告d′的峰值误差可达90%。将未经修改的流水线应用于测量的美国放射学会（American College of Radiology, ACR）模体投影数据，跨越七种重建核，三种无需真实值即可评估的内部恒等式完整转移——帕塞瓦尔定理（Parseval）的成立精度达到10-15——但其容差并未随之转移，且最强的切趾（apodisation）使噪声动态范围逼近阈值0.6%，一旦超越该阈值，预白化观察者（prewhitening observer）应返回无有效数值而非计算值，因为d′已不再具备数值意义。
论文解读文章
一、研究背景与问题提出
在医学成像系统评价领域，基于任务的图像质量评估（task-based image quality assessment）已被公认为标准框架。该框架的核心在于通过指定观察者对特定检测或判别任务的执行效果来评判成像系统性能，而非依赖通用的保真度指标。其物理基础包括调制传递函数（MTF）、噪声功率谱（NPS）、噪声等效量子数（NEQ）以及模型观察者理论，这些要素均有成熟的标准化文件作为依据，例如国际标准化组织（ISO）的ISO 12233和国际电工委员会（IEC）的IEC 62220-1。
然而，现有研究面临一个根本性问题：实现这些理论的软件流水线在发生错误时，不会崩溃也不会返回明显荒谬的值，而是输出一个量级正确、单位正确、随剂量变化方向也正确的数字——但却是错误的。这种“看似合理的错误数值”使得常规的质量保障手段失效。具体而言，回归测试（regression test）虽然能够确保代码稳定性，却无法检测出那些在存储参考值时就已经存在的缺陷，因为确定性代码会精确复现那个错误的参考值。稳定性和正确性是两种不同的属性，而计算科学的可重复性机制在很大程度上认证的是前者而非后者。
因此，有必要探索能够真正捕捉此类缺陷的验证方法。可供选择的有两类：一是内部恒等式（internal identities），它们因代数原因必须成立，无需任何真实值，因而可以应用于没有真实值的实测患者数据；二是闭式参考（closed-form references），它们将估计值与针对已知答案对象计算出的解析解进行比较，因此需要一个合成模体。本研究的核心问题是：这两类方法各自的检测能力如何？它们是否足以独立胜任验证任务？
二、研究方法概述
研究人员采用了一个纯Python实现的完整任务型图像质量评估流水线（taskiq-core v0.4.0），该流水线包含斜边法MTF估计、二维及径向平均NPS计算、NEQ推导以及多种模型观察者的可检测性指数d′计算。为了系统性地评估验证方法的有效性，研究人员设计了一个受控的错误注入实验：通过一个严重度旋钮（severity dial）向正确流水线中注入六种典型缺陷，该旋钮在零值时精确恢复原始正确流水线。这六种缺陷包括：未去除的sinc传输函数效应（sinc）、遗漏的bin中心校正导致的抖动偏差（jitter）、NPS归一化中像素面积因子的缺失（nps_area）、感兴趣区域去趋势化的关闭（detrend）、信号构建中一维边缘轮廓径向应用导致的面积膨胀（disk），以及预白化观察者缺乏噪声底限保护（no_floor）。所有缺陷均在相同的十一点网格上评估，每个点使用64次噪声实现并通过固定随机种子确保可重现性。检测严重度定义为任一检查首次触发的最小严重度值，材料严重度定义为报告d′相对于自身零值偏差超过5%的最小严重度值。此外，研究人员还将同一流水线未经修改地应用于来自临床CT扫描仪的实际ACR模体投影数据（来源于LDCT-and-Projection-data数据库，西门子医疗设备采集），跨越七种不同强度的重建核进行验证。
三、研究结果
3.1 流水线在闭式可及范围内是正确的
在注入任何缺陷之前，研究人员首先将估计器与其解析答案进行了对比验证。斜边法MTF与解析高斯函数的匹配最大相对误差仅为0.004%；二维NPS的频率平面积分恢复输入方差的精度达0.029%；帕塞瓦尔恒等式的绝对残差为10-15；NEQ路线与预白化观察者的一致性达到10-14。这些结果确立了流水线在闭式可及范围内的正确性，构成了后续注入研究的前提条件。
3.2 何种检查捕获何种缺陷
六种检查（四种内部恒等式和两种闭式参考）与自我一致性回归测试对照的结果表明：每种缺陷均被捕获，且均在d′变得实质性错误之前或同时被捕获。值得注意的是，有三种缺陷在所有尝试的严重度下从未使d′产生实质性错误，但仍能在第一个严重度步长被检测到——这正是期望的非对称性：检查比其所保护的目标终点更敏感。
3.3 回归测试一无所获
自我一致性控制在不同严重度和不同缺陷下的差异最多为10-15——严格为零。它未能捕获六种缺陷中的任何一种。这一结果源于确定性：快照记录自缺陷流水线本身，因此缺陷流水线必然复现该值。任何仅依靠比较今日输出与昨日输出来进行验证的项目，对于这类缺陷而言，实际上没有任何验证效力。
3.4 两类检查均不充分
内部恒等式捕获了nps_area（通过帕塞瓦尔定理）、disk（通过守恒信号面积）和no_floor（通过NPS动态范围）——共3/6。闭式参考捕获了sinc、jitter、detrend，以及nps_area和no_floor——共5/6。两种缺陷（nps_area和no_floor）被两类方法同时捕获，disk仅由内部恒等式捕获，而sinc、jitter和detrend仅由闭式参考捕获。桥接恒等式（bridge identity）虽然在理论上最为令人满意且能达到机器精度，却未能捕获任何一种缺陷——它对两条路径共享的任何错误都不敏感。实际后果是本文的主要主张：内部恒等式是能够在接触实测数据后仍然存活的检查，因为它们不需要真实值；它们捕获了一半的缺陷。另一半缺陷——如MTF被自身估计器偏置、NPS水平错误——只有通过与已知答案的物体对比才能检测。移除合成模体会使整个一类错误永久且毫无征兆地从视野中消失。
3.5 两个量化幅度
抖动偏差呈尖峰状而非平滑漂移：在2°至20°的边缘角度扫描中，最大绝对MTF误差在5.0°时为1.06%，但在相邻的半度步长处分别仅为0.028%和0.038%——相差38倍。sinc偏差的大小完全取决于ESF箱宽Δx这一实现参数：在相同频段内，Δx=0.01时的偏差为16.7%，而Δx=0.05时降至0.07%。
3.6 使检查失效的三种方式
研究初期曾报告所有缺陷在严重度为零时即被检测到——这是一个看似优秀但完全虚假的结果。三种独立原因导致了这一伪阳性：直流（DC）bin的人为极低值触发动态范围检查；桥接检查错误地比较了使用测量谱和使用解析标量的两条路径；mtf_closed_form的初始容差设置不当。这些记录本身就是本文主题的元层次体现：验证装置同样可能返回看似合理的错误答案。
3.7 同一流水线在实际扫描仪上的表现
在未经修改的情况下应用于实际ACR模体投影数据，流水线在所有七种重建核下均表现出理论预期的行为。随着切趾增强，分辨率和噪声同步降低。理想观察者的d′从1.87单调上升至2.57，表明在此低对比度任务中，噪声降低的收益在整个测试范围内超过了分辨率损失。非预白化眼滤观察者相对于理想观察者的效率从0.111上升至0.331，增长了近三倍。
3.8 哪些检查在迁移至实测数据后仍能存活
三种内部恒等式（帕塞瓦尔恒等式、信号面积守恒、NPS动态范围）在实测数据上运行。帕塞瓦尔恒等式在实测投影上保持10-15的精度——这是内部恒等式价值的核心体现。然而，容差并未完好转移：信号面积残差在实测数据上为10-3，比合成数据高出四个数量级。最值得警惕的是，一种临床常见的重建（Hann窗截止频率0.25）使NPS动态范围达到2.98×105，距离触发预白化观察者拒绝计算的阈值3.0×105仅差0.6%。保护实际研究免受“无穷大d′”故障模式的余量并不宽裕，并且恰好朝着低剂量协议所推动的方向收窄。
四、讨论与结论
研究人员指出，本研究的令人不安的推论是：大量已发表的模型观察者工作并未提供针对本研究所述缺陷类型的证据。通常的可重复性装置——固定随机种子、锁定环境、存储预期输出、按要求发布代码——只能证明结果可以被再生，不能证明结果最初就是正确的。首次发表时存在的缺陷会在每次后续重运行时被忠实地复现，而发布代码使复现更容易，却使错误更难以被发现。
研究人员提出了一个包含六项检查的清单：四项内部恒等式（A1：NPS积分等于像素方差；A2：NEQ路线与预白化观察者的d′一致；A3：模糊信号的积分守恒；A4：NPS动态范围保持在d′有意义范围内）和两项闭式参考（B1：解析模糊边缘的预采样MTF等于已知解析解；B2：已知方差白噪声的NPS等于已知常数）。研究还补充了两项方法论要求：闭式参考B1必须在多个边缘角度上扫描评估；每项容差必须根据实际使用配置中估计器的测量可重复性设定。
研究结论明确指出：一个通过了自身回归测试套件的任务型图像质量流水线证明了稳定性而非正确性，对于本研究考察的缺陷类别而言，这一区别是彻底的——自我一致性测试未能捕获六种注入缺陷中的任何一种，而闭式参考和恒等式检查共同捕获了全部六种缺陷，且均在报告的可检测性变得实质性错误之前或同时完成捕获。两类检查互补且各自不足。一半缺陷可通过不需要真实值的内部恒等式检测，因此可应用于患者数据；另一半缺陷则在没有已知解析答案的模体的情况下完全不可见。一个在转向真实图像后丢弃模体的工作流，并非失去了一点灵敏度——它永久且毫无征兆地失去了整类错误的可见性。
