《IEEE Access》：A Trustworthiness-Oriented Approach to Story Point Estimation for Agile Planning: Worthy-SP as a Task-Specific Estimator Built on Frozen Compact LLM Backbones
编辑推荐：
故事点估算支持敏捷规划，但仅凭点估计的准确性并不能表明一个估算器是否提供了有用的置信度信息、与行为相关的解释依据，或实际的部署成本证据。本文提出了一种面向可信的故事点估算方法，用于敏捷规划。该方法的核?是Worthy-SP，一个构建在冻结紧凑大型语言模型（LL
故事点估算支持敏捷规划，但仅凭点估计的准确性并不能表明一个估算器是否提供了有用的置信度信息、与行为相关的解释依据，或实际的部署成本证据。本文提出了一种面向可信的故事点估算方法，用于敏捷规划。该方法的核?是Worthy-SP，一个构建在冻结紧凑大型语言模型（LLM）骨干之上的任务特定故事点估算器。在所提出的方法中，Worthy-SP在冻结骨干的紧凑LLM设置下，实现了合法类别分布预测、参数高效任务适应、解释生成、删除-充分性行为诊断以及成本感知评估。该方法在五个经过清理的、源自TAWOS的项目级数据集上进行了评估，使用了仅提示（prompt-only）控制组、仅头部训练（head-only trained）基线、Worthy-SP以及其他预测基线（包括TF-IDF+LightGBM、MiniLM+MLP和CodeBERT-FT），所有方法均在共享标签空间和按时间顺序划分的评估协议下进行。在所有配对的“项目-骨干-随机种子”场景中，Worthy-SP相对于仅头部训练的基线，将平均平均绝对误差（MAE）降低了约4.4%，并在使用温度缩放（temperature scaling）后，将报告的截断预期校准误差（snapped-ECE）降低了约16%。结果表明，对于基于紧凑LLM的故事点估算，任务特定的训练是必要的；并且所提出的方法在保持预测竞争力的同时，增加了分布输出、解释诊断和部署成本证据。
IEEE Access
### **论文解读：面向敏捷规划的可信故事点估算方法**
#### **一、 研究背景与问题**
在敏捷与Scrum导向的软件开发中，故事点（Story Point, SP）估算是规划活动的核心。用户故事（User Story）的估算结果直接影响冲刺承诺、团队速率、优先级排序、风险缓冲和利益相关者沟通。然而，在不确定性环境下，估算值不仅是数值输出，更是用于协商范围和交付风险的决策输入。因此，估算误差并非唯一关切点；从业者同样需要可靠的**不确定性信息**和**易于理解的解释**，以便在模糊情境下做出决策。
近年来，**紧凑大型语言模型**（Compact LLM）为实际部署提供了有前景的路径。然而，现有基于LLM的估算方法通常侧重于提升点估计的准确性，而**忽略了估算器的可信度**。具体而言，现有研究存在三大局限：1) 未能验证预测分布是否能提供可靠的置信度信息（**校准问题**）；2) 未能证明模型生成的解释是否真实反映了其内部决策行为（**解释忠实性问题**）；3) 缺乏在资源约束下对**成本-收益权衡**的评估。这些局限性阻碍了估算模型在真实敏捷规划场景中的实际应用，因为其输出常被用作前瞻性决策的依据，而非仅仅是回顾性指标。
因此，一个关键的研究问题浮现：如何构建一个**准确、可靠且实用**的基于紧凑LLM的故事点估算器？为了回答这个问题，研究人员在《IEEE Access》上发表了本研究，旨在提出一种**面向可信的估算方法**，不仅关注准确性，还系统性地评估模型的校准性、解释忠实性和部署成本。
#### **二、 研究方法与技术概要**
本研究提出了一种以**Worthy-SP**为核心的任务特定故事点估算器。Worthy-SP构建在**冻结的紧凑LLM骨干**（如DeepSeek-R1-Distill-Qwen-1.5B和Llama3.2-1B）之上，通过参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术（如LoRA）进行任务适应，同时保持骨干参数不变以控制训练成本和确保表示一致性。其核心技术方法包括：
1. **合法类别分布预测**：将故事点估算定义为在一个固定的合法值集合（如{0, 0.5, 1, 2, 3, 5, 8, 13, 20, 40, 100}）上的11类分类问题，模型输出每个类别的概率分布，最终点估计通过计算期望值获得。这支持了分布层面的评估。
2. **MAE导向的温度缩放**：作为一种后处理的分布优化技术，用于改进模型预测的校准性。温度参数（T
best）通过在验证集上最小化MAE（而非校准误差）来选择，旨在保持主要任务目标（准确性）的同时改善置信度-正确性对齐。
3. **解释生成与删除-充分性诊断**：模型通过一个额外的解释头为输入文本的每个令牌生成重要性分数，并基于目标覆盖率生成解释掩码。通过**删除诊断**（移除被解释为重要的令牌）和**充分性诊断**（仅保留被解释为重要的令牌）来评估解释的**行为相关性**，即解释是否真实反映了模型做出预测所依赖的证据。
4. **成本感知评估框架**：除了传统的准确性（MAE）和可靠性（如截断预期校准误差，snapped-ECE）指标外，研究还系统评估了**推理延迟**和**峰值GPU内存使用量**，以量化部署成本。
研究使用了来自**TAWOS数据集**的五个经过严格清理的项目级数据集（Spring XD, Titanium SDK, LSSTCorp Data Management, Lyrasis DuraCloud, DotNetNuke Platform）作为固定评估子集。数据按时间顺序划分为训练、验证和测试集，以模拟真实部署场景并减少未来信息泄露。评估对比了多个基线：仅提示控制组（G0）、仅头部训练基线（H0）、Worthy-SP（H3），以及传统的机器学习基线（TF-IDF+LightGBM）、句子嵌入基线（MiniLM+MLP）和微调的专业编码器基线（CodeBERT-FT）。
#### **三、 研究结果与分析**
**A. 训练的必要性：G0与训练后估算器的对比**
结果明确表明，在研究的设置下，仅使用提示而不进行任务特定训练（G0）是远远不够的。与训练后的紧凑LLM估算器（H0和H3）相比，G0在MAE和snapped-ECEafterT（温度缩放后的截断预期校准误差）上均表现显著更差。例如，G0的平均MAE为2.498，而H0和H3分别降至2.035和1.945。这强有力地支持了研究的核心论点之一：对于基于紧凑LLM的故事点估算，**任务特定的训练是必要的**。
**B. 准确性提升：Worthy-SP与仅头部基线（H0）的配对比较**
在30个“项目-骨干-种子”配对场景中，Worthy-SP（H3）相比H0，在大多数情况下（21/30）改善了MAE。平均MAE从H0的2.035降至H3的1.945，实现了约**4.4%的相对降低**。这表明，引入参数高效适配和解释相关的训练目标，在固定默认协议下，不仅没有导致系统性的准确性下降，反而带来了普遍的准确性提升。
**C. 可靠性改善：校准行为分析**
在采用MAE选择温度参数的协议下，Worthy-SP在报告的可靠性代理指标——snapped-ECEafterT上，也显示出方向性改善。平均snapped-ECEafterT从H0的0.230降至H3的0.194，相对降低约**16%**。尽管配对差异的置信区间略微跨零，且其他概率评分指标（如负对数似然NLL）的结果较为复杂，但这表明Worthy-SP在保持或提升准确性的同时，其预测分布的**校准性得到了改善**。研究也指出，准确性（MAE）和可靠性（snapped-ECE）之间存在权衡，不同方法在此权衡面上占据不同位置。
**D. 解释行为诊断：删除与充分性信号**
Worthy-SP生成的解释具有稳定且可控的覆盖率（平均0.157，接近目标0.15）。删除诊断显示，在大多数运行中（21/30），移除模型选定的解释令牌会导致预测性能下降（ΔMAE
del为正），这表明解释与模型行为具有相关性。充分性诊断显示，仅保留解释令牌通常能近似复现原始预测行为（ΔMAE
suf较小且非负）。这些诊断信号为解释的**行为忠实性**提供了实证证据，尽管它们不等同于人类可理解的地面真相因果重要性。
**E. 部署成本：准确性、延迟与内存的三方权衡**
与H0相比，Worthy-SP引入了可控的成本开销。平均推理延迟从66.75毫秒/样本增加到83.30毫秒/样本（增长约24.8%），峰值GPU内存从5.995 GB增至6.158 GB（增长约2.7%）。训练时间也有所增加。然而，可训练参数量（从0.020M增至8.943M）仍远低于全模型微调，体现了其**参数高效**的特性。这些结果表明，Worthy-SP以适度的计算和内存成本，换取了准确性、可靠性和可解释性的综合提升，在紧凑LLM部署约束下是可行的。
**F. 与额外基线的综合对比**
与TF-IDF+LightGBM、MiniLM+MLP和CodeBERT-FT等基线相比，Worthy-SP展现出独特的优势。它在MAE上优于或与最强基线（CodeBERT-FT）竞争，同时在snapped-ECE上显著优于CodeBERT-FT和TF-IDF+LightGBM，并且是唯一提供系统化解释行为诊断的方法。这凸显了所提出方法的价值：它并非追求单一维度的最优，而是致力于在**准确性、可靠性、可解释性和部署成本**多个可信度维度上取得平衡。
#### **四、 讨论与结论**
在讨论部分，研究人员审慎地指出了研究的**有效性威胁**。在构念效度方面，snapped-ECE是回归校准的代理指标，解释诊断基于扰动协议而非因果证明。在内部效度方面，通过固定运行计划、随机种子和评估流程进行了控制。在外部效度方面，结论基于五个特定项目数据集和两种紧凑骨干，其普适性需在更广泛的数据集和环境中进一步验证。部署成本也依赖于特定的硬件和软件环境。
**研究结论**部分总结道：本研究提出了一种面向可信的故事点估算方法，其核心是构建在冻结紧凑LLM骨干上的任务特定估算器Worthy-SP。该方法整合了参数高效适配、合法类别分布预测、MAE选择的温度缩放以及基于删除和充分性测试的解释诊断。实证结果表明，任务特定训练是必要的，并且Worthy-SP在保持预测竞争力的同时，普遍提升了准确性并改善了报告的可靠性代理指标。与额外基线的比较进一步表明，不同方法具有不同的准确性-可靠性特征谱。因此，Worthy-SP最好被理解为一种**在预测方面保持竞争力，同时增加了分布输出、解释诊断和部署成本证据的紧凑LLM估算器**，旨在支持而非取代团队估算活动。
未来工作应包括在更多敏捷数据集、跨项目设置和其他紧凑骨干上进行评估，并探索校准感知的温度选择、自适应解释正则化，以及在实际规划讨论中对解释有用性进行以人为中心的研究。
