《Computers》：Hotel Rating Prediction from Online Guest Feedback Using Reliability Modeling and Neural Text Analysis
编辑推荐：
在线酒店评论为了解顾客满意度提供了主要信息来源，然而评分预测仍然困难，因为评论文本通常较短、高度偏向高分，且受不一致或重复内容影响。本研究提出了一个旨在防止酒店评分预测中信息泄露的框架。实证分析使用了涵盖819家酒店的26,675条Booking.com评论。
在线酒店评论为了解顾客满意度提供了主要信息来源，然而评分预测仍然困难，因为评论文本通常较短、高度偏向高分，且受不一致或重复内容影响。本研究提出了一个旨在防止酒店评分预测中信息泄露的框架。实证分析使用了涵盖819家酒店的26,675条Booking.com评论。在最小清洗后，保留了26,384条评论，并在任何向量化器拟合、可靠性评分或模型训练之前按时间顺序划分。该方案确保测试集从不被过滤，且不使用任何源自评分的可靠性信号来构建训练特征。研究评估了TF-IDF Ridge基线、循环神经模型以及包括DistilBERT、BERT、RoBERTa、MobileBERT和TinyBERT在内的Transformer架构。评估在同一未过滤的时间顺序测试集上进行，使用了平均绝对误差（MAE）、均方根误差（RMSE）、决定系数（R2）、四舍五入评分准确率、一个评分点内的准确率、低分召回率、评分组误差和混淆矩阵。DistilBERT取得了最强的整体性能，MAE=0.4370，RMSE=0.6979，R2=0.6087，而BiLSTM模型对低分评论表现出更强的敏感性。额外的分析包括语言组成审计、未见酒店泛化、可靠性阈值敏感性以及跨7天、30天、60天和90天时间范围的未来酒店评分动态预测。结果表明，可靠的酒店评分预测既需要富有表现力的语言模型，也需要将评论可靠性分析与基于目标评分的过滤相分离的谨慎评估方案。
**论文解读：基于可靠性建模与神经文本分析的酒店评分预测框架**
**研究背景、问题与意义**
在线酒店评论平台（如Booking.com、TripAdvisor）已成为旅客选择住宿和酒店声誉管理的关键信息来源。评分变化即使一个百分点也会显著影响预订转化率，因此评分预测具有直接的商业价值。然而，现有研究面临三大挑战：第一，评论文本通常较短、高度偏向高分（超过88%的评分≥7.0），且存在不一致或重复内容；第二，许多研究忽视了数据预处理对模型性能的影响，尤其未系统控制信息泄露（data leakage），即使用未来信息（如基于评分构建可靠性特征）或过滤测试集，导致性能被高估；第三，基于历史评论的酒店未来评分动态预测鲜有探索。为此，研究人员提出了一个结合可靠性建模与信息泄露控制的框架，旨在实现更可信的酒店评分预测。该论文发表在《Computers》。研究的主要贡献包括：(1) 将酒店评分预测重构为评论级别的回归任务，采用时间顺序数据划分，在向量化器拟合、可靠性特征构建和模型训练前固定划分；(2) 使用独立于目标评分的文本和行为信号（文本重复、标题与正文的情感差异、评论文本长度、评论者历史行为）建模评论可靠性；(3) 在统一评估协议下比较TF-IDF Ridge基线、循环神经网络（LSTM、BiLSTM、BiLSTM+Attention）和五种Transformer架构（DistilBERT、BERT、RoBERTa、MobileBERT、TinyBERT）；(4) 扩展评估指标，包括四舍五入评分准确率、一个评分点内准确率、低分召回率、评分组误差和混淆矩阵；(5) 进行语言审计、未见酒店泛化测试、可靠性阈值敏感性分析和多时间范围（7、30、60、90天）的酒店评分趋势预测。
**主要关键的技术方法**
研究采用时间顺序数据划分以防止信息泄露，训练集（18,468条评论）、验证集（2,639条）和测试集（5,277条）在最小清洗后立即固定。可靠性特征包括：基于训练集TF-IDF拟合的余弦相似度衡量文本重复；VADER情感分析计算标题与正文的情感差距；归一化的文本长度稀疏度；以及基于评论者历史行为（先前评论数、3/7/30天内重复发布）的标量指标。这些特征独立于目标评分，且不用于过滤测试集。语言审计确认99.88%的评论为英文。模型训练使用TF-IDF Ridge、LSTM/BiLSTM/BiLSTM+Attention（5个随机种子）及DistilBERT/BERT/RoBERTa/MobileBERT/TinyBERT（3个种子），均在同一未过滤测试集上评估，采用MAE、RMSE、R2等指标。
**研究结果**
**7.1 Task A性能（未过滤时间顺序测试集）**
在未过滤测试集上，TF-IDF Ridge加上无信息泄露的可靠性和元数据特征达到MAE=0.5913，RMSE=0.8778，R2=0.3231。LSTM未超越该基线，BiLSTM+Attention取得循环模型最低平均MAE（0.5353），标准BiLSTM则具有最强的低分召回率。Transformer中，DistilBERT获得最佳整体性能：MAE=0.4370，RMSE=0.6979，R2=0.6087，且种子方差最小。BERT排名第二但种子敏感性更高。RoBERTa未超越DistilBERT。MobileBERT和TinyBERT提供轻量级对比但精度较低。结果表明紧凑的上下文表示模型在短文本、高分偏斜数据集上平衡了准确性、稳定性和计算成本。
**7.2 评分组误差分布**
所有模型在主导的9-10分组误差最低，在稀少的1-3分组误差最高。DistilBERT在所有分组均降低误差，例如1-3分组MAE从基线的2.478降至1.734。选定的DistilBERT运行显示：1-3分组真实均分1.90，预测均分3.58（高估）；9-10分组真实9.49，预测9.45（高度校准）。分组混淆矩阵显示绝大多数误差限于相邻评分组，仅4个额外高分案例被误判到7-8以下，且没有1-3分组被映射到9-10分组。
**7.3 语言审计与未见酒店泛化**
语言审计显示语料库99.88%为英文（自动检测），支持使用VADER。未见酒店分组测试（测试集酒店排除于训练和验证）显示TF-IDF Ridge模型保持稳定（MAE=0.5892），表明预测信号不依赖酒店重叠。
**7.4 多时间范围预测（Task B）**
使用30天历史窗口预测未来7、30、60、90天酒店均分。7天地平线预测误差最大（MAE=0.9596），随窗口延长误差降低（90天MAE=0.6934）。相对于简单历史均值基线，相对MAE改进从7天的4.4%增至90天的14.7%。结果表明历史评论信号对长期预测具有中等价值。
**7.5 可靠性阈值与权重敏感性**
在TF-IDF Ridge上测试不同可靠性阈值（0.10-0.50），MAE差异微小（最佳0.30阈值下MAE=0.5865，无过滤条件MAE=0.5913），说明结果不依赖单一阈值。去除行为组件的变体表现最弱（MAE=0.6349），表明评论者行为信息重要性。
**总结讨论与结论翻译**
讨论部分强调，研究设计的核心是将评论可靠性建模为受控预测信号，而非用于过滤测试集。评估协议确保所有模型在同一未过滤时间顺序测试集上可比，避免了信息泄露导致的性能虚高。模型比较显示，模型家族重要但非简单线性：TF-IDF Ridge基线仍有竞争力；BiLSTM+Attention平均误差较低，标准BiLSTM对低分更敏感；DistilBERT在紧凑性与性能间达到最佳平衡，而大型模型（如RoBERTa）在该数据集上未体现优势。评分偏斜使得平均指标不足，低分召回率和混淆矩阵更揭示模型行为——DistilBERT极少将负面评论误判为高分，误差多为邻近组别。可靠性敏感性分析确认结果稳健，评论者行为信息贡献显著。语言审计和未见酒店泛化支持方法的适用性。Task B作为次要分析，显示历史信号在多时间范围上的预测潜力，但低分召回率低，更适合监测趋势而非突发恶化。
**结论翻译**：本研究提出了一个结合评论可靠性建模与显式信息泄露控制的酒店评分预测框架。该方案解决了评分预测中的一个核心方法论风险：可靠性信号不得引入目标泄露或人为简化测试集。因此，在最小清洗后立即创建时间顺序训练、验证和测试划分，所有Task A模型在同一未过滤测试集上评估。最强经典基线（TF-IDF Ridge加无信息泄露的可靠性和元数据特征）达到MAE=0.5913，R2=0.3231。循环神经模型有所改进，BiLSTM+Attention达到MAE=0.5353，标准BiLSTM取得最强低分召回率。Transformer中，DistilBERT获得最佳整体性能，MAE=0.4370，RMSE=0.6979，R2=0.6087。重要的是，这一改进是在不过滤时间顺序测试集的情况下实现的，增强了模型比较的可信度。扩展评估显示，由于语料高度偏斜，低分召回率、评分组误差和混淆矩阵对于理解模型在罕见负面评论上的行为至关重要。DistilBERT提供最佳回归精度，而BiLSTM模型对低分案例更敏感。语言审计确认语料几乎全为英文，未见酒店评估显示最强经典模型在排除训练集酒店后仍具预测力，可靠性敏感性分析表明性能不依赖单一阈值。Task B预测实验进一步显示，聚合的历史评论信号对跨多个时间范围的未来酒店评分动态具有中等预测价值。总体而言，本研究贡献了一个可重复且实践相关的酒店评论分析框架，其核心不仅在于神经模型的使用，更在于评论可靠性建模、信息泄露控制的评估、扩展的Transformer比较以及多时间范围预测的结合。
