机动车第三者责任保险(MTPL)中的高级风险建模:运用统计方法和机器学习

《Machine Learning with Applications》:Advanced risk modeling in MTPL insurance: Using statistical methods and machine learning

【字体: 大 中 小 】 时间:2026年04月29日 来源:Machine Learning with Applications 4.9

编辑推荐:

  彼得·施密特 | 西尔维娅·泽利诺娃 | 索尔特·西蒙卡 | 米哈尔·扎沃德尼 | 卢多维特·平达 布拉迪斯拉发经济与商业大学经济信息学院应用信息学系,多尔诺泽姆斯卡街1号,布拉迪斯拉发,852 35,斯洛伐克 **摘要** 机动车第三方责任(MTPL)保险是一个具

  彼得·施密特 | 西尔维娅·泽利诺娃 | 索尔特·西蒙卡 | 米哈尔·扎沃德尼 | 卢多维特·平达
布拉迪斯拉发经济与商业大学经济信息学院应用信息学系,多尔诺泽姆斯卡街1号,布拉迪斯拉发,852 35,斯洛伐克

**摘要**
机动车第三方责任(MTPL)保险是一个具有挑战性的预测建模领域,因为存在极端的类别不平衡、时间漂移以及在受监管环境中对可解释性和概率校准的严格要求。本研究提出了一种时间敏感的混合风险建模框架,将精算基础上的统计方法与现代机器学习技术相结合。利用2016-2024年的大规模真实世界MTPL数据集,我们将基于广义线性模型(GLM)的分割和对比分析与集成分类器(包括随机森林、XGBoost和基于直方图的梯度提升算法HistGB)相结合,并在严格的时序验证下进行测试。模型在2016-2021年的数据上进行训练,在2022年进行校准,并在涵盖2023-2024年的外部测试集上进行评估。结果表明,时间漂移显著降低了所有模型的区分能力(ROC AUC约为0.62-0.63),而在校准质量和筛选行为上存在显著差异。在操作性受限的阈值选择下,HistGB提供了最准确的概率估计(Brier约为0.026;ECE约为0.04)和最高的召回率。基于这些发现,引入了一种结合单类支持向量机(OCSVM)特征分析与HistGB分类的混合架构,作为以筛选为导向的决策系统。该混合模型不仅追求整体准确性,还整合了异常特征分析与校准后的概率估计,以支持高风险保单的早期识别。通过GLM分割、部分依赖图、SHAP分析和替代决策树来支持可解释性。所提出的框架展示了如何将统计透明性和机器学习灵活性结合起来,在受监管的保险环境中实现可解释且具有操作可行性的风险筛选。

**1. 引言**
数字数据的快速增长改变了各个行业(从金融到医疗保健和交通)的风险评估方式。特别是机动车第三方责任(MTPL)保险,由于索赔数据的高度不平衡性、变量之间的复杂非线性交互以及预测模型中的可解释性需求,成为机器学习(ML)研究的挑战性领域(Reiff等人,2022年;Soltes等人,2019年)。传统的精算技术,如广义线性模型(GLMs),长期以来一直被用于保费设定和风险量化,因为它们具有透明性和监管机构的认可度。然而,在高维、不平衡的数据集上,这些技术的表现往往不佳,无法捕捉到强烈影响索赔结果的非线性依赖关系(Grize等人,2020年)。机器学习的最新进展引入了随机森林、梯度提升机和神经网络等算法,这些算法能够建模复杂的数据结构,并显著提高保险及相关金融应用中的预测性能(Baudry和Robert,2019年;Hanafy和Ming,2021年;Richman,2018年)。尽管取得了成功,但这些模型经常因缺乏透明度而受到批评,这可能阻碍其在受监管行业的应用,并限制了对自动化决策的信任(James等人,2021年)。为了解决这些问题,本研究提出了一种混合建模框架,将经典统计模型的可解释性与先进机器学习的预测准确性相结合。具体而言,我们在斯洛伐克的一个大型MTPL数据集上评估了对比分析、GLMs、集成方法(随机森林、XGBoost、HistGB)以及混合单类SVM + HistGB方法的组合。分析重点关注在不平衡环境下的预测准确性、校准能力和鲁棒性,其影响范围不仅限于保险领域,还扩展到欺诈检测、信用评分和操作风险管理等其他领域(Wamba等人,2017年)。

**2. 理论框架和方法**
强制机动车第三方责任保险(MTPL)领域的数据处理是一项复杂的任务,需要结合精算和统计方法以及现代机器学习方法。本节概述了这两种方法的基本理论基础,并展示了它们在风险分析、保单持有人分类和保费确定中的潜在整合方式。传统的保费计算方法基于精算科学和统计学。广义线性模型是非人寿保险中最常用的方法之一,因为它们能够有效地建模索赔概率和严重性(Reiff等人,2022年)。保费计算通常考虑多种变量,包括:
- 车辆的技术参数(例如,发动机功率、重量、品牌、制造年份);
- 驾驶员特征(例如,年龄、位置、索赔历史);
- 车辆使用类型(例如,个人使用、企业使用、出租车服务)。

在保险领域中较少应用但非常有效的统计方法是对比分析。这种技术能够更详细地考察不同保单持有人群体之间的差异,并帮助识别影响索赔发生的关键因素。与传统平均值不同,后者可能因数据分布不均而产生偏差,对比分析使用边际均值(最小二乘均值 – LS-Means)来控制混淆变量。在MTPL保险的背景下,对比分析允许:
- 更精确地将保单持有人划分为在每个子群体内索赔发生概率统计上无显著差异的 homogeneous 组;
- 识别变量之间的交互效应,例如,驾驶员年龄对不同车辆品牌索赔发生的影响;
- 改进定价模型,使保险公司能够根据统计上显著的群体差异设定更公平的保费。

然而,传统的精算模型往往忽视了变量交互的复杂性,导致结果不佳。这时机器学习(Baudry & Robert,2019年)就派上了用场,它能够检测数据中的隐藏模式并高效处理大规模数据。

**2.1. 机器学习及其在MTPL分析中的应用**
MTPL保险中使用的机器学习模型通常在高维、非线性空间中运行,其中风险因素之间的交互可能会掩盖索赔发生的潜在结构。为了在利用预测能力的同时保持可解释性,修订后的建模框架首先应用基于精算的GLM分割。这种分割使用成熟的精算协变量将保单持有人分组为同质风险集群,确保模型结构的早期阶段保持透明性和监管合规性。在第二阶段,模型使用SHAP(Shapley Additive Explanations)值来量化全局和局部背景下的特征贡献。SHAP汇总图可以识别整个保险组合中的主要预测因子。相比之下,SHAP依赖性和交互图突出了GLM模型无法捕捉的非线性关系,例如年龄或发动机功率的阈值效应。这种组合使混合框架不仅能够解释哪些变量影响索赔概率,还能说明这些效应在不同情境下的变化情况。部分依赖图(PDPs)通过可视化单个预测因子的边际效应并揭示单调或非单调的风险模式,进一步增强了可解释性。GLM分割、SHAP分析和PDP可视化共同创建了一个连贯的可解释性层,既保持了精算透明度,又扩展了模型的灵活性。机器学习模型不仅使保险公司能够更准确地预测风险,还能高效有效地处理大量数据。在MTPL保险领域,机器学习主要用于:
- 缺失值填充——例如随机森林插补方法可以在不引入偏见的情况下填补数据库中的缺失数据点;
- 索赔概率预测——机器学习算法可以根据历史数据识别事故风险较高的驾驶员;
- 异常和欺诈检测——高级模型(如神经网络或自动编码器)可以检测可疑的保险索赔。

OCSVM方法在MTPL筛选中与其他具有大量记录和不平衡数据的欺诈检测方法有重要的相似之处。Shukla等人(2025年)表明,结合超参数优化的混合深度变换器模型可以通过多阶段过程有效检测社交媒体上的欺诈账户,该过程涉及特征提取和异常导向的优化。这一发现支持了我们的混合建模方法,展示了如何在不同数据特征的领域中适应异常检测技术。随机森林是保险领域中最广泛使用的算法之一,属于集成学习家族。该算法利用多棵决策树构建强大的预测模型,其主要优势包括:
- 抵抗过拟合的能力——通过自助聚合(bagging),模型对数据中的噪声不敏感;
- 处理多种数据类型的灵活性——能够处理数值和分类变量;
- 识别关键因素的能力——通过特征重要性,可以确定哪些变量最影响索赔频率。在保险领域,随机森林用于根据现有保单的相似性来填充缺失值,从而在保持数据库完整性的同时最小化不完整信息造成的错误。尽管机器学习模型有许多优点,但它们并非完美的解决方案(Grize等人,2020年)。统计方法(如GLM和对比分析)提供了可解释性和模型可验证性,这对于保险领域的监管合规性至关重要。相反,机器学习模型能够高效处理非线性关系和大规模数据。两种方法的结合——提供精算有效性、可解释性的统计模型(GLM + 对比分析),以及有助于揭示隐藏模式和优化数据处理的机器学习模型(随机森林、神经网络),使保险公司能够更有效地预测风险、减少数据错误并确保更公平的保费定价。在本文中,我们根据MTPL保险的数据性质和分析目标选择了以下模型:随机森林(RF)、极端梯度提升(XGBoost)和HistGradientBoosting(HistGB)。

**2.2. 随机森林**
随机森林是一种在统计分析和保险中非常突出的集成方法。它具有很强的抗过拟合能力,能够有效处理大规模数据集,并管理缺失值和类别不平衡问题。尽管计算密集,但它提供了稳健、稳定的结果,特别适合具有多样数值和分类输入的任务。在回归任务中,预测结果是所有树输出的平均值(Breiman,2001年;James等人,2013年):
$$ y^\hat(x) = \frac{1}{T} \sum_{t=1}^{T} f_t(x) $$
其中T表示森林中树的总数,$ f_t(x) $表示第t棵树对输入向量x的预测。注意:在分类任务中,最终预测是通过集成中所有树的多数投票获得的。

**2.3. 极端梯度提升(XGBoost)**
XGBoost因其高预测准确性和在不平衡数据集(通常是非索赔事件)上的强大表现而被选中。它包括正则化以防止过拟合、内置的缺失值处理和超参数调整,使其非常适合复杂的保险分类任务。XGBoost是一种梯度提升算法,通过优化结合损失和正则化的目标函数来实现(Chen和Guestrin,2016年;Zhang和Janosik,2024年):
$$ L(t) = \sum_{i=1}^{n} l_{yi}, y^\hat{i}(t-1) + f_t(x) $$
其中$l$表示可微的损失函数(例如平方误差或逻辑损失),$y_i$是观察到的响应,$y^\hat{i}(t-1)$是在第t-1次迭代时获得的预测,$f_t(x)$是在第t次提升迭代时添加的决策树。正则化项$\Omega(f_t)$控制模型复杂性,定义为:
$$ \Omega(f_t) = \gamma T + \frac{1}{2} \sum_{j=1}^{T} w_j^2 $$
其中$T$是树中的叶子数量,$w_j$是与叶子j相关联的权重,$\gamma$和$\lambda$分别是惩罚模型复杂性和大叶子权重的正则化参数。这种公式在保持模型复杂性的同时实现了高效学习。

**2.4. Hist Gradient Boosting(HistGB)**
Hist Gradient Boosting(HistGB)是scikit-learn中的一种较新的、优化的梯度提升实现。它具有计算效率(使用基于直方图的方法),能够很好地扩展到大规模数据集,并原生支持缺失值,大大简化了数据预处理。对于大规模保险数据集尤其有效,平衡了速度和可解释性(Pedregosa等人,2011年)。Hist Gradient Boosting按照以下方式更新模型(Ke等人,2017年):
$$ F_m(x) = F_{m-1}(x) + \nu h_m(x) $$
其中$F_m(x)$表示经过m次提升迭代后的模型,$\nu \in (0,1]$是控制每个新学习者贡献的学习率,$h_m(x)$表示在第m次迭代时拟合的弱学习器(通常是决策树)。基于直方图的特征离散化使HistGB能够高效处理大规模数据集,同时保持捕捉非线性关系的能力,特别适合工业规模的保险应用。

**3. 数据分析的方法论框架**
本节描述了用于分析机动车第三方责任(MTPL)保险数据的方法论框架。主要目标是通过明确定义的分析流程确保透明度、可重复性和方法论严谨性,该流程包括数据收集、数据清洗、变量选择、缺失值填充以及为后续统计和机器学习分析做数据准备。

**3.1. 实例定义、目标构建和暴露处理**
每个观测值对应一个在一个年度覆盖期内观察到的单一保险合同(保单-年度单位),这是受监管非人寿保险中的标准分析单位。设$(5) x_i \in R_p$表示在覆盖年度开始时可用的合同和保单持有人级别的特征向量。所有特征值都是时间一致的,并且仅基于覆盖年度开始之前的信息构建,确保预测设置严格向前看,没有时间信息泄漏。目标变量定义为:如果在保险年度内至少有一项索赔被报告,则y_i=1;否则y_i=0。该目标变量是一个二元指标,用于表示相应保险年度内是否发生了索赔。如果至少有一个保险事件导致了金钱赔偿(赔偿金额大于0),则将合同年度实例标记为正面;否则标记为负面。在构建源数据库时,与同一保险事件相关的多个赔偿记录被汇总为一个条目;因此,同一保险年度内的多项索赔被视为一个正面结果。这种表述方式反映了早期风险识别的操作目标,而不是索赔数量或严重程度的建模。通过将每份保险合同的覆盖期标准化来考虑合同风险暴露。合同长度是根据已知的开始和结束日期计算得出的天数,而所有索赔发生的日期都被记录下来,以确保合同与保险事件之间的时间对齐精确。对于部分年度暴露的合同,会将其年度化处理,从而使目标变量能够在大致相同的暴露条件下一致地被解释为保险年度的索赔指标。与主要用于费率制定的经典频率-严重程度框架不同,本研究的目标是操作风险筛查。因此,建模任务的重点是在严格的容量和精度约束下,识别出短期索赔风险较高的合同子集,而不是估计预期的索赔频率或索赔严重程度。为了实现这一目标,整个实证研究过程中自然地采用了基于阈值的分类策略、不平衡感知的评估指标和概率校准分析。

3.2. 数据集特征和变量选择
尽管原始的MTPL数据库包含超过180个原始变量,但最终只保留了12个用于建模的预测变量。变量筛选采用了多阶段特征选择框架,结合了领域驱动的过滤、相关性分析、变量稳定性检查以及缺失值诊断。这可以防止过拟合,提高计算效率,并确保最终混合模型中的所有预测变量都具有稳健的精算相关性。选择过程首先进行了精算预筛选,去除了行政字段、冗余标识符以及在保险合同开始时不可用的属性。随后,高相关性过滤排除了那些除了现有协变量之外没有提供额外预测价值的变量。由于信息泄露或不稳定性的风险增加,那些极端稀疏或在年份间报告不一致的变量也被排除在外。因此,最终的12个预测变量代表了一组在MTPL风险建模中具有坚实理论基础的精心挑选的变量,包括车辆年龄、发动机功率、保单持有人年龄、地区以及奖励-惩罚指标,确保了统计上的稳健性和精算上的可解释性。为了排除目标变量泄露的可能性,我们重新估计了所有不包含年度保费的模型。模型的性能仅略有下降(AUC从0.66降至0.65),这证实了保费并没有以偏袒预测的方式编码未来的索赔结果。为了进一步确保没有预测变量包含在保险合同开始时不可用的信息或受到未来索赔结果的影响,进行了严格的特征可用性审计(表1)。

实证分析基于一家未公开保险公司提供的大规模保险政策和索赔数据库。该数据集涵盖了九年的时间(2016-2024年),包含超过540,000条保单记录和大约33,500项与MTPL相关的索赔,为统计建模和机器学习应用提供了坚实的基础。所有数据都按照适用的数据保护法规进行了彻底的匿名处理。从完整数据库中提取了相关变量,并将其分为三类主要类别:
- 车辆技术参数:
- 发动机功率(千瓦)
- 车辆重量(千克)
- 制造年份
- 车辆品牌
- 车辆类型
- 车辆年龄
- 保单持有人特征:
- 驾驶员年龄
- 位置(居住区)
- 索赔历史(奖励-惩罚)
- 保险和索赔数据:
- 年度保费金额
- 过去索赔数量
- 索赔发生(CO)

表1. 特征可用性和潜在信息泄露的评估
| 特征 | 在保险合同开始时是否可用? | 是否源自初始数据? | 是否依赖于过去的索赔? | 潜在泄露风险 | 缓解/理由 |
|-----------------|------------------|------------------|------------------|------------------------|
| 发动机功率(千瓦) | 是 | 否 | 否 | 无 | 发动机功率在承保前已知 |
| 车辆重量(千克) | 是 | 否 | 否 | 无 | 车辆重量在承保时完全可观察 |
| 制造年份 | 是 | 否 | 否 | 无 | 制造年份在承保时完全可观察 |
| 车辆品牌 | 是 | 否 | 否 | 无 | 车辆品牌在保单创建时提供 |
| 车辆类型 | 是 | 否 | 否 | 无 | 车辆类型在保单创建时提供 |
| 车辆年龄 | 否(推导) | 是 | 否 | 无 | 车辆年龄通过初始时间信息计算得出 |
| 驾驶员年龄 | 是 | 否 | 否 | 无 | 驾驶员年龄在承保前可知 |
| 位置(地区) | 是 | 否 | 否 | 无 | 位置由保单持有人提供,与索赔实现无关 |
| 奖励-惩罚类别 | 是 | 是(来自保险公司记录) | 是 | 低 | 奖励-惩罚类别反映过去的索赔,实证验证表明移除后对AUC影响很小 |
| 年度保费 | 是 | 是(由保险公司计算) | 间接 | 保费可能编码承保判断;实证排除了泄露风险,移除保费后AUC仅从0.66降至0.65 |
| 过去索赔数量 | 是 | 是 | 是 | 中等 | 历史索赔是可接受的预测变量;不使用未来信息 |
| 索赔发生(目标变量) | 否 | 是 | 否 | N/A | 目标变量从特征构建中排除 |

3.3. 数据清洗、质量验证和缺失值插补
在模型开发之前,数据集经过了系统的数据清洗和质量验证,以确保其可靠性、内部一致性以及适合进行统计和机器学习分析。所有包含不完整、无法恢复或结构不一致信息的记录都被排除。这一步预处理步骤对于防止虚假模式、减少噪声以及确保后续建模结果基于高质量、具有代表性的数据至关重要(James等人,2021年)。

3.3.1. 数据清洗和质量验证
首先进行了全面的数据审计,以识别和纠正数据质量问题,遵循应用机器学习和风险建模的最佳实践(Provost & Fawcett,2023年)。审计包括验证数值格式、标准化数值字段(例如小数分隔符)、验证字符编码以及删除重复记录。特别是,移除了发动机功率为0千瓦、驾驶员年龄低于18岁或高于100岁以及其他逻辑上无效的合同记录。此外,使用统计诊断方法(如四分位数范围(IQR)阈值和Z分数)检查了潜在的异常值和异常记录,并在明显与数据生成过程不一致时将其排除。这种清洗程序确保了错误或技术上无效的观察结果不会影响下游分析,并且所有保留的记录都反映了MTPL组合中的真实保险合同。

3.3.2. 缺失值分析和插补策略
尽管进行了数据清洗,但在几个关键的技术和人口统计变量中仍然存在缺失值。受影响最严重的变量包括发动机功率、车辆重量、制造年份、驾驶员的地理位置(地区)和保单持有人年龄。由于这些变量在风险区分中起着核心作用,因此需要采用结构化的插补策略来保留信息的同时最小化偏差。评估了几种插补方法(Li等人,2023年)。均值插补因倾向于减少方差和扭曲分布特性而被拒绝。多重方程链式插补(MICE)表现尚可,但由于数据集规模较大,计算成本较高。最终选择了基于随机森林的插补方法,因为它能够捕捉非线性关系和变量交互作用,同时保持数据的结构特性。随机森林插补模型是为每个具有缺失值的变量单独训练的,使用剩余的观察特征作为预测变量。这种方法对于相关的技术属性(如发动机功率和车辆重量)特别有效,产生了内部一致的插补结果。为了防止信息泄露并保持时间有效性,所有插补模型仅在训练数据上进行了拟合。之后,学到的插补规则未经修改地应用于验证集和测试集。因此,后期期间的缺失值从未使用未来观察的信息进行插补,确保了建模框架反映了与MTPL风险评估一致的现实、前瞻性的预测条件。

3.4. 时间分割和实体重复
为了减轻时间信息泄露,所有模型都使用严格的时间顺序数据分割进行评估。训练基于2016-2021年的历史保单年度观察数据,决策阈值在专门的验证年份(2022年)进行校准,最终性能在覆盖2023-2024年的测试集上进行评估。这种设计确保在模型训练或阈值选择期间不使用未来时期的任何信息。需要强调的是,时间分割主要是为了防止未来的泄露,即使用在预测时不可用的信息。然而,纯粹基于年份的分割并不能保证实体层面的独立性。在MTPL保险组合中,由于合同续签,同一保单持有人或车辆可能出现在多个连续的保单年度中,这意味着在训练、验证和测试期间实体可能会重复出现。在本研究中,没有强制进行实体级别的分组(例如按保单持有人或车辆标识符分组),因为主要目标是评估模型在现实操作条件下的稳健性,而不是构建一个独立于实体的测试集。从部署的角度来看,保险公司通常会对续签合同应用预测模型,其中同一实体的历史暴露既是预期的也是有信息价值的。因此,允许实体重复出现比严格的实体分离分割更能反映实际情况。尽管如此,这种设计选择意味着时间泛化结果应被解释为对时间分布变化的稳健性,而不是在完全实体独立条件下的性能。虽然时间顺序分割有效地消除了前瞻性偏差,但由重复实体引起的残余依赖性仍可能导致乐观的性能估计。这一限制被承认,并代表了方法论严格性与操作现实性之间的权衡。未来的工作可以通过结合实体级别的分组或混合的时间-实体验证方案来扩展当前框架,从而更细致地分离时间漂移效应和实体记忆。这样的扩展将进一步加强泛化保证,但超出了本研究的范围。

3.5. 实验设置和可重复性
所有模型都在一个统一且完全可重复的预处理和建模流程中实现。为了确保可审计性和实验之间的可比性,除非另有说明,否则对所有分类器应用了相同的特征集、数据分割、预处理步骤和评估程序。数值变量使用中位数插补进行插补,而分类变量使用独热编码进行编码,稀有类别被归类在一个共同的标签下。没有进行手动特征选择。所有预处理步骤仅在训练数据上进行了拟合,然后不变地应用于验证集和测试集,以防止信息泄露。模型训练、阈值校准和性能评估使用固定的随机种子进行,以确保行为的确定性。超参数要么设置为大规模表格数据的常用默认值,要么使用基于验证的启发式方法进行选择。表2提供了预处理步骤、数据处理决策和可重复性设置的完整概述,表3报告了分类器特定的超参数和配置细节。在模型拟合或阈值选择期间没有使用来自测试集外的任何信息。所有报告的性能指标都是基于单一评估流程生成的,所有基于混淆矩阵的度量都经过了内部验证,以确保数值一致性。

表2. 模型配置和预处理总结
| 组件 | 规格 |
|-----------------|-------------------------------------------|
| 数据分割 | 训练:2016-2021;验证:2022;测试:2023-2024 |
| 随机种子 | 固定(种子 = 42) |
| 数值插补 | 中位数插补 |
| 分类编码 | 使用共同标签对稀有类别进行独热编码 |
| 特征缩放 | 适用于单类SVM的标准化;树基模型不使用缩放 |
| 类别不平衡处理 | 基于阈值的决策规则;不进行重采样 |
| 评估指标 | ROC AUC、PR-AUC、精确度、召回率、F1分数、Brier分数、预期校准误差(ECE)、预测阳性率 |

表3. 分类器特定的配置
| 参数 | 值 |
|-----------------|-------------------------------------------|
| 随机森林 | 树的数量:500 |
| 最大深度 | 无 |
| 自举采样 | 启用 |
| 类别权重 | 平衡 |
| 基于直方图的梯度提升 | 最大迭代次数:300 |
| 学习率 | 0.05 |
| 最大深度 | 6 |
| L2正则化 | 启用 |
| 早期停止 | 禁用 |
| XGBoost | 目标函数:二元逻辑回归 |
| 学习率 | 0.05 |
| 最大深度 | 6 |
| 列子采样(按树) | 0.8 |
| Scale_pos_weight | 从训练数据估计 |
| 估计器数量 | 500 |
| 单类支持向量机(OCSVM) | |
| 核函数 | 径向基函数(RBF) |
| Nu参数(ν) | 0.05 |
| Gamma参数(γ) | 1/p(特征数量) |
| 特征缩放 | StandardScaler |
| 训练数据 | 仅包含正类实例 |

3.6. 决策阈值选择和操作约束
鉴于MTPL保险组合的极端类别不平衡特性,使用固定的默认概率阈值(例如0.5)无法有意义地评估分类性能。相反,决策阈值应被视为反映有限筛查能力和不对称误分类成本的操作政策。特别是,假阳性会带来不可忽视的操作成本(例如手动承保审查或额外的风险评估),而假阴性则意味着错过对高风险合同的早期干预机会。因此,本研究中的决策阈值并不是为了整体准确性进行优化的,而是在明确的最小精确度约束下选择的。阈值校准过程仅在验证集(2022年)上进行,通过扫描精确度-召回率曲线并选择满足预定义的最小精确度水平的最低概率阈值。这种方法确保了错误警报的比例在操作上是可管理的,同时在容量限制下最大化了召回率。选定的最小精确度水平(15%)反映了早期风险识别任务的保守筛查机制,其中只有一小部分合同被标记为需要进一步检查。根据这种公式,预测的阳性率直接对应于需要下游审查的投资组合比例,使其成为决策者可以解释和采取行动的指标。重要的是,校准后的阈值在验证后是固定的,并且不加修改地应用于超时测试期(2023-2024年),从而能够真实评估阈值在时间推移下的稳定性。这种阈值策略在概念上与成本敏感的决策理论一致,在该理论中,最佳操作点取决于假阳性和假阴性的相对成本,而不是单一的通用指标。采用的最低精度策略定义了一个与实际筛选能力相符的可接受操作点范围。因此,性能评估使用了考虑不平衡的指标,包括召回率、精度、预测阳性率、PR-AUC和校准度量,这些指标共同表征了模型的区分能力和操作可行性。

3.7 校准指标和ECE计算
概率校准使用了Brier分数和预期校准误差(ECE)进行评估。ECE是通过在[0,1]区间内对预测概率进行等宽分箱来计算的,分别使用了10个和20个分箱。在每个分箱内,平均预测概率与观察到的事件频率之间的绝对差异按照该分箱的样本比例进行了加权。没有进行事后概率校准(例如Platt缩放或等值回归);因此所有校准指标都反映了模型的原始概率估计。

4. 统计方法和机器学习模型的应用
本研究中的所有统计和机器学习模型都是在统一的、标准化的12个预测因子集上训练的,包括派生特征Vehicle_age,以确保方法论的一致性,并能够公平比较模型性能。由于数据集存在显著的类别不平衡,索赔仅占所有政策的一小部分。因此,该方法依赖于类别加权而不是合成过采样。故意避免了使用SMOTE、ADASYN或基于GAN的生成等技术,因为这些技术可能会扭曲MTPL保险数据的经验分布,生成不现实的投保人特征组合,或使频率估计产生偏差。鉴于保险领域的监管限制以及保持风险因素自然分布的重要性,类别加权提供了一个更具精算辩护力的替代方案。虽然测试了基于GAN的索赔生成方法,但由于监管考虑、分布扭曲风险以及边际特征关系的破坏,最终排除了这种方法。整个建模流程在所有模型中都保持完全一致:数据清洗和插补(中位数或众数)、标准化的预处理、相同的特征集、基于时间的训练和测试样本分割,以及统一的评估指标(ROC AUC、精度、召回率、F1分数和校准)。这确保了观察到的性能差异反映了每个模型的内在属性,而不是预处理的差异。为了构建统计上同质的投保人组,作为建模流程的第一阶段应用了广义线性模型(GLM)和对比分析。目标是在预测建模之前对数据进行结构化。使用二项式族的GLM模型来估计索赔发生的对数概率作为选定分割因子的函数。计算最小二乘均值(LS-means)以控制混杂变量,从而能够在不同类别之间进行无偏比较。分割程序包括以下步骤:
- 分割因子的识别:选择与索赔发生相关的因素,如驾驶员年龄、车辆品牌、地理位置和发动机功率。
- GLM估计:二项式GLM模型量化了每个因素的效果,并识别出统计上显著的对比。
- LS-means计算:调整后的均值消除了混杂效应。
- 对比分析:使用对比声明测试不同类别(例如,年龄组、品牌)之间的差异。
- 分割细化:合并或分割同质组以优化组内相似性和组间分离。
最终的分割产生了统计上定义明确的投保人和车辆组,这些组的索赔发生率有显著差异。这种分割框架的方法论背景由Soltes等人(2019年)描述。

整个建模流程,包括预处理、统计建模和机器学习组件,都是用Python(Chollet, 2018)实现的。所有模型都在一个统一且一致的框架内进行了评估,确保观察到的性能差异反映了模型的内在属性,而不是预处理的差异。在多数类上训练OCSVM会导致决策边界变得琐碎且敏感性接近于零,因为主要的非索赔分布广泛且异质。相比之下,索赔类别形成了一个紧凑、定义明确的流形,使OCSVM能够学习出围绕高风险观察值的有意义的异常边界。我们还评估了其他异常检测方法,包括Isolation Forest和在多数类上训练的OCSVM,但这些方法产生的召回率较低且阈值不稳定。最终的混合决策规则要求相对于索赔流形的异常性和高HistGB概率,被证明是在不平衡的保险环境中识别高风险合同的最有效和概念上最连贯的公式。

4.1 随机森林模型实现
在分割之后,使用随机森林分类器来估计索赔发生的概率。该模型使用2016年至2021年的历史保单数据进行了训练,关键风险相关特征包括驾驶员年龄、车辆特征(发动机功率、重量和年龄)、车辆品牌和使用类别以及选定的区域属性。为了确保评估的真实性并防止时间信息泄露,采用了时间顺序验证策略。模型训练使用了2016-2021年的数据,2022年作为验证集来校准分类阈值。校准后的阈值随后被固定并应用于2023-2024年的超时测试集。
鉴于MTPL保险投资组合典型的类别不平衡,阈值校准是在最低精度约束(15%)下进行的,反映了假阳性和遗漏索赔之间的现实操作权衡。这种方法允许模型识别出非零比例的索赔事件,同时避免过度激进的风险标记。
在验证集(2022年)上,随机森林模型的ROC AUC为0.675,表明索赔和非索赔政策之间存在中等程度的区分(表4)。在选定的阈值(0.306)下,模型的精度为0.15,召回率为0.28,F1分数为0.20。预测的阳性率(7.4%)超过了观察到的索赔率(3.9%),表明采取了旨在捕获更多潜在索赔的保守筛选策略。当应用于超时测试期(2023-2024年)时,区分性能下降,ROC AUC降至0.618,反映了索赔模式的时间推移。使用2022年数据校准的阈值,模型的召回率为0.24,精度为0.045,F1分数为0.076。预测的阳性率增加到10.9%,而观察到的索赔率约为2.0%,显示出最近时期假阳性的显著增加。

表4. 2022年校准阈值的随机森林性能
| 周期 | 阈值 | 精度 | 召回率 | F1分数 | ROC AUC | 预测阳性率 |
|-----------|-----------|------------|------------|------------|------------|
| 验证集(2022年) | 0.306 | 0.909 | 0.15 | 0.675 | 0.039 |
| 超时测试(OOT) | 0.306 | 0.880 | 0.045 | 0.24 | 0.618 | 0.020 |
总体而言,结果表明,尽管阈值校准使随机森林模型能够在时间验证下检测到有意义的索赔事件比例,但其实际效用受到超时测试中低精度的限制。这些发现证实了随机森林主要作为基线模型,在此背景下激励应用更能处理类别不平衡和时间推移的更高级方法。

4.2 Hist梯度提升分类器模型(时间感知评估)
在基线随机森林分析之后,应用了Hist梯度提升(HistGB)分类器来估计索赔发生的概率。与随机森林相比,HistGB非常适合大规模的表格化保险数据,并以其捕捉非线性关系和提供准确概率估计的能力而受到认可。该模型使用2016年至2021年的MTPL保险合同进行了训练。为了确保真实的部署条件并避免时间信息泄露,采用了时间顺序评估框架。2022年专门用作分类阈值校准的验证集,而2023-2024年期间作为超时测试集。这种设置反映了保险公司的操作实践,即决策阈值基于历史经验确定,随后应用于未来的投资组合。

4.2.1 模型可解释性分析
为了支持超出总体性能指标的可解释性,采用了特定于模型和与模型无关的解释技术。部分依赖图(PDPs)用于分析关键预测因子对预测索赔概率的边际效应,同时拟合了一个替代决策树来近似HistGB分类器的整体决策结构。为了检查HistGB分类器的内部行为,为关键预测因子(即年保费、车辆年龄和发动机功率)生成了PDPs(图1)。PDPs显示了明显的非线性效应。年保费表现出强烈的单调关系,较高的保费水平与较高的预测索赔概率相关。车辆年龄显示较新车辆的风险较高,随后中年车辆的风险趋于稳定。发动机功率显示出部分依赖性的降低,表明更强大的车辆具有更高的预测风险。虽然PDPs提供了平均边际效应的洞察,但它们并没有直接揭示预测因子之间的交互作用。因此,构建了一个深度为三的替代决策树,以提供HistGB分类器决策逻辑的简化、基于规则的近似(图2)。选择深度为三的替代决策树是为了在可解释性和近似精度之间取得平衡。评估了更深的树(深度4-5),但在R平方改进方面收益递减(从深度3的0.78增加到深度5的0.82),同时显著降低了可解释性。深度为3的树捕获了主要的层次分割(年保费、驾驶员年龄、发动机功率),同时对精算和监管目的仍然具有可理解性。这种方法遵循了保险应用中替代模型复杂性的既定指南(James等人,2021年)。替代树确定年保费为主要的分割因素,其次是驾驶员年龄和发动机功率,形成了直观的层次风险段。

4.2.2 阈值校准和验证(2022年)
鉴于MTPL保险投资组合典型的类别不平衡,分类决策不是基于默认的0.5概率阈值。相反,决策阈值是在2022年验证数据上根据最低精度约束(15%)进行校准的,反映了筛选应用中假阳性和遗漏索赔之间的现实操作权衡。得到的阈值为t=0.0715,对应于一个故意宽松的操作点。在验证集上,HistGB分类器的ROC AUC为0.703,表明了坚实的区分能力(表5)。在校准的阈值下,模型的召回率为0.384,捕获了超过三分之一的观察到的索赔,精度为0.15,F1分数为0.216。预测的阳性率(10.1%)超过了观察到的索赔率(3.9%),这与优先考虑敏感性而非严格精度的筛选策略一致。在验证集上的概率校准很强,Brier分数为0.035,预期校准误差(ECE)非常低(ECE ≈0.009),证实预测概率与观察到的索赔频率非常吻合。重要的是,PDPs和替代决策树描述了HistGB模型的相对排名和结构行为,而最终的分类结果还取决于选定的概率阈值。因此,可解释性分析与所选操作点是互补的,但独立于操作点。

4.2.3 超时测试结果(2023-2024年)
在2022年验证数据上校准的决策阈值被固定并应用于2023-2024年的超时测试期。正如时间推移和索赔发生率下降所预期的那样,模型在较新的投资组合中的性能恶化。ROC AUC下降到0.625,表明与验证期相比区分能力降低(表5)。在固定阈值下,HistGB分类器的召回率为0.322,显著优于随机森林基线在索赔检测方面的表现,而精度下降到0.041,表明假阳性的数量增加。由此产生的F1分数为0.073,说明了在低发生率保险设置中敏感性和精度之间的固有权衡。预测的阳性率增加到15.9%,而观察到的索赔率约为2.0%,表明采取了过于激进的筛选制度。校准质量仍然可以接受,但相对于验证期有所下降。预期校准误差增加到大约0.040,表明在时间变化下对预测概率的信心略有增加。这个ECE从验证期的0.009增加到0.040,突出了在分布漂移下保持校准的挑战,这在索赔模式随时间演变的保险应用中是一个已知的限制(Grize等人,2020年)。建议定期重新校准以适应操作部署。

逐年分解的校准显示由于时间推移而逐渐衰减。虽然Brier分数从2022年的0.035下降到2023年的0.028,再到2024年的0.023,但预期校准误差分别从0.009增加到0.028和0.064,这表明概率估计与观察结果之间的对齐程度随时间恶化。下载:下载高分辨率图像(231KB)下载:下载全尺寸图像图1. HistGB分类器的部分依赖图。下载:下载高分辨率图像(480KB)下载:下载全尺寸图像图2. 用于近似HistGB分类器的替代决策树。表5. 在基于2022年校准的阈值下,HistGB在时间感知评估中的性能。数据集时期阈值准确率召回率F1分数ROC AUCAU PRCBrierECE阳性率预测阳性率验证20220.0710.8900.1500.3840.2160.7030.2000.0350.0090.0390.101测试(OOT)20230.0710.8490.0630.3360.1060.6450.0990.0280.0280.0260.142测试(OOT)20240.0710.8000.0080.2080.0150.5470.0080.0230.0640.0070.195测试(OOT)2023–20240.0710.8340.0410.3220.0730.6250.0530.0260.0400.1594.3. XGBoost模型实现和基于SHAP的可解释性(时间感知视角)除了随机森林和Hist梯度提升外,由于XGBoost在理论基础、鲁棒性以及在精算和金融风险建模中的广泛应用,它也被纳入了建模框架。XGBoost特别以其捕捉复杂非线性交互的能力以及与SHAP等高级可解释性技术的兼容性而闻名。该模型使用与先前模型相同的时间感知验证方案进行了评估。训练数据来自2016-2021年的MTPL保险合同;2022年专门用于分类阈值的校准,2023-2024年作为超时测试集。这确保了模型估计、阈值选择和最终性能评估之间的严格时间分离。为了完整性,表7报告了在校准阈值下验证和超时测试期间的混淆矩阵。表6. 在基于2022年校准的阈值下,XGBoost在时间感知评估中的性能。数据集时期阈值准确率召回率F1分数ROC AUCAU PRCBrierECE阳性率预测阳性率验证20220.4090.8920.1500.3740.2140.7020.2040.0870.2060.0390.098测试(OOT)20230.4090.8560.0630.3190.1050.6390.0980.1010.2370.0260.135测试(OOT)20240.4090.8090.0080.2110.0160.5570.0080.1260.2840.0070.187测试(OOT)2023–20240.4090.8410.0410.3070.0720.6220.0540.1090.2520.0200.152表7. 在校准阈值下XGBoost的混淆矩阵。验证集(2022年)实际0(无索赔)实际1(有索赔)预测086,5702430预测182401454超时测试集(2023–2024年)实际0(无索赔)实际1(有索赔)预测0120,1322020预测120,9398944.3.1. 预测性能和在框架内的角色鉴于数据中的严重类别不平衡,分类决策不是基于0.5的默认概率阈值。相反,阈值是在2022年验证集上根据至少15%的精度约束进行校准的,这与随机森林和HistGB使用的操作假设一致。得到的阈值为t=0.4087,反映了XGBoost模型相对保守的概率尺度。在验证集上,XGBoost的ROC AUC为0.702,表明其判别能力与HistGB相当(表6)。在校准阈值下,模型的召回率为0.374,精确率为0.15,F1分数为0.214。预测的阳性率(9.8%)超过了观察到的索赔率(3.9%),表明这是一个以筛查为导向的操作点。然而,基于验证数据的概率校准效果不如HistGB,Brier分数为0.087,预期校准误差(ECE)相对较高(ECE ≈0.206),表明存在显著的校准误差。XGBoost在时间感知评估下的预测性能总结在表6中。4.3.2. 超时测试结果(2023–2024年)在2022年验证数据上校准的决策阈值被固定并应用于2023–2024年的超时测试期。与其他模型一样,性能随着时间推移和索赔频率的下降而恶化。ROC AUC下降到0.622,表明在较新的投资组合中判别能力降低(表6)。在固定阈值下,XGBoost分类器的召回率为0.307,几乎捕获了三分之一的观察到的索赔,而精确率下降到0.041,F1分数为0.072。预测的阳性率增加到15.2%,远高于观察到的大约2.0%的索赔率,表明这是一个具有高误报率的激进筛查机制。在校准质量方面,超时测试期间显著下降。预期校准误差增加到大约0.25,表明在时间变化下预测概率与观察到的索赔频率之间存在明显的不匹配。尽管在相同的阈值校准下,XGBoost的召回率与HistGB相当,但其较弱的校准限制了其在以筛查为导向的MTPL应用中的适用性。下载:下载高分辨率图像(240KB)下载:下载全尺寸图像图3. XGBoost模型的SHAP总结图,显示了前十个预测因子对索赔发生概率的全球重要性和方向性影响。4.3.3. 基于SHAP的可解释性分析尽管在概率校准方面存在局限性,但XGBoost通过SHAP(Shapley加性解释)分析提供了相当大的可解释性。全球SHAP总结图(图3)确定年保费、保单持有人年龄、发动机功率和车辆年龄是索赔概率最具影响力的预测因子,这与精算预期一致,并与HistGB和随机森林识别的主要风险驱动因素紧密对应。SHAP依赖图进一步揭示了明显的非线性效应和交互结构。特别是,预测风险在较高的年保费水平和发动机功率下急剧增加,而交互效应表明年轻驾驶员驾驶高功率车辆时风险增加。这些模式证实,即使在使用保守的概率术语时,XGBoost也能学习到有意义且可解释的风险机制表示。4.3.4. SHAP解释的稳定性和鲁棒性为了评估基于SHAP的解释的鲁棒性,进行了稳定性和共线性的系统分析。通过对训练数据进行五次自助法重采样,重新计算了SHAP值,并计算了每个预测因子的SHAP贡献的成对Spearman相关性。所有主要属性的中位稳定性均超过0.85,表明对抽样变化的鲁棒性很高。使用相关性分析和方差膨胀因子(VIFs)检查了潜在的多共线性。尽管一些技术变量(例如发动机功率和车辆重量)显示出中等相关性(ρ≈0.55),但所有VIF值都低于普遍接受的5的阈值。重要的是,相关预测因子在自助法折叠中显示出稳定的SHAP贡献,表明即使预测因子共享信息,模型也能一致地分配重要性。除了基于自助法的稳定性分析外,还使用特定年份的SHAP依赖图检查了关键交互模式的时间鲁棒性。特别是,分别检查了2022年、2023年和2024年发动机功率及其对模型输出的SHAP贡献之间的关系,以出生年份作为交互变量。结果依赖模式在三年中质量上是一致的。在每种情况下,发动机功率都显示出相似的非线性贡献特征,而与出生年份相关的颜色分布没有显示出主要的年份特定反转或不稳定性。尽管在发动机功率分布的上尾部观察到轻微的分散差异,但主导的解释模式随时间保持视觉上的稳定。这些发现进一步支持了所识别的SHAP交互效应不仅仅是单个年度子样本的产物,而是对时间变化具有广泛的鲁棒性(见图4)。最后,将SHAP解释与基于排列的特征重要性和部分依赖图进行了比较。所有方法都识别出了相同的主要预测因子,并且大致相似的单调或非线性模式,提供了提取的解释不是单一可解释性技术的产物的共识证据。总的来说,这些结果表明XGBoost在所提出的建模框架中发挥了补充分析作用。虽然其概率校准和保守的缩放限制了其在直接操作部署中的适用性,但其稳定且可解释的SHAP解释提供了对风险驱动因素和交互效应的宝贵见解。因此,XGBoost特别适合于模型验证、解释分析、监管沟通以及与校准更好的HistGB分类器一起用于混合或集成方法中。下载:下载高分辨率图像(315KB)下载:下载全尺寸图像图4. 以出生年份为交互变量的发动机功率的年度特定SHAP依赖图(2022–2024年)。x轴显示发动机功率的观察值,y轴显示发动机功率对模型输出的SHAP贡献,颜色尺度代表出生年份。下载:下载高分辨率图像(452KB)下载:下载全尺寸图像图5. 从历史索赔案例中学习到的一类SVM支持区域的示意图。4.4. 保险索赔的混合风险建模为了应对在严重类别不平衡的独立模型中观察到的限制,开发了一种混合风险建模架构,该架构整合了三个互补组件:(1)基于GLM的分割,(2)使用一类支持向量机(OCSVM)的异常风格建模,以及(3)通过Hist梯度提升(HistGB)模型的概率分类。每个组件在框架中扮演不同的角色:可解释性和结构风险分组(GLM)、识别类似索赔的配置(OCSVM)和非线性概率估计(HistGB)。在第一阶段,基于GLM的分割根据地区、驾驶员年龄、发动机功率和其他已建立的精算因素将保单持有人分组为统计上同质的 risk 簇。这种分割增强了可解释性,并在应用机器学习模型之前减少了异质性。在第二阶段,仅在训练期间的正类观测(索赔)上训练OCSVM模型,以学习典型索赔配置的支持区域。在预测时,OCSVM充当门控机制,确定新观测是否与历史索赔模式一致。图5展示了常见和异常案例之间的学习边界。重要的是,OCSVM不会从训练中移除观测值;相反,它通过标记类似索赔的配置来限制下游决策,从而限制了非典型特征组合的影响(Rawat等人,2021年)。在第三阶段,将HistGB分类器应用于整个数据集,以生成索赔发生的预测概率,利用PDP和SHAP分析揭示的非线性交互。最终的混合决策规则被定义为逻辑与:只有当保单被OCSVM分类为类似索赔且其HistGB预测的概率超过校准的决策阈值时,才将其标记为高风险。该混合模型使用与独立分类器相同的时间感知协议进行评估,训练数据来自2016–2021年,阈值校准在2022年,超时测试在2023–2024年。由于OCSVM的额外过滤,校准阈值在减少和偏移的概率分布上操作,因此不能直接与单模型设置中使用的阈值进行比较。实证结果表明,混合架构保持了与独立HistGB筛查机制相当的召回率,同时引入了一个可以调整以适应操作目标的明确、可解释的门控机制。正如预期的那样,性能随着时间推移和索赔频率的下降而下降,这强调了定期重新校准和成本敏感的阈值选择的必要性。总体而言,混合框架应被视为一个模块化的、以筛查为导向的决策系统,而不是概率分类器的完全优化替代品。其主要贡献在于展示了如何在适合高度不平衡的MTPL保险数据的可解释、时间感知架构中结合异常风格建模和监督概率估计。图5仅在解释目的上提供了OCSVM概念的示意图;实际的混合模型在完整的高维特征空间中操作。4.4.1. 混合OCSVM–HistGB架构和消融理由结合一类支持向量机(OCSVM)和Hist梯度提升分类器的混合架构并不是为了最大化传统的判别指标(如ROC AUC)。相反,其主要目标是引入一个明确的门控机制,在严重类别不平衡和严格的操作能力限制下约束最终决策规则。在所提出的框架中,OCSVM仅在正类实例上训练,充当异常检测器,识别偏离历史索赔模式的观测值。相比之下,HistGB分类器在整个投资组合上提供校准的概率估计。只有当合同同时满足以下两个条件时,才将其标记为高风险:(i)它被OCSVM分类为异常;(ii)其预测的索赔概率超过校准的决策阈值。这种逻辑与强制了一种保守的决策策略。从消融的角度来看,各个组件扮演不同的角色。单独的HistGB提供了强大的概率排名,但在低阈值下可能会标记相对较多的合同,而单独的OCSVM对非典型模式敏感,但缺乏概率可解释性。混合模型通过要求基于异常的信号和基于概率的信号之间的一致性,降低了有效的标记率。因此,混合架构优先考虑精确性和操作控制,而不是总体判别指标的边际增益。重要的是,混合方法的价值在于其决策透明度,而不是在标准基准上优于独立分类器。明确的门控逻辑允许从业者独立调整异常敏感性和概率阈值,提供了一种灵活的机制,以使模型输出与监管限制、筛查能力和风险偏好保持一致。由于这个原因,混合模型应该被解释为建立在概率分类之上的决策支持层,而不是替代底层的HistGB模型。从经验来看,混合模型在离线测试集上的召回率与独立的HistGB分类器相当,同时标记的合同子集较小,这证实了它适用于保守的筛选场景。

5. 结果
5.1. 使用对比分析进行保单持有人分段的结果
基于GLM的分段结合对比分析产生了统计上可区分且精算上有意义的保单持有人群体。这些群体在索赔倾向和关键风险因素的分布上存在显著差异,特别是驾驶员年龄、车辆特性和地理位置。这一分段步骤为投资组合提供了一个透明的结构视图,并在应用机器学习模型之前减少了异质性。驾驶员年龄是索赔发生的最强预测因素之一。25岁或以下的保单持有人的索赔频率最高;26-55岁的群体属于中等风险;56岁及以上的保单持有人的风险最低。高端汽车品牌(如宝马、奔驰、奥迪)的索赔频率明显高于主流品牌(p<0.05)。此外,大城市的居民的索赔频率比小城镇或农村地区的保单持有人高出约25%(p<0.01)。发动机功率与索赔频率呈强正相关,而车辆重量则显示出弱负相关。
从预测的角度来看,分段步骤通过减少由风险特征不均引起的噪声,提高了下游模型的稳定性。当作为预处理阶段应用时,分段将误报率降低了约28%,并在后续的分类实验中提高了13个百分点的精确度。这些结果表明,基于GLM的分段不仅提高了可解释性,还通过确保风险同质的输入群体,改善了下游机器学习模型的校准和稳定性。
5.2. 机器学习模型性能评估
机器学习模型使用时间感知框架进行评估,模型训练基于2016-2021年的数据,阈值校准在2022年进行,最终评估在覆盖2023-2024年的离线(OOT)测试集上进行。性能评估使用了精确度、召回率、F1分数、ROC AUC、AUPRC和校准指标(Brier分数和预期校准误差),这些指标在高度不平衡的MTPL数据集上比准确性更有信息量。在整个OOT测试期间,随机森林、XGBoost、HistGB和混合OCSVM–HistGB模型的区分能力相当,ROC AUC值集中在0.62-0.63之间(表8)。这种收敛表明,在时间漂移和索赔发生率下降的情况下,不同模型之间的差异小于数据生成过程随时间变化引起的差异。因此,模型选择本身对运营性能的影响有限,相比之下,阈值政策和筛选能力更为重要。
使用部分依赖图和SHAP值进行的可解释性分析一致地指出,年保费、驾驶员年龄、发动机功率和车辆年龄是索赔概率的主要预测因素。这些发现与精算直觉一致,并证实机器学习模型捕捉到了有意义的非线性风险结构,而不仅仅是虚假的相关性。
校准分析显示模型之间存在显著差异。HistGB和混合模型在OOT测试集上产生了校准良好的概率估计,Brier分数较低(≈0.026–0.027),ECE值约为0.04(表9)。相比之下,XGBoost的校准效果明显较差(Brier ≈0.109;ECE ≈0.25),尽管ROC AUC相似,但仍表明其概率估计过于自信。这一结果强调了仅凭区分指标不足以评估基于阈值的承保决策的运营适用性。
还进行了敏感性分析,以考察不同的最低精确度约束如何影响混合OCSVM–HistGB模型的召回率和运营负担。将精确度下限降低到10%使OOT测试集上的召回率提高到0.404,但同时也使预测的阳性率增加到0.245,表明标记的投资组合显著扩大。将精确度下限提高到20%使预测的阳性率降低到0.101,但召回率下降到0.243。15%的精确度下限达到了一个折中的运营点(召回率=0.294;预测阳性率=0.147),代表了在索赔检测和运营筛选能力之间的实际平衡。这些结果证实了在不平衡筛选应用中,敏感性和下游审查负担之间的预期权衡。
表8总结了OOT测试集上的主要分类指标,而表9将比较扩展到对不平衡敏感和以校准为重点的指标。表10展示了混合OCSVM–HistGB模型不同精确度下限的敏感性分析(见表11)。
表8. 离线测试集(2023–2024年)上的模型比较
模型 精确度(1) 召回率(1) F1(1) ROC AUC
随机森林 0.88 10.04 0.24 0.07 0.618
XGBoost 0.84 10.04 10.30 0.07 0.622
HistGB 0.83 0.04 10.32 0.07 0.625
混合模型(SVM + GB) 0.84 0.04 10.29 0.07 0.626
表9. 在时间感知评估(OOT)下模型的性能比较
模型 数据集 精确度(1) 召回率(1) F1(1) ROC AUC AUPRC Brier分数 ECE 预测阳性率
随机森林 OOT测试 0.04 0.07 10.05 0.618 0.053 0.029 0.041 0.020
XGBoost OOT测试 0.04 10.30 0.07 0.622 0.054 0.109 0.252
HistGB OOT测试 0.04 10.32 0.07 0.625 0.053 0.026 0.040 0.159
混合模型(OCSVM + HistGB) OOT测试 0.04 10.29 0.07 0.626 0.055 0.027 0.040 0.147
表10. 混合OCSVM–HistGB模型不同精确度下限的敏感性分析
最低精确度下限 值 精确度 召回率 值 预测阳性率
10% 0.05 0.10 0.44 0.17 0.03 0.40 0.245
15% 0.07 10.15 0.35 0.09 0.04 0.29 0.147
20% 0.09 0.20 0.29 0.05 0.04 0.243 0.101
表11. 基于GLM的分段和基于ML的混合建模的概念比较
标准 GLM + 对比分析 混合模型(OCSVM + HistGB)
主要目的 风险分段和结构解释 风险筛选和基于概率的分类
分段方法 统计指导、专家驱动的分组 完全数据驱动的学习
可解释性 非常高(显式系数、对比) 中等到高(SHAP、PDPs、替代树)
性能指标 McFadden的伪R2 = 0.71 ROC AUC(OOT)≈0.625 概率校准 不适用 良好(Brier ≈0.027, ECE ≈0.04)
非线性关系建模 有限 强
可扩展性 中等 优秀
运营用途 定价、监管报告 筛选、早期风险检测

5.3. 实际意义
结果表明,所提出的混合建模框架为MTPL保险提供了方法论和运营价值。通过整合基于GLM的分段、异常检测和梯度提升分类,该框架平衡了可解释性、概率校准和筛选效果。可解释性工具如SHAP、PDPs和替代树提供了对个别风险驱动因素的可操作洞察,支持有针对性的承保行动和投资组合监控。从监管角度来看,基于GLM的分段确保了透明度,而ML组件增加了灵活性和预测能力。局限性包括依赖于单一保险公司的数据、对分类预处理的敏感性以及缺乏先进的重采样技术。未来的研究可以探索领域受限的生成模型或序列架构,前提是保持可解释性。

6. 结论
本研究调查了统计建模和机器学习技术在MTPL保险中预测索赔发生情况的整合。结果表明,基于GLM的分段结合现代ML分类器产生了一个健壮、可解释且具有运营可行性的框架。虽然时间感知评估显示时间漂移显著限制了模型之间的区分能力,但校准良好的概率估计和以决策为导向的评估对于实际应用至关重要。消融分析证实,所提出的OCSVM–HistGB混合模型主要不是通过提高整体区分能力来改进性能,而是通过减少标记的投资组合规模来提供运营控制。所提出的混合方法展示了如何结合统计透明度和机器学习灵活性,以实现受监管保险环境中的可解释、风险意识决策。

CRediT作者贡献声明
Peter Schmidt:概念化、方法论、撰写——原始草稿、监督。
Silvia Zelinová:形式分析、数据整理、撰写——审阅与编辑。
Zsolt Simonka:验证、撰写——审阅与编辑。
Michal Závodny:调查、软件、可视化。
L’udovít Pinda:方法论、形式分析。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号