当你想使用预测概率作为医学预测模型的结果

当你想使用预测概率作为医学预测模型的结果

引用

CSDN

1.

https://blog.csdn.net/skyskytotop/article/details/139339206

当你想使用预测概率作为医学预测模型的结果

分类预测模型的预测结果有两种。一种是直接判断是哪一类，这种情况下唯一可以调节的就是决策阈值，或者是默认的0.5，也可以是参数确定的决策阈值，比如约登指数，没有太多可以说的。另一种是使用预测概率作为预测结果，其大小代表了发生阳性结果的可能性的大小。几个思考和大家讨论。

当你想使用预测概率作为医学预测模型的结果

1. 确认模型具有一个良好的校准曲线，也就是预测值贴近理想曲线，这代表预测概率没有高估或者低估阳性事件实际的发生概率。从数据方面来说，不平衡数据，也就是结局变量中阳性结果偏低，会容易发生校准曲线不佳的情况；算法方面，线性模型往往具有较好的校准曲线，而树形模型的校准曲线往往较差，从这一点上说，建议选择逻辑回归等线性模型，还可以尝试堆叠聚合模型（逻辑回归+随机森林）来获得一个良好的校准曲线。

2. 后概率校准可以一定程度上改善校准曲线。如果发现模型的校准曲线不佳，可以考虑使用后概率校准方法来校准预测概率。Python的scikit-learn库和R语言probably库都在对后概率校准提供了丰富的参数。需要提醒的是，后概率校准也是要在训练集上训练，然后应用到测试集上，包括个体的预测值。

3. 采用临床决策曲线分析（DCA）来确定决策阈值。因为使用了预测概率作为模型预测的结果，还是需要一个阈值来决定哪些患者是阳性的，需要采取相应的措施，但是使用预测概率的好处就是预测阈值不是固定的，可以根据实际情况随时变化，这更能适合临床实践过程中复杂多变的情况。DCA分析中就是通过医生和患者对后续措施的危害和收益的考量来确定个性化的决策阈值，比如，模型预测为阳性结果后的结果是进行手术，如果患者和医生考量坏处和收益的比值是1:10，那么决策阈值就是0.1，如果预测概率大于0.1，即可考虑进行手术，对于其它的患者和医生可以接受的危害收益比值可能是0.2，那么预测概率为0.1，就不考虑进行手术。

最后

使用预测概率作为模型的预测结果，这时候校准曲线是比其它指标（比如准确度）等更优先的指标，并不要求模型具有非常高的准确度才可以进入到临床实践，因为我们可以通过改变决策阈值来调节临床的收益。DCA最有用的地方是确定决策阈值，而不是评价模型的优劣，虽然它用于评价模型的优劣也是不错的指标。我们在和鲸社区建立了一个R代码的演示，欢迎大家参考。