推荐系统中回归任务常用损失函数

推荐系统中回归任务常用损失函数

在推荐系统中，回归任务是一个常见的应用场景，例如预测用户对某项内容的评分、预测点击率等。而损失函数作为模型训练的核心组件，其选择和优化对最终的预测效果有着至关重要的影响。本文将介绍几种常用的回归任务损失函数，帮助读者更好地理解它们的特点和适用场景。

1. MSE（均方误差损失）

优点：

1. 收敛快

缺点：

1. 假设了样本服从正态分布，如果训练样本label不服从正态分布，则MSE并非最大似然估计
2. 对异常点很敏感

2. MAE（平均绝对误差损失）

优点：不容易受异常值影响

缺点：收敛速度慢，拟合能力弱

3. Huber Loss

Huber Loss结合了MSE和MAE的优点，对于小误差采用MSE，对于大误差采用MAE，从而在一定程度上解决了MSE对异常点敏感的问题。

4. WCE（Weighted Cross Entropy）

优点：把回归任务转化成了更容易学习的二分类任务

缺点：

1. WCE loss在低估（y'<y）和高估（y'>y）时梯度不是对称的，低估时梯度很大，高估时梯度很小，很容易导致模型高估
2. 假设了样本分布服从几何分布，如果样本分布不是几何分布，可能导致效果不好

5. softmax+logloss

训练阶段：对label分桶，把回归问题转为多分类问题

serving阶段：落在每个桶的概率*桶均值（中位数）

优点：避免了原始回归问题对样本概率分布的先验假设，可以拟合任意概率分布

缺点：

1. 需要合理的对label分桶
2. 分桶方式太hard，连续桶交接处的loss变化过大

6. Ordinal Regression

参考论文《Deep Ordinal Regression Network for Monocular Depth Estimation》

Ordinal Regression是一种特殊的回归方法，它将回归问题转化为有序分类问题。这种方法在处理深度估计等任务时表现出色，因为它能够更好地处理连续值的预测问题。

通过对比这些损失函数，我们可以根据具体的应用场景和数据特点选择最适合的损失函数，从而优化模型的预测效果。