回归损失和分类损失

回归损失和分类损失

引用

CSDN

1.

https://blog.csdn.net/Oxford1151/article/details/140273079

回归损失和分类损失是机器学习模型训练过程中常用的两类损失函数，分别适用于回归任务和分类任务。

回归损失函数

回归任务的目标是预测一个连续值，因此回归损失函数衡量预测值与真实值之间的差异。常见的回归损失函数有：

1. 均方误差（Mean Squared Error, MSE）

• 计算预测值与真实值之间差的平方的平均值。
• 对于误差较大的样本，MSE 会给予更高的惩罚，因此对异常值较为敏感。
• 数学表达式：
  

应用场景示例：在房价预测任务中，MSE 可以帮助模型快速收敛到一个相对准确的预测值，但异常高价或低价的房屋数据可能会对模型产生较大影响。

2. 均方根误差（Root Mean Squared Error, RMSE）

• 是均方误差的平方根，具有与预测值和真实值相同的单位。
• 数学表达式：
  $$RMSE = \sqrt{\frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2}$$

应用场景示例：在天气预报中，RMSE 可以帮助评估温度预测的准确性，其单位与温度相同，便于直观理解误差大小。

3. 平均绝对误差（Mean Absolute Error, MAE）

• 计算预测值与真实值之间绝对差的平均值。
• MAE 对异常值不如 MSE 敏感。
• 数学表达式：
  $$MAE = \frac{1}{n}\sum_{i=1}^{n}|y_i - \hat{y}_i|$$

应用场景示例：在股票价格预测中，MAE 可以帮助模型更好地处理异常波动，避免被极端值过度影响。

4. Huber损失（Huber Loss）

• 结合了MSE和MAE的优点，对异常值具有一定的鲁棒性。
• 数学表达式：
  $$
  HuberLoss =
  \begin{cases}
  \frac{1}{2}(y_i - \hat{y}_i)^2 & \text{if } |y_i - \hat{y}_i| < \delta \
  \delta (|y_i - \hat{y}_i| - \frac{1}{2}\delta) & \text{otherwise}
  \end{cases}
  $$

应用场景示例：在自动驾驶中，Huber损失可以平衡对正常行驶数据和异常情况（如突发障碍物）的处理，提高模型的鲁棒性。

分类损失函数

分类任务的目标是预测一个类别标签，因此分类损失函数衡量预测的概率分布与真实标签分布之间的差异。常见的分类损失函数有：

1. 二元交叉熵（Binary Cross-Entropy, BCE）

• 适用于二分类问题。
• 衡量真实标签与预测概率之间的差异。
• 数学表达式：
  $$BCE = -\frac{1}{n}\sum_{i=1}^{n}[y_i\log(\hat{y}_i) + (1-y_i)\log(1-\hat{y}_i)]$$

应用场景示例：在垃圾邮件分类中，BCE 可以帮助模型准确区分垃圾邮件和正常邮件。

2. 多元交叉熵（Categorical Cross-Entropy, CCE）

• 适用于多分类问题。
• 衡量真实标签的一个热编码与预测概率分布之间的差异。
• 数学表达式：
  $$CCE = -\frac{1}{n}\sum_{i=1}^{n}\sum_{j=1}^{C}y_{ij}\log(\hat{y}_{ij})$$

应用场景示例：在图像分类任务中，CCE 可以帮助模型区分不同类别的图像。

3. 稀疏分类交叉熵（Sparse Categorical Cross-Entropy, SCCE）

• 适用于多分类问题，但真实标签不是一个热编码，而是一个整数索引。
• 数学表达式与CCE相同，但真实标签是整数索引而不是一个热编码。

应用场景示例：在手写数字识别中，SCCE 可以直接处理0-9的数字标签，无需转换为one-hot编码。

4. Kullback-Leibler散度（Kullback-Leibler Divergence, KL Divergence）

• 衡量两个概率分布之间的差异。
• 常用于强化学习和生成模型中。
• 数学表达式：
  $$KL(P||Q) = \sum_{i}P(i)\log\left(\frac{P(i)}{Q(i)}\right)$$
  其中 P是真实分布， Q是预测分布。

应用场景示例：在生成对抗网络（GAN）中，KL散度可以衡量生成的图像分布与真实图像分布之间的差异。

选择损失函数的建议

• 如果你的任务是预测连续值，选择回归损失函数，如MSE 或 MAE。
• 如果你的任务是分类，选择分类损失函数，如BCE 或 CCE。
• 具体选择哪种损失函数，还需根据任务的特点和数据的分布来确定。MSE 对异常值敏感，而 MAE 较为鲁棒；交叉熵损失函数适用于概率预测，而 KL 散度则适用于比较概率分布。