了解超参数优化

了解超参数优化

构建机器学习解决方案涉及测试许多不同的模型。 让我们来探讨两个概念，它们可以帮助找到最佳模型：

• 超参数优化
• 交叉验证

超参数优化

超参数是机器学习算法中使用的一个参数，在学习过程开始前设置。换言之，机器学习算法不能从数据本身学习超参数。 超参数是通过训练多个模型进行测试和验证的。 常见的超参数包括迭代次数和模型复杂性。 超参数优化是选择对我们的损失函数具有最佳效果的超参数的过程，也可以说是我们对算法错误的惩罚方式。

交叉验证

根据相同的数据训练和评估模型时，可能会导致过度拟合。 过度拟合是指模型在它已经查看的数据上性能良好，但无法根据尚未查看的数据做出任何有用的预测。 若要避免过度拟合，可以使用训练/测试拆分方法，将数据集分为用于训练模型的训练集和用于评估模型在未查看数据上的性能的测试集。

如果你使用不同的超参数训练许多不同的模型，然后在测试集上评估它们的性能，你仍然会面临过度拟合的风险，因为你可能会选择一个恰好在数据集中的数据上性能最佳的超参数。 若要解决在使用超参数时的过度拟合问题，可以使用训练集的 k 子集来训练模型，这是一个称为“k-折交叉验证”的过程。 然后，基于训练数据的 k-1 个折叠训练模型，并使用最后一个折叠来评估其性能。

在 Azure Databricks 中，有两种优化超参数的方法，下面的各单元中将对此进行介绍：

• 自动化 MLflow 跟踪。
• 使用 Hyperopt 进行超参数优化。