从0开始学习机器学习：高级优化与多元分类问题详解
从0开始学习机器学习：高级优化与多元分类问题详解
在机器学习领域，优化算法的选择和多元分类问题的解决是两个核心议题。本文将介绍几种高级优化方法，并探讨如何通过一对多策略解决复杂的多元分类问题。
高级优化（Adcanced optimization）
在之前我们运用梯度下降算法来最小化代价函数的过程中，一共要计算两个东西：代价函数的值以及代价函数对于每一个参数的偏导，从而运用到梯度下降的公式中供其更新。
事实上，梯度下降并不是唯一能用在逻辑回归上的算法，同样是通过计算代价函数的值以及代价函数对于每一个参数的偏导来优化，共轭梯度法，BFGS和L-BFGS就是其中一些比较高级的算法。这些算法有许多优点，例如，它们不需要手动选择学习率，在这些算法的内部有一个智能内循环，会自动尝试不同的学习率并选择一个好的学习率，甚至能做到为每次迭代都选择一个不同的学习率来，这使得它们可以比梯度下降更快收敛到最小值。当然，它们的区别也很明显，这些算法比梯度下降要复杂得多，其次使用它们的前提是掌握数值计算等相关知识，这让其使用门槛变得很高。
多元分类问题（Multi-class classfication: One-vs-all）
多类别分类问题，简单来说，像对邮件进行分类，将其放入四个不同的文件夹中；一个鼻塞的病人来到诊所，需要对他进行诊断到底是生病了、着凉了还是得了流感；亦或是对天气进行分类，弄清楚哪些天是晴天、多云、雨天或下雪天。在这些例子中，y的取值能取到1到3或1到4的离散值，这就是多类别分类问题。
在二元分类问题中，我们通常会用一条直线来作为决策边界区分两种不同样本，那么在多类别的情况下我们该怎么处理呢？
一对多情况下分类构造假设函数来解决问题
其实跟之前的道理一样，我们只需要将其中一种情况当做正类，其他几类全当做负类就可以了，通过构造多个假设函数，我们会得到每种情况的概率以及参数，从而像二元分类问题一样解决多元分类问题。
学习内容来自于b站吴恩达大佬课程：
https://www.bilibili.com/video/BV1By4y1J7A5?spm_id_from=333.788.player.switch&vd_source=867b8ecbd62561f6cb9b4a83a368f691&p=1