最大似然估计(极大似然估计)
最大似然估计(极大似然估计)
最大似然估计是统计学中一种重要的参数估计方法，广泛应用于机器学习和数据科学领域。本文通过一个简单的抛硬币实验，详细解释了最大似然估计的基本原理和计算过程，帮助读者理解如何从观测数据中估计模型参数的最可能值。
最大似然估计
- 概率与似然
- 概率
- 似然
- 最大似然估计
概率与似然
对于最大似然估计我们使用最简单的抛硬币问题来进行讲解
概率
当我们抛一枚硬币的时候,就可以去猜测抛硬币的各种情况的可能性,这个可能性就称为概率
一枚质地均匀的硬币,在不考虑其他情况下是符合二项分布的,即正面和翻面的概率都是0.5,那么我们抛10次硬币5次正面在上面的概率为:
$$
P(5次正面朝上) = C^5_{10}0.5^5(1-0.5)^5 = 0.24609375 \approx 0.25
$$
似然
但是现实生活中,我们并不知道硬币是否均匀,那么我们就需要通过多次抛硬币来推测硬币是否均匀或者说推测硬币每一面朝上的概率,这就是似然
最大似然估计
那么什么是最大似然估计(又称极大似然估计)呢?
所谓的最大似然估计其实就是假设硬币正面朝上的概率,然后计算实验结果的概率是多少,概率越大,那么这个假设的概率越可能是真的。
假设我们投了10次硬币,其中有6次正面朝上,那么我们根据这个实验结果对其进行假设
我们可以先假设正面朝上的概率为0.5,那么达到实验结果的概率为:
$$
P = C^6_{10}0.5^6(1-0.5)^4 = 0.205078125 \approx 0.21
$$
我们还可以假设正面朝上的概率为0.6,那么达到实验结果的概率为
$$
P = C^6_{10}0.6^6(1-0.6)^4 = 0.25082265600000003 \approx 0.25
$$
那么我们就可以说,正面朝上的概率为0.6要比0.5的更有可能。
当然,我们仅仅比较这两种情况是不够的,我们需要将所有的情况都进行对比,然后求出最大的可能性。
接下来我们使用作图的方法来看一下最有可能的取值
根据上图我们可以看出，可能性最大的应该是正面概率为0.6的时候。
以上通过实验结果，然后对相应的概率进行假设，从而得到最有可能造成测试结果的概率的过程，就称为最大似然估计