最大似然估计详解：从基本概念到具体应用

最大似然估计详解：从基本概念到具体应用

最大似然估计是统计学中的一个重要概念，广泛应用于参数估计、模型训练等领域。本文将通过具体例子和详细推导，帮助读者深入理解最大似然估计的基本原理和应用方法。

文档简介

第二节最大似然估计1
最大似然法(TheMethodofMaximumLikelihood),也叫极大似然法,它最早是由高斯所提出的,后来由英国统计学家费歇(R·A·Fisher)于1912年在其一篇文章中重新提出,并且证明了这个方法的一些性质.极大似然估计这一名称也是费歇给的.它是建立在极大似然原理的基础上的一个统计方法.为了对极大似然原理有一个直观的认识,我们先来看几个例子.2
最大似然法的基本思想
先看一个简单例子：一只野兔从前方窜过.是谁打中的呢？某位同学与一位猎人一起外出打猎.如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下.3
下面我们再看一个例子,进一步体会最大似然法的基本思想.
你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.
这个例子所作的推断已经体现了最大似然法的基本思想.4设有外形完全相同的两个箱子,甲箱有99个白球1个黑球,乙箱有1个白球99个黑球.今随机地抽取一箱,然后再从这箱中任取一球,结果发现是白球.问这球是从哪一个箱子中取出的?分析导致结果是白球的原因有两个,一个是这球从甲箱取的,另一个就是这球从乙箱取的.如果是从甲箱取的,则取得白球的概率为99%;如果是从乙箱取的,则取得白球的概率为1%,由此看到,这球是从甲箱中取出的概率比从乙箱中取出的概率要大得多,因此很自然的,我们认为结论“这球是从甲箱中取出的”比结论“这球是从乙箱中取出的”要合理得多.最后我们作出推断,这球是从甲箱取出的.5
最大似然估计法的基本思想：根据样本值来选择参数，使该样本发生的概率最大.具体做法如下：
为“似然函数”.
6
(4)在最大值点的表达式中,用样本值代入就得参数的极大似然估计值.求最大似然估计(MLE)的一般步骤是：(1)由总体分布导出样本的联合概率函数(或联合密度);(2)把样本联合概率函数(或联合密度)中自变量看成已知常数,而把参数看作自变量,得到似然函数L();(3)求似然函数L()
的最大值点(常常转化为求lnL()的最大值点)，即
的MLE;7例1解设总体
X
服从指数分布，其密度函数为
似然函数为得8例2解令9令解得10例3解的密度函数为似然函数为
1112例4解下面再举一个离散型总体