资讯

历史

科技

环境与自然

成长

游戏

财经

文学与艺术

美食

健康

家居

文化

情感

汽车

三农

军事

旅行

运动

教育

生活

星座命理

指数加权平均：深度学习中的局部平均值计算方法

创作时间:

作者:

@小白创作中心

指数加权平均：深度学习中的局部平均值计算方法

引用

CSDN

https://blog.csdn.net/qq_34222839/article/details/146162021

指数加权平均（Exponential Weighted Average）是深度学习中一个重要的基础概念，它能够帮助我们计算局部平均值，从而更好地描述数值的变化趋势。本文将通过具体的例子，深入浅出地解释指数加权平均的计算方法、作用以及偏差修正的重要性。

1. 指数加权平均

指数加权平均在统计学中也被称为指数加权移动平均。通过它可以计算局部的平均值，来描述数值的变化趋势。

假设我们现在有一年中每一天的温度数据，将其绘制为散点图如下：

构造等式如下：

$V_0 = 0$
$V_1 = 0.9V_0 + 0.1\theta_1$
$V_2 = 0.9V_1 + 0.1\theta_2$
$V_3 = 0.9V_2 + 0.1\theta_3$
…
$V_t = 0.9V_{t-1} + 0.1\theta_t$

其中，$\theta_t$ 表示第t天的温度。

然后依旧以天数作为横轴，求得的指数加权平均$V_t$作为纵坐标，得到如下红线：

我们将上述公式写的更加泛化一点：
$$V_t = \beta V_{t-1} + (1-\beta) \theta_t$$

在之前的例子中，$\beta = 0.9$。其中$V_t$可近似理解为最近$\frac{1}{1-\beta}$天的平均温度。

现在我们来考虑下$\beta$过大和过小时的情况。

如果有$\beta = 0.98$，会得到下图的绿线：

因为$\beta = 0.98$相当于可近似为近$\frac{1}{1-0.98}=50$天的平均温度，所以绿线要比红线更为平滑。此外，因为当天温度的权值只有0.02，所以在温度变化时，绿线适应数据也更缓慢一些，会有一定延迟，因此绿线相比红线出现了右移的情况。

如果有$\beta = 0.5$，会得到下图的黄线：

由于仅平均了两天的温度，所以得到的曲线有更多的噪声，更有可能出现异常值。但是这个曲线能够更快适应温度变化。

综上所述，选择一个不大不小的、合适的$\beta$能够更好的计算平均。

2. 指数加权平均的作用

假设我们现在计算近100天温度的指数加权平均（$\beta = 0.9$）：

$V_{100} = 0.9V_{99} + 0.1\theta_{100}$
$V_{99} = 0.9V_{98} + 0.1\theta_{99}$
$V_{98} = 0.9V_{97} + 0.1\theta_{98}$
$V_{97} = 0.9V_{96} + 0.1\theta_{97}$
…

带入可求得：

\begin{align*}
V_{100} & = 0.1\theta_{100} + 0.9V_{99} \
& = 0.1\theta_{100} + 0.10.9\theta_{99} + 0.9^2V_{98} \
& = 0.1\theta_{100}+0.10.9\theta_{99}+0.10.9^2\theta_{98}+0.9^3V_{97} \
& = 0.1\theta_{100}+0.10.9\theta_{99}+0.10.9^2\theta_{98}+......+0.10.9^{99}\theta_1
\end{align*}

我们可以看到$V_{100}$是对过去一百天温度的指数加权平均。其权值呈指数衰减：

并且这些权值加起来等于1或接近于1。但是距离越远的天数权值越小，计算时意义不大，因此通常省略权值小于最大权值$\frac{1}{e}$的项。

本例中最大权值为0.1，则：

$$0.1*\frac{1}{e}\approx 0.1* 0.9^{10}$$

即省略$\theta_{90}$之前的天数，所以对应于第1部分中提到的，$V_{100}$通常被近似为近$\frac{1}{1-0.9}=10$天的加权平均温度。

同理，当$\beta = 0.98$时，有$0.98^{50}\approx \frac{1}{e}$，此时，$V_{100}$被近似为近50天内的气温加权平均值。

根据极限的公式：$\lim_{x\to 0} (1-x)^{\frac{1}{x}}=\frac{1}{e}$，当$x = 1 - \beta$时，有$\beta^{\frac{1}{1-\beta}}\approx \frac{1}{e}$。因此我们就可以总结出指数加权平均可近似为近$\frac{1}{1-\beta}$天的平均温度。