Dropout作为贝叶斯近似：深度学习中的模型不确定性表示
Dropout作为贝叶斯近似：深度学习中的模型不确定性表示
深度学习在回归和分类任务中取得了巨大成功，但如何量化模型的不确定性一直是一个挑战。本文提出了一种创新的视角，将Dropout训练解释为深度高斯过程中的贝叶斯近似，从而为深度学习模型提供了表示不确定性的工具。这一发现不仅保持了计算效率，还显著提高了模型的预测性能。
摘要
深度学习工具在应用机器学习领域受到了极大的关注。然而，这些用于回归和分类的工具并没有捕捉到模型的不确定性。相比之下，贝叶斯模型提供了一个基于数学的框架来推理模型的不确定性，但通常会带来令人望而却步的计算成本。本文提出了一种新的理论框架，将深度神经网络中的dropout训练作为深度高斯过程中的近似贝叶斯推理。该理论的一个直接结果是为我们提供了用dropout神经网络来模拟不确定性的工具——从现有的模型中提取信息，这些信息到目前为止已经被抛弃了。这在不牺牲计算复杂性或测试准确性的情况下减轻了深度学习中表示不确定性的问题。我们对dropout不确定性的性质进行了广泛的研究。以MNIST为例，对回归和分类任务的各种网络结构和非线性进行了评估。与现有的最先进的方法相比，我们在预测对数似然和RMSE方面取得了相当大的进步，并通过消除深度强化学习中dropout的不确定性来完成。
论文：
Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning
作者：Yarin Gal Yarin Gal
单位：University of Cambridge
Dropout作为贝叶斯近似
我们表明，具有任意深度和非线性的神经网络，在每个权重层之前应用dropout，在数学上相当于概率深度高斯过程的近似值(Damianou & Lawrence, 2013)(在其协方差函数参数上被边缘化)。我们要强调的是，在文献中没有对dropout的使用进行简化假设，并且推导出的结果适用于任何使用dropout的网络架构，正如它在实际应用中出现的那样。此外，我们的研究结果也适用于其他类型的dropout。我们表明，dropout目标实际上最小化了近似分布和深度高斯过程的后验之间的Kullback-Leibler散度(在其有限秩协方差函数参数上被边缘化)。
对于dropout，我们对每个输入点和每层(除了最后一层)的每个网络单元的二进制变量进行采样。对于第1层，每个二进制变量的取值为1，概率为pi。对于给定的输入，如果对应的二进制变量的取值为0，则丢弃一个单位(即其值设置为0)。我们在反向传递中使用相同的值将导数传播到参数。
在附录的第3节和第4节中，我们展示了具有L层和协方差函数K(x, y)的深度高斯过程可以通过在gp协方差函数的谱分解的每个分量上放置变分分布来近似。这种光谱分解将深度GP的每一层映射到显式表示的隐藏单元层，下面将简要解释。
让每一行Wi按照上面的p(w)分布。假设每个GP层的维数为Ki的向量mi。当精度参数τ> 0时，深度GP模型(有限秩协方差函数参数ω)的预测概率可参数化为
方程(2)中的后验分布p(ω|X, Y)是不可处理的。我们使用q(ω)，一个列随机设为零的矩阵上的分布，来近似可处理后验。我们定义q(ω)为:
给出一些概率pi和矩阵Mi作为变分参数。二进制变量z_i,j =0对应于第i层的单位j 变分分布q(ω)是高度多模态的，在矩阵Wi的行(对应于稀疏频谱GP近似中的频率)上引起强联合相关性。
我们最小化上面的近似后验q(ω)和全深度GP的后验p(ω|X, Y)之间的KL散度。这个KL是我们的最小化目标
用蒙特卡罗单样本积分法近似求和中的每一项N ~ q(ω)得到一个无偏估计。
对于精度超参数τ和长度尺度L的适当设置，我们恢复了eq.(1)。n的结果实现了伯努利分布z i , j n z^n_{i,j}zi,jn 等价于dropout情况下的二进制变量。
获取模型不确定性
在此基础上，我们得到了模型不确定性可以从dropout神经网络模型中得到的结果。根据附录2.3节，我们的近似预测分布由式给出
我们将进行矩匹配，并根据经验估计预测分布的前两个矩。更具体地说，我们从伯努利分布中抽取了T组实现向量
我们估计
在附录中的C项之后。我们把这个蒙特卡罗估计称为MC dropout。在实践中，这相当于在网络中执行T次随机正向传递并平均结果。
这一结果已在以前的文献中作为模型平均提出。对于这个结果，我们给出了一个新的推导，它也允许我们推导出基于数学的不确定性估计。Srivastava等人(2014，第7.5节)通过经验推导得出，MC dropout可以通过平均网络的权重来近似(在测试时将每个Wi乘以pi，称为标准dropout)。
我们用同样的方法来估计第二个原始矩:
为了得到模型的预测方差，我们有:
它等于T的样本方差随机正向通过神经网络加上逆模型精度。
注意y *是一个行向量，因此和是外积的和。给定权重衰减λ(和我们的先验长度尺度l)，我们可以从恒等式中找到模型精度
我们可以通过eq.(2)的蒙特卡罗积分来估计我们的预测对数似然。这是对模型拟合平均值和不确定性的程度的估计(参见附录中的4.4节)。对于回归，这是由:
我们的预测分布q(y∗|x∗)预计是高度多模态的，上面的近似只是对其性质的一瞥。这是因为每个权重矩阵列上的近似变分分布是双峰的，因此每层权重的联合分布是多峰的附录3.2)。
注意dropout NN模型本身没有改变。为了估计预测均值和预测不确定性，我们简单地收集随机正演通过模型的结果。因此，该信息可以用于使用dropout训练的现有NN模型。此外，前向传递可以同时进行，从而使其恒定的运行时间与标准dropout相同。
实验
接下来，我们对dropout神经网络和convnets在回归和分类任务上获得的不确定性估计的性质进行了广泛的评估。我们比较了从不同模型架构和非线性中获得的不确定性，都是在额外的任务上，并以MNIST (LeCun & Cortes, 1998)为例表明模型不确定性对分类任务很重要。然后，我们表明，与现有的最先进的方法相比，使用dropout的不确定性，我们可以在预测对数似然和RMSE方面获得相当大的改进。
图1：莫纳罗亚火山不同模式二氧化碳浓度数据集的预测平均值和不确定性。红色是观察到的函数(蓝色虚线的左边);蓝色是预测平均值±两个标准差(图8)。2 d)。不同深浅的蓝色代表半个标准差。用红色虚线标记的是远离数据的点:标准dropout自信地预测了该点的一个不合理的值;其他模型也预测了不敏感的值，但附加了模型对其预测不确定的信息。
图2：关注微信公众号，获取更多资讯内容：