【Copula】CVB算法在双变量高斯分布和高斯混合聚类中的应用

创作时间:

作者:

@小白创作中心

【Copula】CVB算法在双变量高斯分布和高斯混合聚类中的应用

引用

CSDN

https://m.blog.csdn.net/yyds123yyds147/article/details/144496466

Copula Variational Bayes（CVB）算法是近年来在贝叶斯网络推理中流行的一种方法，它通过放宽独立性约束，将联合概率分布投影到copula约束空间，从而实现更优的近似解。本文将介绍CVB算法的基本原理，并通过双变量高斯分布和高斯混合聚类两个经典模型，展示CVB算法在性能上的优势。

1. 概述

Variational Bayes（VB），也被称为独立均场近似，在近年来已成为贝叶斯网络推理中流行的方法。其应用非常广泛，例如在神经网络、压缩感知、聚类等领域。在本文中，VB中的独立性约束将被放宽到一个条件约束类，称为统计学中的copula。由于联合概率分布总是属于copula类，新颖的copula VB（CVB）近似是VB的一种广义形式。通过信息几何，我们将看到CVB算法会将原始联合分布迭代投影到一个copula约束空间，直到达到局部最小Kullback-Leibler（KL）散度。通过这种方式，所有的均场近似，例如迭代VB、期望最大化（EM）、迭代条件模式（ICM）和k均值算法，都是CVB近似的特例。

对于一个通用的贝叶斯网络，CVB的一个增强层次形式也将被设计出来。而均场算法只能为相关网络返回一个局部最优的近似，增强型CVB网络，即一个较简单网络结构混合的最优加权平均，有可能首次实现全局最优的近似。通过高斯混合聚类的模拟，CVB的分类准确性将被展示为远远优于最先进的VB、EM和k均值算法。

本文还将重新审视VB的三种流行特例，即期望最大化（EM）[21]，[22]，迭代条件模式（ICM）[23]，[24]和k均值算法[25]，[26]。在文献中，众所周知的EM算法被证明是VB的一个特例[1]，[2]，其中VB的一个边缘通过Dirac delta函数限制为一个点估计。在本文中，将展示EM算法不仅达到了局部最小的KL散度，而且还可能返回真实边缘分布的局部最大后验（MAP）点估计。这证明了在某些MAP估计的情况下，EM算法相对于VB的优越性，因为VB边缘中的峰值可能与真实边缘的峰值不同。

如果所有VB边缘都被限制在Dirac delta空间，那么迭代VB算法将变成ICM算法，它返回原始分布的局部联合MAP估计。此外，对于标准正态混合聚类，ICM算法等效于众所周知的k均值算法，正如本文所示。k均值算法还等效于Lloyd-Max算法[25]，在量化上下文中被广泛使用。

为了说明，本文将应用上述CVB及其特例到两个经典模型，即双变量高斯分布和高斯混合聚类。通过调整这两个模型中的相关性，CVB的性能将被证明优于VB、EM和k均值算法等最先进的均场方法。通用贝叶斯网络的增强CVB形式也将被研究并应用到这个高斯混合模型中。

2. 运行结果

3. 部分代码

%/ setting for Ground truth  
setting.M = 2; % number of data's dimension  
%-------------------------------------------------  
setting.K = 4; % number of clusters  
%-------------------------------------------------  
setting.N = 100; % number of time points  
%-------------------------------------------------  
setting.offset = 1; % offset for origin of x-y plan  
%/  
%/ setting for Algorithms  
%-------------------------------------------------  
setting.maxLoop = 200; % maximum number of iteration  
%-------------------------------------------------  
setting.init_pos = [-1 0; 0 1; 1 0; 0 -1]'; % matrix of initial position of cluster means (dimension x K)  
%-------------------------------------------------  
setting.ELBOthresh = 0.01; % converged if [ELBO < input.ELBOthresh]  
%/  
%/  
%-------------------------------------------------  
setting.MonteCarlo = 10; % number of Monte Carlo runs  
%-------------------------------------------------  
setting.Radius = [0.1,1:8]; % varying Radius (x-axis)  
%-------------------------------------------------  
setting.plotRadius = 4; % plot the case of Radius = 4  
%/