统计决策——贝叶斯决策（简单易懂的个人总结）
统计决策——贝叶斯决策（简单易懂的个人总结）
贝叶斯决策理论是统计学和机器学习中的一个重要概念，它基于贝叶斯定理，通过最小化错误率或风险来做出最优决策。本文将详细介绍两种主要的贝叶斯决策方法：最小错误率贝叶斯决策和最小风险贝叶斯决策，并通过具体实例帮助读者理解这些理论在实际问题中的应用。
贝叶斯公式回顾
在深入讨论贝叶斯决策之前，我们先简单回顾一下概率论中的贝叶斯公式：
$$
P(AB) = P(B|A)P(A)
$$
这一步是基本的概率乘法公式（也可以认为是贝叶斯公式逆推而来），记不起来的可以复习一下简单的概率论知识。
同样，概率论中常用的全概率公式也是等下要用到的：
最小错误率贝叶斯决策
决策规则
一般提到的贝叶斯决策，默认都是指最小错误率贝叶斯决策。这种决策的目标是让我们的错误率最小化。如果换成机器学习中的分类任务而言，就是让我们的分类错误率达到最小。
接下来以二分类任务为例，我们先定义出在单个样本上的错误概率：
- $w_1$ 代表类别1
- $w_2$ 代表类别2
- $e$ 则是代表有错误发生
该分段函数的第一项，代表的含义是，当我们把 $x$ 分类为 $w_1$ 时，而实际上 $x$ 属于 $w_2$ 的概率。
而在对于总体样本而言，我们把错误率 $p(e)$ 定义为所有服从同样分布的独立样本上错误率的期望：
$$
p(e) = \int p(e|x)p(x)dx
$$
最右边的等式是由概率论中求期望的公式而来，即 $E[f(x)]$ 为 $f(x)$ 乘以 $x$ 的概率密度函数的积分，我们这个等式中，$P(x)$ 就是 $x$ 的概率密度函数。
现在，最小错误率的目标，即要使 $P(e)$ 最小化，我们可以利用上面的公式表达为：
$$
P(e) = \int p(e|x)p(x)dx
$$
而根据定积分的性质，当积分区域相同时，比较两个不同定积分的大小我们只需要比较里面被积函数的大小即可。也就是说，要使 $P(e)$ 最小，我们只需要使 $P(e|x)$ 最小即可（因为 $P(x)$ 是不会变的，而 $P(e|x)$ 根据我们给出的表达式可知它受我们决策结果的影响，可变）。
最后，从使 $P(e|x)$ 最小这个角度出发我们可以得到如下决策规则：
$$
\text{若} \quad P(w_1|x) > P(w_2|x) \quad \text{则} \quad x \in w_1
$$
说人话就是，利用贝叶斯公式，计算出 $P(w_1|x)$ 与 $P(w_2|x)$ 两个后验概率的值，谁大，$x$ 就分到哪一类。
计算实例
假设在某个医院，癌细胞识别中正常($w_1$),异常($w_2$)两个类别的先验概率，$p(w_1)$ 为 0.9；$p(w_2)$ 为 0.1。现有一待识别细胞，观察值为 $x$，已知 $p(x|w_1) = 0.2$，$p(x|w_2) = 0.4$，用最小错误率贝叶斯决策对其分类。
解：
用贝叶斯公式以及全概率公式，分别计算出 $w_1$ 和 $w_2$ 的后验概率。
所以这个时候把 $x$ 分类到 $w_1$ 是合理的决策。
最小风险贝叶斯决策
决策规则
顾名思义，与最小错误率决策的关注点不同，最小风险贝叶斯决策率关注的是如何把决策出错之后的风险最小化。这往往在现实场景中是很有必要的，比如把正常细胞错判为癌细胞，后果是病人会留院检查，但是如果把癌细胞错判为正常细胞，那就会耽误了病人的治疗最佳时机进而可能导致生命危险。所以基于这两种错误带来的风险，我们明显应该给予第二种错误更大的权重，不应该平等的看待犯这两种错误的概率。
首先对于最小风险贝叶斯决策，我们需要制定展示每一项决策风险的决策表。制作这张表通常靠的是专家经验，所以在业务场景下一般要与业务方开会共同讨论决定。
以 $\beta(a_i, w_i)$ 代表当待测样本 $x$ 属于 $w_i$ 类时，采用决策 $a_i$，会带来的风险大小，我们可以绘制以下决策表：
与上面的流程雷同，我们先给出在单个样本 $x$ 采取决策 $a_i$ 的期望风险：
翻译成大白话就是，对于单个样本 $x$，它采取决策 $a_1$ 的期望风险，就是（该样本属于类别 $w_1$ 的概率 $p(w_1|x)$ 再乘以 在该类别 $w_1$ 下采取决策 $a_1$ 的风险 $\beta(a_1, w_1)$）+（该样本属于类别 $w_2$ 的概率 $p(w_2|x)$ 再乘以 在该类别 $w_2$ 下采取决策 $a_1$ 的风险 $\beta(a_1, w_2)$）+……
再此基础上，我们可以得出，对于整个同分布的孤立样本 $X$，采取策略 $a_1$ 的期望风险是：
原理同最小错误率贝叶斯决策，并且同样的，为了最小化这一期望风险，我们只需要最小化 $R(a_1|x)$ 即可。因此，可以得出最小风险的贝叶斯决策如下：
也就是说，若是对于样本 $x$，选择决策 $a_i$ 的风险最小，那么就选择它。
计算实例
利用最小错误率的那一道例题，额外追加一张决策表：
根据之前的结果，我们可知，$p(w_1|x)=0.818$，$p(w_2|x)=0.182$
那么，
$$
R(a_1|x) = \beta(a_1, w_1) \cdot p(w_1|x) + \beta(a_1, w_2) \cdot p(w_2|x) = 0 \cdot 0.818 + 6 \cdot 0.182 = 1.092
$$
$$
R(a_2|x) = \beta(a_2, w_1) \cdot p(w_1|x) + \beta(a_2, w_2) \cdot p(w_2|x) = 1 \cdot 0.818 + 0 \cdot 0.182 = 0.818
$$
这么看来，对于样本 $x$ 而言，选择 $a_1$ 的风险是最大的，我们应该采取决策 $a_2$。
ps：决策 $a_1$ 代表把待测细胞分类为正常细胞，而决策 $a_2$ 代表分为异常细胞。