一文彻底搞懂大模型 - 隐马尔可夫模型（HMM）

一文彻底搞懂大模型 - 隐马尔可夫模型（HMM）

隐马尔可夫模型（Hidden Markov Model, HMM）

隐马尔可夫模型（Hidden Markov Model, HMM）是一种统计模型，用于描述一个含有隐含未知参数的马尔可夫过程。HMM通过描述隐含状态和观测状态之间的概率关系，能够处理时序数据和序列数据。HMM在语音识别、生物信息学、自然语言处理等领域有着广泛的应用。

一、马尔可夫链（Markov Chain）

什么是马尔可夫链（Markov Chain）？

马尔可夫链（Markov Chain, MC）是概率论和数理统计中一个重要的概念，具有马尔可夫性质，即未来只与现在有关，而与过去无关。

• 马尔可夫链：一种特殊的随机过程，具有“马尔可夫性质”。
• 马尔可夫性质：未来状态仅与当前状态相关，与过去状态无关。

马尔可夫链依赖于转移矩阵和转移图来描述状态间的变化。转移矩阵，作为一个二维数组，明确了从一个状态到另一个状态的转移概率。而转移图则直观地展示了这些状态间的转移关系，为理解和分析提供了便捷的可视化工具。

转移矩阵

• 定义：转移矩阵是马尔可夫链中用于描述状态间转移概率的二维数组。
• 构成：矩阵中的每个元素表示从一个特定状态转移到另一个状态的概率。通常，转移矩阵的每一行之和都为1，因为从一个状态出发，转移到所有可能状态的概率之和必须为1。
• 表示：若马尔可夫链有n个状态，则转移矩阵通常表示为一个n x n的矩阵，其中矩阵的第i行第j列元素表示从状态i转移到状态j的概率。

转移图

• 定义：转移图是马尔可夫链的可视化表示，用于直观地展示状态之间的转移关系。
• 构成：转移图由节点（表示状态）和有向边（表示状态间的转移）组成。边的权重通常表示转移概率。
• 特点：通过转移图，可以清晰地看出哪些状态之间可以直接转移，以及转移的概率是多少。这对于理解和分析马尔可夫链的行为非常有帮助。

二、隐马尔可夫模型（HMM）

什么是隐马尔可夫模型（HMM）？

隐马尔可夫模型（HMM）是一种统计模型，它基于一个隐藏的马尔可夫链生成不可观测的状态序列，并根据这些隐藏状态产生可观测的序列。

1. 齐次马尔可夫假设：任意时刻的隐藏状态只依赖于前一个隐藏状态，与其他时刻的状态无关。
2. 观测独立性假设：任意时刻的观测值只依赖于当前时刻的隐藏状态，与其他时刻的观测值和隐藏状态无关。

HMM通过描述隐藏状态之间的转移概率以及隐藏状态到观测值的发射概率（观察概率），来模拟并预测观测序列的生成过程。

隐马尔可夫模型的核心组成

1. 隐藏状态：系统的真实状态，通常表示为一系列离散的随机变量。
2. 观测序列：与隐藏状态相关的输出序列，可以是一维或多维的。
3. 初始状态概率分布：模型开始时各个隐藏状态的概率分布。
4. 状态转移概率矩阵：描述隐藏状态之间转移的概率。
5. 观测概率矩阵：描述在给定隐藏状态下观测值出现的概率。

HMM的核心组成

隐马尔可夫模型的公式：

状态转移概率（transition probability）和观察概率（obesrvation probability）