马尔可夫过程基础：定义、性质与应用
马尔可夫过程基础：定义、性质与应用
马尔可夫链是一种具有“无记忆性”的数学模型，广泛应用于天气预报、股市分析、语言模型等领域。本文将从定义、性质、平稳分布、极限定理等多个维度，深入浅出地介绍这一重要概念。
一、定义
马尔可夫链是一种数学模型，用于描述一个系统随时间变化的状态。它的核心特征是“无记忆性”，即系统的下一个状态只依赖于当前状态，而与之前的历史状态无关。这种性质使得马尔可夫链在各类模型和应用中非常有用，如天气预报、股市分析、语言模型等。
马尔科夫链可以定义为一个离散时间随机过程 {Xn ,n∈N}，其中 Xn 表示系统在时间 n 时的状态。这个过程满足以下条件：
- 状态空间 S 是一个可数集，表示系统可能处于的所有状态。
- 对于所有时间 n∈N 和所有状态 i0 ,i1 ,…,in ∈S，马尔可夫性质成立，即：
这表示给定当前状态Xn ，未来状态 Xn+1 的条件分布不依赖于过去的状态 Xn−1 ,Xn−2 ,…,X0 。 - 转移概率 P(Xn+1 =j∣Xn =i) 是已知的，并且通常用一个矩阵 P来表示，其中Pij 表示从状态 i 转移到状态 j 的概率。这个矩阵称为转移概率矩阵或马尔可夫矩阵。
- 初始状态分布 P(X0 =i) 是已知的，表示系统在时间 00 时处于状态 i 的概率。
二、性质
遍历性（Ergodicity）：如果一个马尔可夫链最终能够达到一个稳定的状态分布，且这个分布不依赖于初始状态，那么这个链被称为遍历的。这意味着长时间来看，系统的行为具有一定的预测性。
互达性 (Communicate)：在马尔可夫链中，如果从状态 i 可以通过一系列转移到达状态 j（不必须直接到达，可以经过其他状态），我们说状态 i 可达状态 j。如果 i 可达 j 并且 j 也可达 i，我们则说这两个状态是互达的。简单来说，如果两个状态可以通过某种方式相互到达对方，那么它们就是互达的。互达是一种等价关系，具有自反性（每个状态都与自身互达）、对称性（如果 i 和 j 互达，那么 j 和 i 也互达）和传递性（如果 i 与 j 互达，j 与 k 互达，那么 i 与 k 也互达）。例如：一个室内设计，其中有两个门可以相互到达对方的房间，那么这两个房间就是互达的。
周期性（Periodicity）：在某些马尔可夫链中，系统可能会以某种固定模式循环往复，这种现象被称为周期性。例如，如果一个状态总是每隔一定步数返回，那么这个状态（以及整个链）就具有周期性。一个灯光系统，它在红灯、绿灯和黄灯间循环。从红灯回到红灯总是需要经过两次状态改变（红-绿-黄-红），因此红灯的周期是 3。
常返性（Recurrence）和瞬过性（Transience）：这两个概念用来描述系统返回某个状态的行为。如果从某个状态出发，系统最终几乎肯定会返回这个状态，那么这个状态就是常返的；如果返回的可能性不为1，那么就是瞬过的。例如：一个城市公交系统。有些线路（例如环线）会定期返回到起点站，这些可以被视为常返状态；而一些线路可能是单程线，从终点站出发后就不再返回起点站，这些则是瞬过状态。
三、平稳分布
平稳分布是马尔可夫链在长时间运行后，每个状态出现概率的稳定分布。对于遍历的马尔可夫链，无论起始状态如何，系统都会趋于这个分布。这个分布可以帮助我们了解系统状态的长期行为。
四、极限定理
马尔可夫链的极限定理涉及到当时间趋向无穷时，系统状态的分布趋势。对于遍历非周期的马尔可夫链，极限定理保证了存在一个唯一的平稳分布。这意味着，无论初始状态如何，系统最终都会达到这个稳定的状态分布。
五、实际应用示例
简单天气模型：假设一个地区只有晴天和雨天两种状态，通过历史数据我们可以建立一个马尔可夫链模型来预测明天的天气。如果今天是晴天，根据模型可能有80%的概率明天也是晴天，20%的概率转为雨天；而如果今天是雨天，可能有50%的概率明天仍然是雨天，50%的概率变为晴天。此外，对于天气状态的转移还有很多例子，比如我曾经在一次实习考核时做过一个风向转移的马尔科夫链。
文本生成：在自然语言处理中，可以使用马尔可夫链生成文本。根据前一个词或几个词的状态来预测下一个词的出现概率，以此生成连贯的句子或段落。