马尔可夫链蒙特卡洛

最常见的是，用马尔可夫链的平稳分布，来随机抽样，估计贝叶斯后验概率分布，（因为贝叶斯后验概率解析式相关的量或许不太好计算）。 那么如何利用马尔可夫链的平稳分布，来随机抽样呢？ 这个就需要用到马尔可夫链的一些相关性质。 马尔可夫链在满足一些性质的前提下，一直不停迭代下去的话，最终会达到一个平稳状态，这个平稳状态概率分布只跟概率转换矩阵有关。 那么如何从平稳状态概率分布，来推出概率转换矩阵呢？

我们先来看看马尔可夫链自己的性质。 从上面描述可以看出，我们希望找到的马尔可夫链是非周期的，任意两个状态通过有限步可达，这些在实际应用中都是可以通过计算概率转换矩阵的 n 次幂来验证其是否收敛的。所以如何求概率转换矩阵P呢？只需求解一个概率转换矩阵P，使得 $\pi P=\pi$ 成立。 这里就需要用到马尔可夫链的细致平稳条件。 方法是从任意的概率转换矩阵 $Q$ 出发，找到一个接受概率矩阵 $\alpha (i,j)$, 使得 $\pi (i)Q(i,j)\alpha (i,j)=\pi (j)Q(j,i)\alpha (j,i)$. 事实上，我们的平稳分布 $\pi$ 所对应的概率转换矩阵 $P$ 满足， $P(i,j)=Q(i,j)\alpha (i,j)$. 那么要怎么找到这个接受概率矩阵呢？只需让 $\alpha (i,j)=\pi (j)Q(j,i)$, 这样的话， $\alpha (j,i)=\pi (i)Q(i,j)$. 上图摘自 https://www.cnblogs.com/pinard/p/6638955.html 可以看到，这个接受率，由平稳状态概率分布和初始概率转换矩阵确定。有时候可能取值会比较小。这样导致很多时候状态不大会转移。而目的是，状态转移多少多少步之后，用平稳分布来采样。所以如何改进呢？就有下面这个M-H采样。

M-H 的采样原理如下所示： $\pi (i)Q(i,j)\alpha (i,j)=\pi (j)Q(j,i)\alpha (j,i)$ $\alpha (i,j)=\min \{\frac{\pi (j)Q(j,i)}{\pi (i)Q(i,j)},1\}$ two cases: 1: $\frac{\pi (j)Q(j,i)}{\pi (i)Q(i,j)}\le 1$ 取 $\alpha (i,j)=\frac{\pi (j)Q(j,i)}{\pi (i)Q(i,j)}$, and $\alpha (j,i)=1$. 2: $\frac{\pi (j)Q(j,i)}{\pi (i)Q(i,j)}>1$ 取 $\alpha (i,j)=1$, and $\alpha (j,i)=\frac{\pi (i)Q(i,j)}{\pi (j)Q(j,i)}$.

如果初始状态转移矩阵 $Q$ 是对称的，那么接受率 $\alpha (i,j)$ 可以进一步简化为 $\frac{\pi (j)}{\pi (i)}$.

上图是M-H采样的基本步骤。上面大括号里面的那个表达式的下标应该稍微改一下。

M-H 采样存在两大难题，具体可参考这个链接： https://www.cnblogs.com/pinard/p/6638955.html 由此引出 Gibbs 采样

Gibbs 采样