每天一个知识点，每天进步一点点~
用图表示变量之间的相互关系的概率模型。有以下两种：
有向无环图（有向图模型，贝叶斯网络）：存在显式的因果关系无向图（马尔可夫网）：变量间存在相关性但难以获得显式因果关系概率模型：利用已知变量推断未知变量的分布
判别式模型：考虑条件分布p(关心，其他 | 观测) —> p(关心|观测)生成式模型：考虑联合分布p(关心，观测，其他) —> p(关心|观测)生成式模型 动态贝叶斯网，是一种著名的有向图模型，用于时序数据建模
（1）变量： x i {x_i} xi：观测变量 y i {y_i} yi：状态变量或称隐变量 （2）含义： x i {x_i} xi的取值仅取决于 y i {y_i} yi，同时ｉ时刻的状态 y i {y_i} yi仅取决于ｉ－１时刻的状态变量 y i − 1 {y_{i - 1}} yi−1。 （3）联合分布 P ( x 1 , y 1 , . . . , x i , y i , x n , y n ) = P ( y 1 ) P ( x 1 ∣ y 1 ) ∏ i = 2 n P ( y i ∣ y i − 1 ) P ( x i ∣ y i ) {P({x_1},{y_1},...,{x_i},{y_i},{x_n},{y_n}) = P({y_1})P({x_1}|{y_1})\prod\limits_{i = 2}^n {P({y_i}|{y_{i - 1}})P({x_i}|{y_i})} } P(x1,y1,...,xi,yi,xn,yn)=P(y1)P(x1∣y1)i=2∏nP(yi∣yi−1)P(xi∣yi) 即联合概率=初始状态概率* ∏ {\prod {} } ∏状态转移概率A*输出观测概率B
生成式模型 马尔可夫网，是一种著名的无向图模型，用于时序数据建模
（1）势函数（potential functions）:因子φ ，通常为非负的指数函数 （2）含义：联合分布函数基于团分解为多个因子（极大团）乘积。 （3）联合分布: p ( x ) = 1 Z ∗ ∏ Q ∈ C ∗ ψ Q ( X Q ) {p(x) = \frac{1}{Z*}\prod\limits_{Q \in C*} {{\psi _Q}({X_Q})} } p(x)=Z∗1Q∈C∗∏ψQ(XQ) 所有的极大团构成的集合为C*。
判别式模型：对条件分布进行建模 无向图模型：采用势函数定义概率
（1）条件概率： p ( y ∣ x ) = 1 Z exp ( ∑ j ∑ i = 1 n − 1 λ j t i ( y i + 1 , y i , x , i ) + ∑ k ∑ i = 1 n μ k s k ( y i , x , i ) ) { p(y|x) = \frac{1}{Z}\exp (\sum\limits_j {\sum\limits_{i = 1}^{n - 1} {{\lambda _j}{t_i}({y_{i + 1}},{y_i},x,i) + \sum\limits_k {\sum\limits_{i = 1}^n {{\mu _k}{s_k}({y_i},x,i)} } } } )\ } p(y∣x)=Z1exp(j∑i=1∑n−1λjti(yi+1,yi,x,i)+k∑i=1∑nμksk(yi,x,i)) t i ( y i + 1 , y i , x , i ) {{{t_i}({y_{i + 1}},{y_i},x,i)}\ } ti(yi+1,yi,x,i) 表示两个相邻标记的转移特征。 s k ( y i , x , i ) {{{s_k}({y_i},x,i)}\ } sk(yi,x,i) 表示观测序列在标记位置i上的状态特征函数。 （2）含义：对多个变量在给定观测值后的条件概率进行建模。 （3）条件随机场： p ( y v ∣ x , y V \ { v } ) = p ( y v ∣ x , y n ( v ) ) { p({y_v}|x,{y_{V\backslash \{ v\} }}) = p({y_v}|x,{y_{n(v)}}) } p(yv∣x,yV\{v})=p(yv∣x,yn(v))
假设可观测的变量集合为X，需要预测的变量集合为Y，其他的变量集合为Z。生成式模式是对联合概率分布P ( X , Y , Z ) P(X,Y,Z)P(X,Y,Z)进行建模，在给定观测集合X的条件下，通过计算边缘分布来求得对变量集合Y的推断: P ( Y ∣ X ) = P ( X , Y ) P ( X ) = ∑ Z P ( X , Y , Z ) ∑ Y , Z P ( X , Y , Z ) {P(Y\mid X) = \frac{{P(X,Y)}}{{P(X)}} = \frac{{\sum\limits_Z {P(X,Y,Z)} }}{{\sum\limits_{Y,Z} {P(X,Y,Z)} }}} P(Y∣X)=P(X)P(X,Y)=Y,Z∑P(X,Y,Z)Z∑P(X,Y,Z)
