EM算法及用EM估计HMM的参数
EM算法推到:
有两个变量隐变量及转移概率都未知,解决方法是先把转移概率看成已知量,求隐变量期望,然后再把期望看成已知,求让目标函数最大化的转移概率。
uncomplete case: 隐状态未知,转移参数未知,只知道观测序列及隐状态个数 。用em算法,估计z估计参数循环迭代,和lasso回归的coordinate descent 一样。
F/B算法: 已知观测序列,隐状态有Z1,Z2,Z3三种情况,求某一时刻的隐状态序列为Z1时的概率,Z2时的概率,Z3时的概率。
这样也就知道了该时刻隐状态的期望。
F算法(前向):知道a,某时刻的隐状态及b,1:t时刻的观测状态c, 参数三个条件 ,求的是t时刻及1:t时刻所有观测状态同时发生的概率
此处假定参数π,A,B是已知的。(刚开始的π,A, B是人赋值的)然后通过迭代最终收敛。
通过F/B算法把每个隐状态的期望求出来即p(zk = 1|seita,观测序列) p(zk = 2|seita,观测序列) p(zk = 3|seita,观测序列)
此处红色转移数字即为上上张图片所求的贝塔k(1,1)...的值。