1.给定语料,统计语料中的词性为N,词组为M。
2.HMM关注3个参数
a.初始化概率
b.状态转移矩阵 N*N
c.观测状态概率矩阵 N*M
3.状态转移矩阵:词A的词性为词性a,词B的词性为词性b,AB为相连词,从给定的语料中统计从词性a转换到词性b出现的次数/词性a转换到所有可能转换的词性的次数为状态转移矩阵中的a.所以有N*N个概率。
4.观测状态概率矩阵:词性a下为词A的次数/词性a下所有词的数目,所以为N*M。
5.初始化概率:求的是每个词性的先验概率,即为:词性a出现的次数/总的词性现的次数,长度为N的list,即为初始化概率。
词性标注问题:
a.第一步是求出初始化状态先验概率,为初始化概率。
b.求出状态转移矩阵。
c.求出观测状态概率矩阵,以上这3步为HMM中的学习问题。
d.利用求出来的这3个参数,那么就是一个HMM模型,那么就可以用着3个参数求出最大概率序列,即为HMM的预测问题,