1. n-grams
统计语言模型研究的是一个单词序列出现的概率分布（probability distribution）。例如对于英语，全体英文单词构成整个状态空间（state space）。
- 边缘概率分布 p(Xt=k) 称为 unigram；
- 使用一阶马尔科夫模型（Markov model），则 p(Xt=k|Xt−1=j) 又称为 bigram；
- 类似地，基于二阶马尔科夫模型，p(Xt=k|Xt−1=j),Xt−2=i 称为 trigram；
下图为达尔文著名的《物种起源》英文版字母 {a,…,z,−}（−：表示空格）的 1-gram 和 2-gram（表格）