数理统计6：泊松分布，泊松分布与指数分布的联系，离散分布参数估计

前两天对两大连续型分布：均匀分布和指数分布的点估计进行了讨论，导出了我们以后会用到的两大分布：\(\beta\)分布和\(\Gamma\)分布。今天，我们将讨论离散分布中的泊松分布。其实，最简单的离散分布应该是两点分布，但由于在上一篇文章的最后，提到了\(\Gamma\)分布和泊松分布的联系，因此本文从泊松分布出发。由于本系列为我独自完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！

目录

• Part 1：泊松分布简介
• Part 2：泊松分布的点估计
• Part 3：其他离散分布的点估计

Part 1：泊松分布简介

泊松分布是一种离散分布，先给出其概率分布列。若\(X\sim P(\lambda)\)，则

\[\mathbb{P}(X=k)=\frac{\lambda^k}{k!}e^{-\lambda},\quad k=0,1,\cdots\]

它的取值是无限可列的。

接下来要介绍泊松分布的一种实用性质：可加性。若\(X_1\sim P(\lambda_1)\)，\(X_2\sim P(\lambda_2)\)且相互独立，则

\[X_1+X_2\sim P(\lambda_1+\lambda_2).\]

如果两个独立泊松变量的可加性成立，则自然可以推广到有限多个独立泊松变量，下面利用离散卷积公式给出证明。

\[\begin{aligned}\mathbb{P}(X_1+X_2=k)&=\sum_{j=0}^{k}\mathbb{P}(X_1=j)\mathbb{P}(X_2=k-j)\\&=\sum_{j=0}^k\frac{\lambda_1^j}{j!}e^{-\lambda_1}\cdot\frac{\lambda_2^{k-j}}{(k-j)!}e^{-\lambda_2}\\&=\frac{e^{-(\lambda_1+\lambda_2)}}{k!}\sum_{j=0}^{k}\frac{k!}{j!(k-j)!}\lambda_1^j\lambda_2^{k-j}\\&=\frac{(\lambda_1+\lambda_2)^{k}}{k!}e^{-(\lambda_1+\lambda_2)}.\end{aligned}\]

这是泊松分布的概率分布列。

知道了泊松分布具有可加性后，我们接下来讨论泊松分布的点估计就会很方便。

Part 2：泊松分布的点估计

对泊松分布的估计其实没有什么难点，无非是将因子分解定理用到了离散情况罢了。对于离散情况，要写出其联合概率分布：

\[\begin{aligned}&\quad \mathbb{P}(X_1=x_1,\cdots,X_n=x_n)\\&=\prod_{j=1}^n \frac{\lambda^{x_j}}{x_j!}e^{-\lambda}\\&=e^{-n\lambda}\lambda^{\sum_{j=1}^n x_j}\cdot\frac{1}{\prod_{j=1}^n (x_j!)}\\&\xlongequal{def}g\left(\sum_{j=1}^n x_j,\lambda \right)\cdot h(\boldsymbol{x}),\end{aligned}\]

故\(T=\sum_{j=1}^n X_j\sim P(n\lambda)\)是\(\lambda\)的充分统计量，这说明\(\bar X\)也是充分统计量。又因为\(\mathbb{E}(X)=\lambda\)，所以\(\mathbb{E}(\bar X)=\lambda\)，证明了\(\bar X\)是无偏的，由强大数定律，\(\bar X\)还是强相合的。

从这里得到的启示是，在写离散分布的概率密度函数时，要写

\[\mathbb{P}(X_1=x_1,\cdots,X_n=x_n).\]

这个表达式以后也会起到很大的作用。

对于离散分布，有时会需要你用定义验证参数估计量的充分性（别说你已经把定义忘了），就是

\[\mathbb{P}(X_1=x_1,\cdots,X_n=x_n|T=t)\]

与参数的无关性。我们现在对泊松分布的充分估计量\(T=\sum_{j=1}^n X_j\)验证这一点，对于离散分布，步骤可能和连续分布略有不同，因为不使用Jacobi变换似乎更简单一些，特别是\(T\sim P(n\lambda)\)的分布已知时。

\[\begin{aligned}&\quad \mathbb{P}(X_1=x_1,\cdots,X_{n}=x_n|T=t)\\&=\frac{\mathbb{P}(X_1=x_1,\cdots,X_{n-1}=x_{n-1},X_n=T-\sum_{j=1}^{n-1}x_j)}{\mathbb{P}(T=t)}\\&=\prod_{j=1}^{n-1}\left(\frac{\lambda^{x_j}}{x_j!}e^{-\lambda}\right)\cdot\frac{\lambda^{t-\sum_{j=1}^{n-1}x_j}}{(t-\sum_{j=1}^{n-1}x_j)!}e^{-\lambda}\bigg/\left(\frac{\lambda^t}{t!}e^{-n\lambda} \right)\\&=\frac{t!}{(\prod_{j=1}^{n-1}x_j!)(t-\sum_{j=1}^{n-1}x_j)!}.\end{aligned}\]

显然这个概率与\(\lambda\)无关，所以\(T\)是充分统计量。

Part 3：其他离散分布的点估计

本来以为泊松分布能写的东西不少，结果大多笔墨花在了背景介绍上，关于泊松分布点估计却只写了短短几行。既然如此，本文就将常用离散分布的点估计全部给出。

对于两点分布\(B(1,p)\)，注意到\(P(X=x)=p^x(1-p)^{1-x}\)，所以其联合概率函数是

\[\mathbb{P}(X_1=x_1,\cdots,X_n=x_n)=p^{\sum_{j=1}^nx_j}(1-p)^{n-\sum_{j=1}^n x_j},\]

得到其充分统计量为\(T=\sum_{j=1}^n X_j\)，又\(T\sim B(n,p)\)，所以\(\mathbb{E}(T)=np\)，无偏充分估计量为

\[\bar X=\frac{T}{n},\quad \mathbb{E}(\bar X)=p.\]

可以用定义验证它是充分统计量。

对于几何分布\(G(p)\)，注意到\(P(X=x)=(1-p)^{x-1}p\)，所以其联合概率函数是

\[\mathbb{P}(X_1=x_1,\cdots,X_n=x_n)=p^{n}(1-p)^{\sum_{j=1}^n x_j-n},\]

所以其充分统计量依然是\(T=\sum_{j=1}^n X_j\)（这太常见了），而几何分布的均值是参数的倒数（就像指数分布一般），因此我们也要研究\(T\)的分布。

从实际意义来探究可能会更好一些。如果把\(X\)看作一个连续多次二项分布的实验中，第一次成功所需实验的总次数，则\(X=k\)指的是前\(k-1\)次实验全部失败，第\(k\)次恰好成功。推广到\(T=\sum_{j=1}^n X_j\)，则\(T=k\)指的是前\(k-1\)次试验恰好有\(n-1\)次成功，第\(n\)次恰好又成功。基于此，我们可以给出\(T\)的概率分布列为

\[\mathbb{P}(T=k)=C_{k-1}^{n-1}p^{n}(1-p)^{k-n},\quad k\ge n.\\\sum_{k=n}^{\infty}C_{k-1}^{n-1}p^n(1-p)^{k-n}=1.\]

计算\(T\)的均值用到的trick与\(\Gamma\)分布时的一致，无非是\(\Gamma\)分布需要将\(\Gamma\)函数展开，这里将二项式系数展开罢了。但是\(1/T\)的均值却不好计算，所以难以得到其无偏估计。

---

本文对离散型随机变量的参数估计作了小小的总结，可以看到离散型随机变量的参数估计与连续型随机变量的步骤大致相同，只是将联合密度函数写成了联合概率分布。我们也可以看到，对有些参数估计进行无偏调整比较容易，对有些参数估计则难以得到无偏估计。

虽然我们已经讨论了常用的分布，但是分布是无穷无尽的，不可能对每种分布都详尽讨论；另外，即使是我们已经讨论过的分布，也可能衍生出奇奇怪怪的参数，比如均匀分布可能是\(U(\frac{1}{a},a)\)，对\(a\)作估计……等等。有什么方法可以对参数估计进行综合的讨论呢？下一篇文章将讨论常用的点估计方法。