独立（Independence）

统计独立（Statistical Independence）

\[
X \perp Y \leftrightarrow P(X,Y)=P(Y) P(Y)
\]

思考：假设 \(X \perp Y\)，\(Y \perp Z\)，那么 \(X\) 和 \(Y\) 有没有独立关系呢？
举例：爸吃饭，奥巴马吃饭，妈吃饭

条件独立（Conditional Independence）

\[
X \perp Y | Z \leftrightarrow P(X, Y|Z)=P(X|Z)P(Y|Z)
\]

仅知道 Z 就能够决定 X ，此时 Y 与 X （条件）独立

概率图模型（Probabilistic Graphical Models）

预备知识

对于 D 个 K 项随机变量：\(X_1, ..., X_D \quad X_i \in \left \{ 1, ..., K \right \}\)
边际（Marginal）：
\[
P(X_{1:i-1,\ i+1:D})=\sum_{X_i}P(X_{1:D})
\]
链式法则（Chain Rule）求联合分布
\[
P(X_{1:D})=P(X_1)\prod_{d=2}^{D}P(X_{d}|X_{1:d-1})
\]

计算联合分布时浮现的问题

计算该分布共需要 \(O(K^D)\) 个参数（即概率）！

推断：推断时计算量太大
学习：学习这么多参数需要大量数据

想法：使用条件独立化简模型

有向图与无向图模型（Directed Graph and Undirected Graph Model）

更高效的参数化（Parameterization）
更高效的推断（Inference）

\[
P(X_{1:D})=P(X_1) \prod_{d=2}^D P(X_{d}|X_{d-1})
\]

直观解释：要预测某个随机变量的值，只需要那些与之相关的变量。

有向图模型（Directed Graphical Model）

DAG -- 有向无环图（Directed Acyclic Graph）
用局部条件分布的乘积来表示联合分布
条件已经规范化
也叫贝叶斯置信网络（Bayesian Belief Network）

关键性质

顺序马尔可夫性质（Ordered Markov Property）：节点仅取决于直接父节点，即
\[
X_i \perp X_{pred(i)\setminus parent(i)} | X_{parent(i)}
\]

无向图模型（Undirected Graphical Model）

...

图模型的主要任务（Main Tasks in Graphical Models）

有向图模型的条件独立（Conditional Independence in Directed Graph Model）

条件独立和 D-separation

P 构成一条链结构：\(s \rightarrow m \rightarrow t\) 或 \(s \leftarrow m \leftarrow t\)，其中 \(m \in E\)
P 构成一个峰结构：\(_s \swarrow ^m \searrow _t\)，其中 \(m \in E\)
P 构成一个谷结构：\(^s \searrow _m \swarrow ^t\)，其中 \(m\cup descendant(m) \notin E\)

此时，我们用 E 将节点集合 A，B 分隔开了。
同时，A 和 B 在 E 的条件下独立：\(A \perp B\ |\ E\)
因此，我们找到了在 DAG 中对应于条件独立的性质 -- D-separation

贝叶斯球算法（Bayesian Ball Algorithm）

步骤如下：

标记所有 E 中的节点表示其为观察值（Evidence）；
在 A 中的每个节点放“球”，让它们以一定规则“弹射”（无视图中边的方向）；
检查“球”是否进入了 B 中的节点。

“弹射”规则：

碰到链结构、峰结构中会被“弹回”；
碰到谷结构会被“弹回”（注意：谷结构的“谷底”节点不是 Evidence）。
直观解释：谷结构中，两个父节点在共同子节点的条件下，两父节点相关（不独立）。这种现象被称为“explaining away”。例如，抛两枚硬币的先验是相互独立的。而当我们观察到正面硬币的个数时，概率被耦合起来了（正面朝上的硬币个数是1，有1枚硬币正面朝上，则另外1枚硬币必然反面朝上）。