CS229 笔记06
朴素贝叶斯
事件模型
事件模型与普通的朴素贝叶斯算法不同的是，在事件模型中，假设文本词典一共有 \(k\) 个词，训练集一共有 \(m\) 封邮件，第 \(i\) 封邮件的词的个数为 \(n_i\) ，则 \(x^{(i)} \in \{1,2,\cdots,k\}^{n_i}\) 。
此时模型的参数为：
\[
\begin{eqnarray*}
\phi_{k|y=0}&=&P(x_j=k|y=0)\\[1em]
\phi_{k|y=1}&=&P(x_j=k|y=1)\\[1em]
\phi_{y=0}&=&P(y=0)\\[1em]
\phi_{y=1}&=&P(y=1)\\[1em]
P(x,y)&=&\left(\prod_{j=1}^nP(x_j|y)\right)P(y)
\end{eqnarray*}
\]
神经网络
简介
这部分并没有详细讲。
支持向量机
记号的声明
\[
\begin{eqnarray*}
x,W&\in&{\Bbb R}^n\\[1em]
y&\in&\{-1,1\}\\[1em]
b&\in&{\Bbb R}\\[1em]
g(z)&=&\begin{cases}1&z\geq0\\[1em]-1&z<0\end{cases}\\[1em]
h_{W,b}(x)&=&g(W^{\rm T}x+b)
\end{eqnarray*}
\]超平面 \((W,b)\) 与一个样本 \((x^{(i)},y^{(i)})\) 的Functional Margin（函数间隔） \(\hat{\gamma}^{(i)}\) 定义为：
\[
\hat\gamma^{(i)}\xlongequal{def}y^{(i)}\left(W^{\rm T}x+b\right)
\]超平面 \((W,b)\) 与整个训练集的函数间隔 \(\hat{\gamma}\) 定义为：
\[
\hat\gamma\xlongequal{def}\min_i\hat\gamma^{(i)}
\]超平面 \((W,b)\) 与一个样本 \((x^{(i)},y^{(i)})\) 的Geometric Margin（几何间隔） \(\gamma^{(i)}\) 定义为样本 \((x^{(i)},y^{(i)})\) 与超平面 \((W,b)\) 之间的距离，则样本在超平面上的投影为：
\[
x^{(i)}-\frac{W}{||W||}\gamma^{(i)}
\]该点满足：
\[
\begin{eqnarray*}
W^{\rm T}\left(x^{(i)}-\frac{W}{||W||}\gamma^{(i)}\right)+b&=&0\\[1em]
W^{\rm T}x^{(i)}+b&=&\frac{W^{\rm T}W}{||W||}\gamma^{(i)}\\[1em]
W^{\rm T}x^{(i)}+b&=&||W||\gamma^{(i)}\\[1em]
\gamma^{(i)}&=&\left(\frac{W}{||W||}\right)^{\rm T}x^{(i)}+\frac{b}{||W||}\\[1em]
\end{eqnarray*}
\]更一般地（为了考虑分类结果的正误），将几何间隔 \(\hat\gamma^{(i)}\) 定义为：
\[
\gamma^{(i)}\xlongequal{def}y^{(i)}\left[\left(\frac{W}{||W||}\right)^{\rm T}x^{(i)}+\frac{b}{||W||}\right]
\]而一般会将参数 \(||W||\) 归一化使其等于1，此时几何等于函数间隔：
\[
\gamma^{(i)}\xlongequal{def}y^{(i)}\left(W^{\rm T}x+b\right)
\]超平面 \((W,b)\) 与整个训练集的几何间隔 \(\gamma\) 定义为：
\[
\gamma\xlongequal{def}\min_i\gamma^{(i)}
\]学习算法的目的就是最大化几何间隔。