The Representer Theorem, 表示定理.
给定:
- 非空样本空间: \(\chi\)
- \(m\)个样本:\(\{(x_1, y_1), \dots, (x_m, y_m)\}, x_i in \chi, y_i \in R\)
- 非负的损失函数: \(J:(\chi \times R^2)^m \to R^+\). 这个符号表示初看挺别扭的, 从wikipedia上抄来的. 含义是\(J\)有\(m \times 3\)个参数, 3代表: 样本\(x_i\) (一个\(\chi\))+ 它的目标值\(y_i\)(一个\(R\)) + 估计值 \(f(x_i)\) (另一个\(R\))
- 一个正半定kernel function : \(\kappa: \chi^2 \to R\)
- \(\kappa\)对应的再生核希尔伯特空间(Reproducing Kernel Hilbert Space, RKHS) \(H\)
- 一个递增函数\(g\)
优化问题:
\[
argmin_h J = argmin_h J(x_1, y_1, h(x_1), \dots, x_m, y_m, g(||h||^2))
\]
如果\(h^* \in H\)是一个最优解,\(h*\)必具有以下形式:
\[
h^* = \sum_{i=1}^m \alpha_i \kappa(x_i, \cdot)
\]
可能是理解不够吧, 感觉也就那样:
- .(将\(x\)增广可将\(b\)并入\(w\)处理)
- 只说明形式, 对得到\(\alpha\)的值并没有帮助.
所以证明就不管了, 知道有这么回事就行了. 以后若需要深入了解, 可以参考pdf