1. 过拟合和欠拟合
当数据比较简单时，使用模型容量低的模型更好，否则使用高的会出现过拟合。如果是复杂的数据用到简单模型上会出现欠拟合，用到复杂模型上是正常的。
2. 模型容量
模型容量：拟合各种函数的能力
- 低容量的模型难以拟合训练数据
- 高容量的模型可以记住所有的训练数据
3. 模型容量的影响
4. 估计模型容量
-
难以在不同种类算法之间比较
- 例如树模型和神经网络
-
给定一个模型种类，将有两个主要因素
- 参数的个数
- 参数值的选择范围
5. VC维
- 统计学习理论的一个核心思想
- 对于一个分类模型，VC等价于一个最大的数据集的大小，不管如何给定标号，都存在一个模型对它进行完美分类
6. VC维的用处
-
提供为什么一个模型好的理论依据
- 它可以衡量训练误差和泛化误差之间的间隔
-
但在深度学习中很少使用
- 衡量不是很准确
- 计算深度学习模型的VC维很困难
7. 数据复杂度
- 多个重要因素
- 样本个数
- 每个样本的元素个数
- 时间，空间结构
- 多样性
8. 总结
- 模型容量需要匹配数据复杂度，否则可能导致欠拟合和过拟合
- 统计机器学习提供数学工具来衡量模型复杂度
- 实际中一般靠观察训练误差和验证误差