经验风险最小化和极大似然估计的关系

一、经验风险定义

给定一个训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1,y1),(x2,y2),...,(xN,yN)}，模型f(X)关于训练数据集的平均损失称为经验风险（Empirical Risk）或经验损失（Empirical Loss），记作 R e m p R_{emp} Remp：
R e m p ( f ) = 1 N ∑ i = 1 N L ( y i , f ( x i ) ) R_{emp}(f) = \frac{1}{N}\sum_{i=1}^NL(y_i,f(x_i)) Remp(f)=N1i=1∑NL(yi,f(xi))

经验风险是模型关于训练样本集的平均损失，根据大数定律，当样本容量N趋于无穷时，经验风险趋于期望风险。

二、经验风险最小化概念

当样本容量足够大时，经验风险最小化（Empirical Risk Minimization，ERM）的策略认为，经验风险最小的模型就是最优的模型。经验风险最小化求最优模型就是求解最优化问题：

min ⁡ f ∈ F 1 N ∑ i = 1 N L ( y i , f ( x i ) ) = min ⁡ f ∈ F 1 N ∑ i = 1 N ( − l o g P ( Y ∣ X ) ) ，其中 F 是模型的假设空间 \min_{f∈F}\frac{1}{N}\sum_{i=1}^NL(y_i,f(x_i))=\min_{f∈F}\frac{1}{N}\sum_{i=1}^N(-logP(Y|X))，其中F是模型的假设空间 f∈FminN1i=1∑NL(yi,f(xi))=f∈FminN1i=1∑N(−logP(Y∣X))，其中F是模型的假设空间

三、极大似然估计

最大似然估计（Maximum Likelihood Estimation，MLE）是一种常用的参数估计方法，其基本思想是，已知一组观测数据，假设这些数据服从某个概率分布，并且未知的分布参数可以通过最大化似然函数来估计。

似然函数是指在已知观测数据的条件下，关于未知参数的函数。最大似然估计的思路是，在所有可能的参数值中，选择能够使观测数据出现概率最大的那个参数值作为估计值。这样得到的参数值就是最大似然估计值。

四、经验风险最小化和极大似然估计的关系

在机器学习中，当模型是条件概率分布、损失函数是对数损失函数时，经验风险最小化就等价于极大似然估计。

下面解释一下这个关系的推导：

极大似然估计可以表示为：
max ⁡ f ∈ F ∏ i = 1 N P ( y i ∣ x i ) ，其中 F 是模型的假设空间 \max_{f∈F}∏ _{i=1}^N P(y_i∣x_i)，其中F是模型的假设空间 f∈Fmaxi=1∏NP(yi∣xi)，其中F是模型的假设空间
由于极大似然估计只要函数取最大值即可，同时对数函数是单调递增的，因此上述表示在极大似然估计情况下可以等价于对上式取对数的形式：

max ⁡ f ∈ F ∑ i = 1 N l o g ( P ( y i ∣ x i ) ) ，其中 F 是模型的假设空间 \max_{f∈F}\sum_{i=1}^N log(P(y_i∣x_i))，其中F是模型的假设空间 f∈Fmaxi=1∑Nlog(P(yi∣xi))，其中F是模型的假设空间

由相关定义可知，经验风险最小值情况下可以取得极大似然估计，不过经验风险最小值对应的是极大似然估计的负值，加上在极大似然估计和交易风险评估时可以忽略常数1/N，因此可以得到上述公式和经验风险最小化公式等价。

小结

本文介绍了经验风险最小化和极大似然估计的定义，当模型是条件概率分布、损失函数是对数损失函数时，经验风险最小化就等价于极大似然估计，本文对这个等价关系进行了推导解释。
经验风险最小化和极大似然估计的关系-LMLPHP

更多人工智能知识学习请关注专栏《零基础机器学习入门》后续的文章。

写博不易，敬请支持：

如果阅读本文于您有所获，敬请点赞、评论、收藏，谢谢大家的支持！

关于老猿的付费专栏

付费专栏《https://blog.csdn.net/laoyuanpython/category_9607725.html 使用PyQt开发图形界面Python应用》专门介绍基于Python的PyQt图形界面开发基础教程，对应文章目录为《 https://blog.csdn.net/LaoYuanPython/article/details/107580932 使用PyQt开发图形界面Python应用专栏目录》；
付费专栏《https://blog.csdn.net/laoyuanpython/category_10232926.html moviepy音视频开发专栏 )详细介绍moviepy音视频剪辑合成处理的类相关方法及使用相关方法进行相关剪辑合成场景的处理，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/107574583 moviepy音视频开发专栏文章目录》；
付费专栏《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初学者疑难问题集》为《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理》的伴生专栏，是笔者对OpenCV-Python图形图像处理学习中遇到的一些问题个人感悟的整合，相关资料基本上都是老猿反复研究的成果，有助于OpenCV-Python初学者比较深入地理解OpenCV，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/109713407 OpenCV-Python初学者疑难问题集专栏目录》
付费专栏《https://blog.csdn.net/laoyuanpython/category_10762553.html Python爬虫入门》站在一个互联网前端开发小白的角度介绍爬虫开发应知应会内容，包括爬虫入门的基础知识，以及爬取CSDN文章信息、博主信息、给文章点赞、评论等实战内容。

前两个专栏都适合有一定Python基础但无相关知识的小白读者学习，第三个专栏请大家结合《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理》的学习使用。

对于缺乏Python基础的同仁，可以通过老猿的免费专栏《https://blog.csdn.net/laoyuanpython/category_9831699.html 专栏：Python基础教程目录）从零开始学习Python。

如果有兴趣也愿意支持老猿的读者，欢迎购买付费专栏。

LaoYuanPython