🕷️ Crawler Inspector

[](https://www.doubao.com/?channel=cnblogs&source=hw_db_cnblogs&type=lunt&theme=bianc) - [](https://www.cnblogs.com/ "开发者的网上家园") - [会员](https://cnblogs.vip/) - [周边](https://cnblogs.vip/store) - [新闻](https://news.cnblogs.com/) - [博问](https://q.cnblogs.com/) - [闪存](https://ing.cnblogs.com/) - [众包](https://www.cnblogs.com/cmt/p/18500368) - [赞助商](https://www.cnblogs.com/cmt/p/19316348) - [Chat2DB](https://chat2db-ai.com/) - [](https://i.cnblogs.com/EditPosts.aspx?opt=1 "写随笔") [](https://account.cnblogs.com/blogapply "我的博客") [](https://msg.cnblogs.com/ "短消息") []("简洁模式启用，您在访问他人博客时会使用简洁款皮肤展示") [](https://home.cnblogs.com/) [我的博客](https://account.cnblogs.com/blogapply) [我的园子](https://home.cnblogs.com/) [账号设置](https://account.cnblogs.com/settings/account) [会员中心](https://vip.cnblogs.com/my) [简洁模式 ...]("简洁模式会使用简洁款皮肤显示所有博客") [退出登录]() [注册](https://account.cnblogs.com/signup) [登录]() [](https://www.cnblogs.com/eilearn/) # [深度机器学习](https://www.cnblogs.com/eilearn) ## - [博客园](https://www.cnblogs.com/) - [首页](https://www.cnblogs.com/eilearn/) - [新随笔](https://i.cnblogs.com/EditPosts.aspx?opt=1) - [联系](https://msg.cnblogs.com/send/%E6%B7%B1%E5%BA%A6%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0) - [订阅]() - [管理](https://i.cnblogs.com/) 随笔 - 260 文章 - 0 评论 - 15 阅读 - 80万 # [机器学习（二十五）— 极大似然估计（MLE）、贝叶斯估计、最大后验概率估计（MAP）区别](https://www.cnblogs.com/eilearn/p/9433911.html "发布于 2018-08-07 21:40") 最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum aposteriori estimation, 简称MAP）是很常用的两种参数估计方法。 **1、最大似然估计（MLE）** 在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。 也就是说，最大似然估计，就是**利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值(模型已知，参数未知）。** **（1）基本思想** 当从模型总体随机抽取n组样本观测值后，**最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大**，而不是像最小二乘估计法旨在得到使得模型能最好地拟合样本数据的参数估计量。 例如，我们知道这个分布是正态分布，但是不知道均值和方差；或者是二项分布，但是不知道均值。 最大似然估计（MLE，Maximum Likelihood Estimation）就可以用来估计模型的参数。MLE的目标是找出一组参数，使得模型产生出观测数据的概率最大。 **（2）模型推导** 假设样本集D={x1 、x2 、…、xn}，**假设样本之间都是相对独立的，注意这个假设很重要**！于是便有：  所以假设似然函数为：  接下来我们求参的准则便是如名字一样**最大化似然函数**：  如果求得的θ 是参数空间中能使似然函数最大的取值，则θ是最可能的参数取值，即最大的似然估计值。 **似然函数取对数：**就是**防止先验概率为0**，那么上面的L(θ\|D)整个式子便都成0 了，那肯定是不行的啊，不能因为一个数据误差影响了整个数据的使用。同时那么**多先验概率相乘，可能出现下溢出**。所以引入拉普拉斯修正，也就是取对数ln，想必大家在数学中都用过这种方法的。  所以最大化的目标便是：  之后对参数求偏导，偏导数为0，求解最优值。 **求最大似然****函数估计值的一般步骤：** （1） 写出似然函数 （2） 对似然函数取对数，并整理 （3） 求导数 （4） 解似然方程 **（3）推导举例** 我们拿这枚硬币抛了10次，得到的数据（x0）是：反正正正正反正正正反。我们想求的正面概率θθ是模型参数，而抛硬币模型我们可以假设是 二项分布。那么，出现实验结果x0（即反正正正正反正正正反）的似然函数是多少呢？  对似然函数求对数，得到对数似然函数后对参数θ求导，令导数为0，求解θ的值。此处求得θ=0.7。 **（4）****最大似然估计的特点：** 1\.比其他估计方法更加简单； 2\.收敛性：无偏或者渐近无偏，当样本数目增加时，收敛性质会更好； 3\.如果假设的类条件概率模型正确，则通常能获得较好的结果。但如果假设模型出现偏差，将导致非常差的估计结果。 **2、贝叶斯估计** 贝叶斯统计的重点**：参数未知且不确定，因此作为随机变量，参数本身也是一个分布**，同时，根据已有的信息可以得到参数θ的先验概率，根据先验概率来推断θ的后验概率。 不同于ML估计，不再把参数θ看成一个未知的确定变量，而是看成**未知的随机变量**，通过对第i类样本Di的观察，使概率密度分布P(Di\|θ)转化为后验概率P(θ\|Di)，再求贝叶斯估计。 贝叶斯估计是在MAP上做进一步拓展，此时不直接估计参数的值，而是允许参数服从一定概率分布。极大似然估计和极大后验概率估计，都求出了参数theta的值，而贝叶斯推断则不是，贝叶斯推断扩展了极大后验概率估计MAP（一个是等于，一个是约等于）方法，它根据参数的先验分布P(theta)和一系列观察X，求出参数theta的后验分布P(theta\|X)，然后求出theta的期望值，作为其最终值。另外还定义了参数的一个方差量，来评估参数估计的准确程度或者置信度。 贝叶斯估计：从参数的先验知识和样本出发。**期望后延信息在真实的θ值处有一个尖峰。**  贝叶斯公式：  根据**特征条件独立性假设**：其中X 是多个特征的矩阵，Y 是类别标签   我们可以计算出任一样本x属于类别的概率，选择其中概率最大者便可作为其分类的类标。  基本步骤：  **3、似然函数和概率函数** **概率**研究的问题是，已知一个模型和参数，怎么去预测这个模型产生的结果的特性（例如均值，方差，协方差等等）。**统计是**，有一堆数据，要利用这堆数据去预测模型和参数。 **概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。** 在统计里面，似然函数和概率函数却是两个不同的概念（其实也很相近就是了）。 对于这个函数：P(x\|θ)。输入有两个：x表示某一个具体的数据；θ表示模型的参数。 如果θ是已知确定的，x是变量，这个函数叫做**概率函数**(probability function)，它描述对于不同的样本点x，其出现概率是多少。 如果x是已知确定的，θ是变量，这个函数叫做**似然函数**(likelihood function), 它描述对于不同的模型参数，出现x这个样本点的概率是多少。 **4、最大后验概率估计（MAP）** 最大似然估计是求参数θ, 使似然函数P(x0\|θ)最大。 **最大后验概率估计**则是想求θ使P(x0\|θ)P(θ)最大。求得的θ不单单让似然函数大，θ自己出现的先验概率也得大。 最大后验概率估计是最大似然和贝叶斯估计的结合，  **其实如果MAP的后验概率中P(θ) = 1，就是最大似然概率。也就是说最大似然概率默认未知参数 θ 取值都是等可能性的，而最大后验概率在参数估计时考虑了参数的先验概率。** **4、对比总结** 1. 极大似然估计、最大后验估计和贝叶斯估计都是**参数估计方法**。 2. **极大似然估计和最大后验估计都是点估计**，即把参数看成未知常数，通过最大化似然和后验概率实现。 3. **贝叶斯估计把参数看成一个随机变量，属于分布估计**，然后求该随机变量在数据集D下的条件期望。 4. **当先验为均匀分布时**，极大似然估计和最大后验估计是等价的。即估计参数的先验概率为 1 ； 5. **当先验和似然都是高斯分布时**，最大后验估计和贝叶斯估计是等价的。 6. 通常情况下，贝叶斯估计的积分很难计算，但可以采取一些近似方法，如拉普拉斯和变分近似以及马尔科夫链蒙特卡洛抽样。 参考：https://blog.csdn.net/u011508640/article/details/72815981 分类: [机器学习](https://www.cnblogs.com/eilearn/category/1210483.html) 免责声明：本内容来自平台创作者，博客园系信息发布平台，仅提供信息存储空间服务。 [好文要顶]() [关注我]() [收藏该文]() [微信分享]() [](https://home.cnblogs.com/u/eilearn/) [深度机器学习](https://home.cnblogs.com/u/eilearn/) [粉丝 - 162](https://home.cnblogs.com/u/eilearn/followers/) [关注 - 7](https://home.cnblogs.com/u/eilearn/followees/) [\+加关注]() 0 0 [升级成为会员](https://cnblogs.vip/) [«](https://www.cnblogs.com/eilearn/p/8990079.html) 上一篇： [机器学习（二十四）— 偏差Bias 与方差Variance](https://www.cnblogs.com/eilearn/p/8990079.html "发布于 2018-08-06 21:12") [»](https://www.cnblogs.com/eilearn/p/9429253.html) 下一篇： [代码题（36）— 搜索二维矩阵](https://www.cnblogs.com/eilearn/p/9429253.html "发布于 2018-08-08 09:43") posted @ 2018-08-07 21:40 [深度机器学习](https://www.cnblogs.com/eilearn) 阅读(4749) 评论(0) [收藏]() [举报]() [刷新页面](https://www.cnblogs.com/eilearn/p/9433911.html)[返回顶部](https://www.cnblogs.com/eilearn/p/9433911.html#top) 登录后才能查看或发表评论，立即 [登录]() 或者 [逛逛](https://www.cnblogs.com/) 博客园首页 [【推荐】博客园周边店上新键帽，多款五面热升华设计，为代码加点仪式感](https://cnblogs.vip/store/key-caps) [【推荐】智能无限 \| 协作无间，TRAE SOLO 中国版正式上线，全面免费](https://www.trae.com.cn/?utm_source=advertising&utm_medium=cnblogs_ug_cpa&utm_term=hw_trae_cnblogs) [【推荐】科研领域的连接者艾思科蓝，一站式科研学术服务数字化平台](https://ais.cn/u/QjqYJr) [【推荐】诚邀您体验阿里巴巴推出的新一代 Agentic 编程平台 Qoder](https://www.cnblogs.com/cmt/p/19165152) [](https://dis.chatdesks.cn/chatdesk/jmcnblogs.html) 编辑推荐： - [基于NetCorePal Clou Framework的DDD架构管理系统实践](https://www.cnblogs.com/aishangyipiyema/p/19499381) - [AI → JSON → UI](https://www.cnblogs.com/guangzan/p/19487446) - [为什么说 IO 操作异步才有意义](https://www.cnblogs.com/kklldog/p/19449864) - [2025 年终总结｜30岁](https://www.cnblogs.com/liyq666/p/19427476) - [Spring AOP + Guava RateLimiter：我是如何用注解实现优雅限流的？](https://www.cnblogs.com/xzqcsj/p/19413883) 热点博文： - [.NET 10了，HttpClient还是不能用using吗？我做了一个实验](https://www.cnblogs.com/sdcb/p/19500792/20260119-using-httpclient) - [告别“屎山”代码！Gear.NET：专为 .NET 工业自动化打造的微编排框架](https://www.cnblogs.com/egreen/p/19498375) - [32岁程序员猝死背后，我的一些真实感受](https://www.cnblogs.com/HaiJun-Aion/p/19521040) - [WPF 使用 HLSL + Clip 实现高亮歌词光照效果](https://www.cnblogs.com/TwilightLemon/p/19497125) - [MWGA - 为了复活1000亿行C\#代码](https://www.cnblogs.com/xdesigner/p/19501590) ### 公告 昵称： [深度机器学习](https://home.cnblogs.com/u/eilearn/) 园龄： [7年8个月](https://home.cnblogs.com/u/eilearn/ "入园时间：2018-05-04") 粉丝： [162](https://home.cnblogs.com/u/eilearn/followers/) 关注： [7](https://home.cnblogs.com/u/eilearn/followees/) [\+加关注]() | | | | | | | | |---|---|---|---|---|---|---| | | | | | | | | | [\<]() | 2026年1月 | [\>]() | | | | | | 日 | 一 | 二 | 三 | 四 | 五 | 六 | | 28 | 29 | 30 | 31 | 1 | 2 | 3 | | 4 | 5 | 6 | 7 | 8 | 9 | 10 | | 11 | 12 | 13 | 14 | 15 | 16 | 17 | | 18 | 19 | 20 | 21 | 22 | 23 | 24 | | 25 | 26 | 27 | 28 | 29 | 30 | 31 | | 1 | 2 | 3 | 4 | 5 | 6 | 7 | ### 搜索 ### 常用链接 - [我的随笔](https://www.cnblogs.com/eilearn/p/ "我的博客的随笔列表") - [我的评论](https://www.cnblogs.com/eilearn/MyComments.html "我的发表过的评论列表") - [我的参与](https://www.cnblogs.com/eilearn/OtherPosts.html "我评论过的随笔列表") - [最新评论](https://www.cnblogs.com/eilearn/comments "我的博客的评论列表") - [我的标签](https://www.cnblogs.com/eilearn/tag/ "我的博客的标签列表") ### [随笔分类](https://www.cnblogs.com/eilearn/post-categories) - [C++ 知识点(52)](https://www.cnblogs.com/eilearn/category/1210518.html) - [Python 知识点(10)](https://www.cnblogs.com/eilearn/category/1361718.html) - [SQL 知识点(6)](https://www.cnblogs.com/eilearn/category/2022827.html) - [tensorflow笔记(4)](https://www.cnblogs.com/eilearn/category/2018873.html) - [笔试&面试知识点(8)](https://www.cnblogs.com/eilearn/category/1253666.html) - [笔试在线编程(4)](https://www.cnblogs.com/eilearn/category/1210516.html) - [读书笔记(13)](https://www.cnblogs.com/eilearn/category/1320989.html) - [机器学习(38)](https://www.cnblogs.com/eilearn/category/1210483.html) - [论文笔记(4)](https://www.cnblogs.com/eilearn/category/1343023.html) - [没事儿看看(2)](https://www.cnblogs.com/eilearn/category/1322619.html) - [目标检测(8)](https://www.cnblogs.com/eilearn/category/1219708.html) - [深度学习(15)](https://www.cnblogs.com/eilearn/category/1212603.html) - [算法编程(70)](https://www.cnblogs.com/eilearn/category/1228111.html) - [推荐系统(19)](https://www.cnblogs.com/eilearn/category/1791556.html) - [小代码(2)](https://www.cnblogs.com/eilearn/category/1522335.html) - [学习知识点(3)](https://www.cnblogs.com/eilearn/category/1503885.html) ### 随笔档案 - [2022年5月(1)](https://www.cnblogs.com/eilearn/p/archive/2022/05) - [2022年1月(1)](https://www.cnblogs.com/eilearn/p/archive/2022/01) - [2021年12月(1)](https://www.cnblogs.com/eilearn/p/archive/2021/12) - [2021年11月(3)](https://www.cnblogs.com/eilearn/p/archive/2021/11) - [2021年10月(1)](https://www.cnblogs.com/eilearn/p/archive/2021/10) - [2021年9月(3)](https://www.cnblogs.com/eilearn/p/archive/2021/09) - [2021年8月(7)](https://www.cnblogs.com/eilearn/p/archive/2021/08) - [2021年7月(1)](https://www.cnblogs.com/eilearn/p/archive/2021/07) - [2021年6月(7)](https://www.cnblogs.com/eilearn/p/archive/2021/06) - [2021年5月(12)](https://www.cnblogs.com/eilearn/p/archive/2021/05) - [2021年4月(2)](https://www.cnblogs.com/eilearn/p/archive/2021/04) - [2021年3月(4)](https://www.cnblogs.com/eilearn/p/archive/2021/03) - [2020年12月(2)](https://www.cnblogs.com/eilearn/p/archive/2020/12) - [2020年8月(1)](https://www.cnblogs.com/eilearn/p/archive/2020/08) - [2020年6月(2)](https://www.cnblogs.com/eilearn/p/archive/2020/06) - [2020年2月(1)](https://www.cnblogs.com/eilearn/p/archive/2020/02) - [2019年8月(3)](https://www.cnblogs.com/eilearn/p/archive/2019/08) - [2019年6月(12)](https://www.cnblogs.com/eilearn/p/archive/2019/06) - [2019年5月(6)](https://www.cnblogs.com/eilearn/p/archive/2019/05) - [2019年1月(5)](https://www.cnblogs.com/eilearn/p/archive/2019/01) - [2018年12月(19)](https://www.cnblogs.com/eilearn/p/archive/2018/12) - [2018年11月(8)](https://www.cnblogs.com/eilearn/p/archive/2018/11) - [2018年10月(9)](https://www.cnblogs.com/eilearn/p/archive/2018/10) - [2018年9月(5)](https://www.cnblogs.com/eilearn/p/archive/2018/09) - [2018年8月(58)](https://www.cnblogs.com/eilearn/p/archive/2018/08) - [2018年7月(25)](https://www.cnblogs.com/eilearn/p/archive/2018/07) - [2018年6月(27)](https://www.cnblogs.com/eilearn/p/archive/2018/06) - [2018年5月(34)](https://www.cnblogs.com/eilearn/p/archive/2018/05) ### [阅读排行榜](https://www.cnblogs.com/eilearn/most-viewed) - [1\. 目标检测 — 评价指标(54171)](https://www.cnblogs.com/eilearn/p/9071440.html) - [2\. 深度学习—过拟合问题(54056)](https://www.cnblogs.com/eilearn/p/9203186.html) - [3\. 深度学习—BN的理解（一）(48155)](https://www.cnblogs.com/eilearn/p/9780696.html) - [4\. C++（十三）— map的排序(45204)](https://www.cnblogs.com/eilearn/p/9473804.html) - [5\. 深度学习—池化、padding的理解(28708)](https://www.cnblogs.com/eilearn/p/9282902.html) ### [评论排行榜](https://www.cnblogs.com/eilearn/most-commented) - [1\. 深度学习—BN的理解（一）(6)](https://www.cnblogs.com/eilearn/p/9780696.html) - [2\. 深度学习—常见问题总结（调优方法）(2)](https://www.cnblogs.com/eilearn/p/9044543.html) - [3\. 推荐系统（18）—— 电商常见缩写意义(1)](https://www.cnblogs.com/eilearn/p/15218601.html) - [4\. SQL（1）— join使用(1)](https://www.cnblogs.com/eilearn/p/15208372.html) - [5\. 推荐系统（8）—— 多目标优化应用总结\_1(1)](https://www.cnblogs.com/eilearn/p/14774587.html) ### [推荐排行榜](https://www.cnblogs.com/eilearn/most-liked) - [1\. 深度学习—过拟合问题(10)](https://www.cnblogs.com/eilearn/p/9203186.html) - [2\. 深度学习—BN的理解（一）(9)](https://www.cnblogs.com/eilearn/p/9780696.html) - [3\. 目标检测 — 评价指标(3)](https://www.cnblogs.com/eilearn/p/9071440.html) - [4\. Python—numpy.flatnonzero()(3)](https://www.cnblogs.com/eilearn/p/9014864.html) - [5\. 推荐系统（5）—— 推荐系统多目标优化（ESMM、MMOE、CGC、PLE）(2)](https://www.cnblogs.com/eilearn/p/14746522.html) [博客园](https://www.cnblogs.com/) © 2004-2026 [浙公网安备 33010602011771号](http://www.beian.gov.cn/portal/registerSystemInfo?recordcode=33010602011771) [浙ICP备2021040463号-3](https://beian.miit.gov.cn/) 点击右上角即可分享