🕷️ Crawler Inspector

URL Lookup

Direct Parameter Lookup

Raw Queries and Responses

1. Shard Calculation

Query:

Response:

Calculated Shard: 149 (from laksa186)

2. Crawled Status Check

Query:

curl -X POST \
  'http://laksa149.int.ahrefs:8124/' \
  -H 'Content-Type: text/plain' \
  -H 'X-ClickHouse-Database: crawler3' \
  -H 'Authorization: Basic YXBpOg==' \
  -d 'SELECT getAhrefsURLFromUnparsed(src_unparsed) AS found_url, ifNull(toUnixTimestamp(download_stamp), 0) AS crawl_time, ifNull(toUnixTimestamp(props_url_first_seen), 0) AS first_indexed_time, download_http_code AS http_code, src_unparsed AS src_unparsed, src_root_hash AS src_root_hash, history_drop_reason AS history_drop_reason, meta_title AS meta_title, meta_descriptions AS meta_descriptions, attrs_boilerpipe_text AS attrs_boilerpipe_text, attrs_markdown AS attrs_markdown, attrs_readable_markdown AS attrs_readable_markdown, meta_canonical AS meta_canonical FROM crawler3.page_info_local FINAL PREWHERE (src_root_hash, src_unparsed) IN ((getAhrefsRootHashFromUnparsed(getAhrefsUnparsedNoserviceFromURL(\'https://developer.aliyun.com/article/681010\')), getAhrefsUnparsedNoserviceFromURL(\'https://developer.aliyun.com/article/681010\'))) FORMAT JSONEachRow'

Response:

{"found_url":"https:\/\/developer.aliyun.com\/article\/681010","crawl_time":1769600104,"first_indexed_time":1598017185,"http_code":200,"src_unparsed":"com,aliyun!developer,\/article\/681010 s443","src_root_hash":"892221456919234349","history_drop_reason":null,"meta_title":"01 EM算法 - 大纲 - 最大似然估计(MLE)、贝叶斯算法估计、最大后验概率估计(MAP)-阿里云开发者社区","meta_descriptions":["01 EM算法 - 大纲 - 最大似然估计(MLE)、贝叶斯算法估计、最大后验概率估计(MAP)"],"attrs_boilerpipe_text":"2018-12-22\n2942\n版权\n版权声明：\n本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《\n阿里云开发者社区用户服务协议\n》和\n        《\n阿里云开发者社区知识产权保护指引\n》。如果您发现本社区中有涉嫌抄袭的内容，填写\n侵权投诉表单\n进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。\nEM算法的讲解的内容包括以下几个方面：\n1、最大似然估计\n2、K-means算法\n3、EM算法\n4、GMM算法\n__EM算法本质__是统计学中的一种求解参数的方法，基于这种方法，我们可以求解出很多模型中的参数。\n1、最大似然估计\n在__求解线性模型__的过程中，我们用到了__最大似然估计(MLE)__的思想。\nEM算法达到的目的和最大似然估计是一样的，只不过EM算法可以帮助我们去计算一些__隐藏变量__的参数。即当极大似然估计无法解决某些问题的时候，我们需要使用EM算法这种__迭代算法__的思路，不断得__逼近__最后的参数解。\nEM算法不是具体某一种模型，而是一种求解问题的思路。在统计学中这种算法思想用的特别多。\n2、K-means算法\nK-means算法__的求解过程本质上就是EM算法的思想，面试中曾经有人问：__K-means算法究竟是如何运用EM算法来实现的？\n这样两个算法就通过一个问题来挂上钩了。\n3、EM算法\n然后讲到如何将EM算法用一种比较通式化的方法来实现求解过程，即但凡我们遇到一个可以用EM算法来解决的问题，我们如何去求解这个问题对应的参数。\n就好比极大似然估计中，我们使用联合概率作为似然函数的值，然后求解极大值。当然首先不同的问题会有不同的联合概率，先要把这个联合概率构造出来。\n4、GMM算法\n最后使用EM算法解决一个问题：有一个模型叫做高斯混合模型(GMM)，可以通过EM算法来帮助我们来求解它最后的参数值。\n一、最大似然估计(MLE)回顾\n__最大似然估计(Maximum Likelihood Estimati) 就是利用已知的样本结果，反推最有可能(最大概率)导致这样结果的参数值的计算过程。__直白来讲，就是给定了一定的数据，假定知道数据是从某种分布中随机抽取出来的，但是不知道这个分布具体的参数值，即“模型已定，参数未知”，MLE就可以用来估计模型的参数。\nMLE的目标是找出一组参数(模型中的参数)，使得模型产出观察数据的概率最大。\n例子：假定盒子中有黑白两种球，数目未知，黑白球比例也未知，现只知道随机的十次有放回的抽样情况，求各个盒子中抽取出白球的概率？\nMLE求解过程：\n1、编写似然函数(即联合概率函数) <似然函数：在样本固定的情况下，样本出现的概率与参数θ之间的函数>；\n2、对似然函数取对数，并整理；(一般都进行)\n3、求导数。\n4、解似然方程。\n分析：\n盒子中只有黑球和白球，假定白球的比例为p，那么黑球的比例为1-p。因为采取的是有放回的随机抽取，那么每次抽取出来的球的颜色服从同一独立分布情况，即每次抽取之间是独立互不影响的。\n求解盒子1中抽取出白球的概率：\n求解盒子2中抽取出白球的概率：\n求解盒子3中抽取出白球的概率：\n求解盒子4中抽取出白球的概率：\n求解盒子5中抽取出白球的概率：\n二、贝叶斯算法估计\n贝叶斯算法估计是一种从先验概率和样本分布情况来计算后验概率的一种方式。\n贝叶斯算法中的常见概念：\n1、P(A)是事件A的先验概率或者边缘概率。\n2、P(A|B)是已知B发生后A发生的条件概率，也称为A的后验概率。\n3、P(B|A)是已知A发生后B发生的条件概率，也称为B的后验概率。\n4、P(B)是事件B的先验概率或者边缘概率。\n例子：现在有五个盒子，假定每个盒子中都有黑白两种球，并且黑白球的比例如下；现已知从这五个盒子中的任意一个盒子中有放回的抽取两个球，且均为白球，问这两个球是从哪个盒子中抽取出来的？\n1、使用MLE(最大似然估计)，结论是从第五个盒子抽取的球:\n2、使用贝叶斯算法估计，结论是从第五个盒子抽取的球：假定抽出白球为事件B，从第i个盒子中抽取为事件Ai。\n思路递进：\n__现在不是从五个盒子中任选一个盒子__进行抽取，而是按照一定的概率选择对应的盒子，概率如下。假定抽出白球为事件B，从第i个盒子中抽取为事件Ai。结论是从第四个盒子抽取的球。\n三、最大后验概率估计(MAP)\n根据上面的例子我们得出了以下的结论：\n(最大后验概率估计Maximum a posteriori estimation)MAP\n和\nMLE\n样，都是通过样本估计参数θ的值；\n1、在__MLE__中，是使似然函数$color{red}{ P(x|θ)}$最大的时候参数θ的值，MLE中__假设先验概率是一个等值__的；\n2、而在__MAP__中，则是求θ使$color{red}{ P(x|θ)P(θ)}$的值最大，这也就是要求θ值不仅仅是让似然函数最大，同时要求θ本身出现的先验概率也得比较大。\n可以认为MAP是贝叶斯算法的一种应用:\n02 EM算法 - K-means算法回顾、EM概述","attrs_markdown":"[大模型](https:\/\/www.aliyun.com\/product\/tongyi)[产品](https:\/\/www.aliyun.com\/product\/list)[解决方案](https:\/\/www.aliyun.com\/solution\/tech-solution\/)[权益](https:\/\/www.aliyun.com\/benefit)[定价](https:\/\/www.aliyun.com\/price)[云市场](https:\/\/market.aliyun.com\/)[伙伴](https:\/\/partner.aliyun.com\/management\/v2)[服务](https:\/\/www.aliyun.com\/service)[了解阿里云](https:\/\/www.aliyun.com\/about)\n\n查看 “\n\n” 全部搜索结果\n\n[![](https:\/\/img.alicdn.com\/imgextra\/i2\/O1CN01bYc1m81RrcSAyOjMu_!!6000000002165-54-tps-60-60.apng) AI 助理](https:\/\/www.aliyun.com\/ai-assistant?displayMode=side)\n\n[文档](https:\/\/help.aliyun.com\/)[备案](https:\/\/beian.aliyun.com\/)[控制台](https:\/\/home.console.aliyun.com\/home\/dashboard\/ProductAndService)\n\n[开发者社区](https:\/\/developer.aliyun.com\/)\n\n[首页](https:\/\/developer.aliyun.com\/ \"开发者社区\")\n\n探索云世界\n\n### 探索云世界\n#### 热门\n[百炼大模型](https:\/\/developer.aliyun.com\/modelstudio\/)[Modelscope模型即服务](https:\/\/developer.aliyun.com\/modelscope\/)[弹性计算](https:\/\/developer.aliyun.com\/ecs\/)[通义灵码](https:\/\/developer.aliyun.com\/lingma\/)[云原生](https:\/\/developer.aliyun.com\/cloudnative\/)[数据库](https:\/\/developer.aliyun.com\/database\/)[云效DevOps](https:\/\/developer.aliyun.com\/group\/yunxiao\/)[龙蜥操作系统](https:\/\/developer.aliyun.com\/group\/aliyun_linux\/)\n\n#### [云计算](https:\/\/developer.aliyun.com\/ecs\/)\n[弹性计算](https:\/\/developer.aliyun.com\/ecs\/)[无影](https:\/\/developer.aliyun.com\/group\/wuying\/)[存储](https:\/\/developer.aliyun.com\/storage\/)[网络](https:\/\/developer.aliyun.com\/group\/networking\/)[倚天](https:\/\/developer.aliyun.com\/yitian\/)\n\n#### [大数据](https:\/\/developer.aliyun.com\/bigdata\/)\n[大数据计算](https:\/\/developer.aliyun.com\/group\/maxcompute\/)[实时数仓Hologres](https:\/\/developer.aliyun.com\/group\/hologres\/)[实时计算Flink](https:\/\/developer.aliyun.com\/group\/sc\/)[E-MapReduce](https:\/\/developer.aliyun.com\/group\/aliyunemr\/)[DataWorks](https:\/\/developer.aliyun.com\/group\/dataworks\/)[Elasticsearch](https:\/\/developer.aliyun.com\/group\/es\/)[机器学习平台PAI](https:\/\/developer.aliyun.com\/group\/pai\/)[智能搜索推荐](https:\/\/developer.aliyun.com\/group\/aios\/)[数据可视化DataV](https:\/\/developer.aliyun.com\/group\/datav\/)\n\n#### [云原生](https:\/\/developer.aliyun.com\/cloudnative\/)\n[容器](https:\/\/developer.aliyun.com\/group\/kubernetes\/)[serverless](https:\/\/developer.aliyun.com\/group\/serverless\/)[中间件](https:\/\/developer.aliyun.com\/group\/aliware\/)[微服务](https:\/\/developer.aliyun.com\/group\/mse\/)[可观测](https:\/\/developer.aliyun.com\/group\/arms\/)[消息队列](https:\/\/developer.aliyun.com\/group\/rocketmq\/)\n\n#### [人工智能](https:\/\/developer.aliyun.com\/modelscope\/)\n[机器学习平台PAI](https:\/\/developer.aliyun.com\/group\/pai\/)[视觉智能开放平台](https:\/\/developer.aliyun.com\/group\/viapi\/)[智能语音交互](https:\/\/developer.aliyun.com\/group\/speech\/)[自然语言处理](https:\/\/developer.aliyun.com\/group\/nlp\/)[多模态模型](https:\/\/developer.aliyun.com\/group\/multimodel\/)[pythonsdk](https:\/\/developer.aliyun.com\/group\/pythonsdk\/)[通用模型](https:\/\/developer.aliyun.com\/group\/others\/)\n\n#### [数据库](https:\/\/developer.aliyun.com\/database\/)\n[关系型数据库](https:\/\/developer.aliyun.com\/group\/polardb\/)[NoSQL数据库](https:\/\/developer.aliyun.com\/group\/hbasespark\/)[数据仓库](https:\/\/developer.aliyun.com\/group\/analyticdb\/)[数据管理工具](https:\/\/developer.aliyun.com\/database\/dm)[PolarDB开源](https:\/\/developer.aliyun.com\/polardb\/)[向量数据库](https:\/\/developer.aliyun.com\/database\/vectordatabase)\n\n#### [开发与运维](https:\/\/developer.aliyun.com\/group\/othertech\/)\n[云效DevOps](https:\/\/developer.aliyun.com\/group\/yunxiao\/)[钉钉宜搭](https:\/\/developer.aliyun.com\/group\/yida\/)[镜像站](https:\/\/developer.aliyun.com\/group\/mirror\/)\n\n[问产品](https:\/\/developer.aliyun.com\/ask\/hottestQuestionsWithProduct)\n\n[动手实践](https:\/\/developer.aliyun.com\/adc\/)\n\n[官方博客](https:\/\/developer.aliyun.com\/blog\/)\n\n[考认证](https:\/\/edu.aliyun.com\/)\n\n[TIANCHI大赛](https:\/\/tianchi.aliyun.com\/)\n\n活动广场\n\n### 活动广场\n丰富的线上&线下活动，深入探索云世界\n\n[任务中心做任务，得社区积分和周边](https:\/\/developer.aliyun.com\/mission)\n\n[训练营资深技术专家手把手带教](https:\/\/edu.aliyun.com\/trainingcamp\/)\n\n[直播技术交流，直击现场](https:\/\/developer.aliyun.com\/live\/)\n\n[乘风者计划让创作激发创新](https:\/\/developer.aliyun.com\/topic\/bloggers)\n\n下载\n\n### 下载\n海量开发者使用工具、手册，免费下载\n\n[镜像站极速、全面、稳定、安全的开源镜像](https:\/\/developer.aliyun.com\/mirror)\n\n[技术资料开发手册、白皮书、案例集等实战精华](https:\/\/developer.aliyun.com\/ebook\/)\n\n探索云世界\n\n热门\n\n[百炼大模型](https:\/\/developer.aliyun.com\/modelstudio\/)[Modelscope模型即服务](https:\/\/developer.aliyun.com\/modelscope\/)[弹性计算](https:\/\/developer.aliyun.com\/ecs\/)[通义灵码](https:\/\/developer.aliyun.com\/lingma\/)[云原生](https:\/\/developer.aliyun.com\/cloudnative\/)[数据库](https:\/\/developer.aliyun.com\/database\/)[云效DevOps](https:\/\/developer.aliyun.com\/group\/yunxiao\/)[龙蜥操作系统](https:\/\/developer.aliyun.com\/group\/aliyun_linux\/)\n\n[云计算](https:\/\/developer.aliyun.com\/ecs\/)[弹性计算](https:\/\/developer.aliyun.com\/ecs\/)[无影](https:\/\/developer.aliyun.com\/group\/wuying\/)[存储](https:\/\/developer.aliyun.com\/storage\/)[网络](https:\/\/developer.aliyun.com\/group\/networking\/)[倚天](https:\/\/developer.aliyun.com\/yitian\/)\n\n[云原生](https:\/\/developer.aliyun.com\/cloudnative\/)[容器](https:\/\/developer.aliyun.com\/group\/kubernetes\/)[serverless](https:\/\/developer.aliyun.com\/group\/serverless\/)[中间件](https:\/\/developer.aliyun.com\/group\/aliware\/)[微服务](https:\/\/developer.aliyun.com\/group\/mse\/)[可观测](https:\/\/developer.aliyun.com\/group\/arms\/)[消息队列](https:\/\/developer.aliyun.com\/group\/rocketmq\/)\n\n[数据库](https:\/\/developer.aliyun.com\/database\/)[关系型数据库](https:\/\/developer.aliyun.com\/group\/polardb\/)[NoSQL数据库](https:\/\/developer.aliyun.com\/group\/hbasespark\/)[数据仓库](https:\/\/developer.aliyun.com\/group\/analyticdb\/)[数据管理工具](https:\/\/developer.aliyun.com\/database\/dm)[PolarDB开源](https:\/\/developer.aliyun.com\/polardb\/)[向量数据库](https:\/\/developer.aliyun.com\/database\/vectordatabase)\n\n[大数据](https:\/\/developer.aliyun.com\/bigdata\/)[大数据计算](https:\/\/developer.aliyun.com\/group\/maxcompute\/)[实时数仓Hologres](https:\/\/developer.aliyun.com\/group\/hologres\/)[实时计算Flink](https:\/\/developer.aliyun.com\/group\/sc\/)[E-MapReduce](https:\/\/developer.aliyun.com\/group\/aliyunemr\/)[DataWorks](https:\/\/developer.aliyun.com\/group\/dataworks\/)[Elasticsearch](https:\/\/developer.aliyun.com\/group\/es\/)[机器学习平台PAI](https:\/\/developer.aliyun.com\/group\/pai\/)[智能搜索推荐](https:\/\/developer.aliyun.com\/group\/aios\/)[数据可视化DataV](https:\/\/developer.aliyun.com\/group\/datav\/)\n\n[人工智能](https:\/\/developer.aliyun.com\/modelscope\/)[机器学习平台PAI](https:\/\/developer.aliyun.com\/group\/pai\/)[视觉智能开放平台](https:\/\/developer.aliyun.com\/group\/viapi\/)[智能语音交互](https:\/\/developer.aliyun.com\/group\/speech\/)[自然语言处理](https:\/\/developer.aliyun.com\/group\/nlp\/)[多模态模型](https:\/\/developer.aliyun.com\/group\/multimodel\/)[pythonsdk](https:\/\/developer.aliyun.com\/group\/pythonsdk\/)[通用模型](https:\/\/developer.aliyun.com\/group\/others\/)\n\n[开发与运维](https:\/\/developer.aliyun.com\/group\/othertech\/)[云效DevOps](https:\/\/developer.aliyun.com\/group\/yunxiao\/)[钉钉宜搭](https:\/\/developer.aliyun.com\/group\/yida\/)[镜像站](https:\/\/developer.aliyun.com\/group\/mirror\/)\n\n[开发者社区](https:\/\/developer.aliyun.com\/) [Java技术进阶](https:\/\/developer.aliyun.com\/group\/javaup\/) [文章](https:\/\/developer.aliyun.com\/group\/javaup\/article\/) 正文\n\n# 01 EM算法 - 大纲 - 最大似然估计(MLE)、贝叶斯算法估计、最大后验概率估计(MAP)\n2018-12-22 2942\n\n版权\n\n版权声明：\n\n本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 [阿里云开发者社区用户服务协议](https:\/\/developer.aliyun.com\/article\/768092)》和 《[阿里云开发者社区知识产权保护指引](https:\/\/developer.aliyun.com\/article\/768093)》。如果您发现本社区中有涉嫌抄袭的内容，填写 [侵权投诉表单](https:\/\/yida.alibaba-inc.com\/o\/right)进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。\n\n**简介：**\n\n##### EM算法的讲解的内容包括以下几个方面：\n1、最大似然估计  \n2、K-means算法  \n3、EM算法  \n4、GMM算法\n***\n\\_\\_EM算法本质\\_\\_是统计学中的一种求解参数的方法，基于这种方法，我们可以求解出很多模型中的参数。\n\n**1、最大似然估计**  \n在\\_\\_求解线性模型\\_\\_的过程中，我们用到了\\_\\_最大似然估计(MLE)\\_\\_的思想。\n\nEM算法达到的目的和最大似然估计是一样的，只不过EM算法可以帮助我们去计算一些\\_\\_隐藏变量\\_\\_的参数。即当极大似然估计无法解决某些问题的时候，我们需要使用EM算法这种\\_\\_迭代算法\\_\\_的思路，不断得\\_\\_逼近\\_\\_最后的参数解。\n\nEM算法不是具体某一种模型，而是一种求解问题的思路。在统计学中这种算法思想用的特别多。\n***\n**2、K-means算法**  \n**K-means算法\\_\\_的求解过程本质上就是EM算法的思想，面试中曾经有人问：\\_\\_K-means算法究竟是如何运用EM算法来实现的？** 这样两个算法就通过一个问题来挂上钩了。\n***\n**3、EM算法**  \n然后讲到如何将EM算法用一种比较通式化的方法来实现求解过程，即但凡我们遇到一个可以用EM算法来解决的问题，我们如何去求解这个问题对应的参数。\n\n就好比极大似然估计中，我们使用联合概率作为似然函数的值，然后求解极大值。当然首先不同的问题会有不同的联合概率，先要把这个联合概率构造出来。\n***\n**4、GMM算法**  \n最后使用EM算法解决一个问题：有一个模型叫做高斯混合模型(GMM)，可以通过EM算法来帮助我们来求解它最后的参数值。\n***\n## 一、最大似然估计(MLE)回顾\n\\_\\_最大似然估计(Maximum Likelihood Estimati) 就是利用已知的样本结果，反推最有可能(最大概率)导致这样结果的参数值的计算过程。\\_\\_直白来讲，就是给定了一定的数据，假定知道数据是从某种分布中随机抽取出来的，但是不知道这个分布具体的参数值，即“模型已定，参数未知”，MLE就可以用来估计模型的参数。\n\n**MLE的目标是找出一组参数(模型中的参数)，使得模型产出观察数据的概率最大。**\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/6ae238b2bd7e4c239b907a97668590e6.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n***\n**例子：假定盒子中有黑白两种球，数目未知，黑白球比例也未知，现只知道随机的十次有放回的抽样情况，求各个盒子中抽取出白球的概率？**\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/98b6ce07f0354f6089bb170ba341c638.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n**MLE求解过程：**  \n1、编写似然函数(即联合概率函数) \\<似然函数：在样本固定的情况下，样本出现的概率与参数θ之间的函数\\>；  \n2、对似然函数取对数，并整理；(一般都进行)  \n3、求导数。  \n4、解似然方程。\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/f089baef86a6431fa838d0a07844deda.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n**分析：** 盒子中只有黑球和白球，假定白球的比例为p，那么黑球的比例为1-p。因为采取的是有放回的随机抽取，那么每次抽取出来的球的颜色服从同一独立分布情况，即每次抽取之间是独立互不影响的。\n\n![求解思路](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/3905fc16bc8c47c9a3e0585c671bbbe3.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n**求解盒子1中抽取出白球的概率：**\n\n![左-求联合概率 中-取对数 右-求极值](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/bbed30a237014d1aa18abf23d85db813.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n**求解盒子2中抽取出白球的概率：**\n\n![左-求联合概率 中-取对数 右-求导并求极值](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/ab12c4dedca64408b2b1f4bfb68f16a0.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n**求解盒子3中抽取出白球的概率：**\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/37fd41d439d146d9a1de1fcab964ac46.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n**求解盒子4中抽取出白球的概率：**\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/068ce6c8359740f9bbacb02454d1063f.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n**求解盒子5中抽取出白球的概率：**\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/76dc37e26c3048a9a306582766691f5b.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/61c5d37738dc482db6f764b4d4a1d84c.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n***\n## 二、贝叶斯算法估计\n贝叶斯算法估计是一种从先验概率和样本分布情况来计算后验概率的一种方式。\n\n贝叶斯算法中的常见概念：  \n1、P(A)是事件A的先验概率或者边缘概率。  \n2、P(A\\|B)是已知B发生后A发生的条件概率，也称为A的后验概率。  \n3、P(B\\|A)是已知A发生后B发生的条件概率，也称为B的后验概率。  \n4、P(B)是事件B的先验概率或者边缘概率。\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/ce8d9dc4bb9c4272b9769f6fca6e4f3e.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n***\n**例子：现在有五个盒子，假定每个盒子中都有黑白两种球，并且黑白球的比例如下；现已知从这五个盒子中的任意一个盒子中有放回的抽取两个球，且均为白球，问这两个球是从哪个盒子中抽取出来的？**\n\n1、使用MLE(最大似然估计)，结论是从第五个盒子抽取的球:\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/f4e31a997d4e451799007b8f71889780.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n***\n2、使用贝叶斯算法估计，结论是从第五个盒子抽取的球：假定抽出白球为事件B，从第i个盒子中抽取为事件Ai。\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/8eefa37147044adf8846d25d050ff39b.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n![公式进一步分析](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/a4993ad1538f400a87aaaf9cb6772ca0.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n***\n**思路递进：**\n\n\\_\\_现在不是从五个盒子中任选一个盒子\\_\\_进行抽取，而是按照一定的概率选择对应的盒子，概率如下。假定抽出白球为事件B，从第i个盒子中抽取为事件Ai。结论是从第四个盒子抽取的球。\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/5b6c004b85b24558a7192bbce112ff8e.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n***\n## 三、最大后验概率估计(MAP)\n根据上面的例子我们得出了以下的结论：\n\n**(最大后验概率估计Maximum a posteriori estimation)MAP** 和 **MLE** 样，都是通过样本估计参数θ的值；\n\n1、在\\_\\_MLE\\_\\_中，是使似然函数\\$color{red}{ P(x\\|θ)}\\$最大的时候参数θ的值，MLE中\\_\\_假设先验概率是一个等值\\_\\_的；\n\n2、而在\\_\\_MAP\\_\\_中，则是求θ使\\$color{red}{ P(x\\|θ)P(θ)}\\$的值最大，这也就是要求θ值不仅仅是让似然函数最大，同时要求θ本身出现的先验概率也得比较大。\n\n可以认为MAP是贝叶斯算法的一种应用:\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/3c21c4ec495e42c0b5267c0d0ab236c2.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n[02 EM算法 - K-means算法回顾、EM概述](https:\/\/www.jianshu.com\/p\/d1b297e04b1c)\n\n文章标签：\n\n[算法](https:\/\/developer.aliyun.com\/label\/article_de-3-100255)\n\n关键词：\n\n[算法概率](https:\/\/www.aliyun.com\/sswb\/611704.html)\n\n[em算法](https:\/\/www.aliyun.com\/sswb\/804583.html)\n\n[算法贝叶斯](https:\/\/www.aliyun.com\/sswb\/645033.html)\n\n[算法map](https:\/\/www.aliyun.com\/sswb\/692190.html)\n\n[算法估计](https:\/\/www.aliyun.com\/sswb\/632775.html)\n\n[![](https:\/\/ucc.alicdn.com\/avatar\/img_2f759e7faf55f06cbb18ab5c7441971a.jpg?x-oss-process=image\/resize,h_150,m_lfit)](https:\/\/developer.aliyun.com\/profile\/sy3mx475qpibg)\n\n[白尔摩斯](https:\/\/developer.aliyun.com\/profile\/sy3mx475qpibg)\n\n目录\n\n相关文章\n\n[我爱matlab](https:\/\/developer.aliyun.com\/profile\/nymobwrkkdwks)\n\n\\|\n\n5月前\n\n\\|\n\n算法 数据安全\/隐私保护\n\n[基于PSO粒子群优化算法的256QAM星座图的最优概率整形matlab仿真,对比PSO优化前后整形星座图和误码率](https:\/\/developer.aliyun.com\/article\/1674640)\n\n本项目基于MATLAB 2022a仿真256QAM系统，采用概率星座整形（PCS）技术优化星座点分布，结合粒子群优化（PSO）算法搜索最优整形因子v，降低误码率，提升传输性能。核心程序包含完整优化流程。\n\n[我爱matlab](https:\/\/developer.aliyun.com\/profile\/nymobwrkkdwks)\n\n171 0 0\n\n[胖咕噜的稞达鸭](https:\/\/developer.aliyun.com\/profile\/pfj33xo73h66w)\n\n\\|\n\n3月前\n\n\\|\n\n存储 算法 容器\n\n[set\\_map的实现+set\/map加持秒杀高频算法题锻炼算法思维](https:\/\/developer.aliyun.com\/article\/1685607)\n\n\\`set\\`基于红黑树实现，支持有序存储、自动去重，增删查效率为O(logN)。通过仿函数可自定义排序规则，配合空间配置器灵活管理内存。不支持修改元素值，迭代器失效需注意。\\`multiset\\`允许重复元素。常用于去重、排序及查找场景。\n\n[胖咕噜的稞达鸭](https:\/\/developer.aliyun.com\/profile\/pfj33xo73h66w)\n\n239 3 3\n\n[简简单单做算法](https:\/\/developer.aliyun.com\/profile\/3tnl7rfrqv6tw)\n\n\\|\n\n6月前\n\n\\|\n\n算法 数据可视化 数据挖掘\n\n[基于EM期望最大化算法的GMM参数估计与三维数据分类系统python源码](https:\/\/developer.aliyun.com\/article\/1671009)\n\n本内容展示了基于EM算法的高斯混合模型（GMM）聚类实现，包含完整Python代码、运行效果图及理论解析。程序使用三维数据进行演示，涵盖误差计算、模型参数更新、结果可视化等关键步骤，并附有详细注释与操作视频，适合学习EM算法与GMM模型的原理及应用。\n\n[简简单单做算法](https:\/\/developer.aliyun.com\/profile\/3tnl7rfrqv6tw)\n\n279 13 13\n\n[软件算法开发](https:\/\/developer.aliyun.com\/profile\/7cdil26nwhfeo)\n\n\\|\n\n7月前\n\n\\|\n\n算法 数据安全\/隐私保护\n\n[基于Logistic-Map混沌序列的数字信息加解密算法matlab仿真,支持对文字,灰度图,彩色图,语音进行加解密](https:\/\/developer.aliyun.com\/article\/1665825)\n\n本项目实现了一种基于Logistic Map混沌序列的数字信息加解密算法，使用MATLAB2022A开发并包含GUI操作界面。支持对文字、灰度图像、彩色图像和语音信号进行加密与解密处理。核心程序通过调整Logistic Map的参数生成伪随机密钥序列，确保加密的安全性。混沌系统的不可预测性和对初值的敏感依赖性是该算法的核心优势。示例展示了彩色图像、灰度图像、语音信号及文字信息的加解密效果，运行结果清晰准确，且完整程序输出无水印。\n\n[软件算法开发](https:\/\/developer.aliyun.com\/profile\/7cdil26nwhfeo)\n\n185 1 1\n\n[![基于Logistic-Map混沌序列的数字信息加解密算法matlab仿真,支持对文字,灰度图,彩色图,语音进行加解密](https:\/\/ucc.alicdn.com\/pic\/developer-ecology\/7cdil26nwhfeo_5058053b9909464c8967eb9bee09fc7b.jpg?x-oss-process=image\/format,webp\/resize,h_160,m_lfit)](https:\/\/developer.aliyun.com\/article\/1665825)\n\n[我爱matlab](https:\/\/developer.aliyun.com\/profile\/nymobwrkkdwks)\n\n\\|\n\n7月前\n\n\\|\n\n算法 JavaScript 数据安全\/隐私保护\n\n[基于遗传算法的256QAM星座图的最优概率整形matlab仿真,对比优化前后整形星座图和误码率](https:\/\/developer.aliyun.com\/article\/1667474)\n\n本内容展示了基于GA（遗传算法）优化的256QAM概率星座整形（PCS）技术的研究与实现。通过Matlab仿真，分析了优化前后星座图和误码率（BER）的变化。256QAM采用非均匀概率分布（Maxwell-Boltzman分布）降低外圈星座点出现频率，减小平均功率并增加最小欧氏距离，从而提升传输性能。GA算法以BER为适应度函数，搜索最优整形参数v，显著降低误码率。核心程序实现了GA优化过程，包括种群初始化、选择、交叉、变异等步骤，并绘制了优化曲线。此研究有助于提高频谱效率和传输灵活性，适用于不同信道环境。\n\n[我爱matlab](https:\/\/developer.aliyun.com\/profile\/nymobwrkkdwks)\n\n213 10 10\n\n[我爱matlab](https:\/\/developer.aliyun.com\/profile\/nymobwrkkdwks)\n\n\\|\n\n7月前\n\n\\|\n\n算法 JavaScript 数据安全\/隐私保护\n\n[基于遗传算法的64QAM星座图的最优概率整形matlab仿真,对比优化前后整形星座图和误码率](https:\/\/developer.aliyun.com\/article\/1667261)\n\n本内容主要探讨基于遗传算法（GA）优化的64QAM概率星座整形（PCS）技术。通过改变星座点出现的概率分布，使外圈点频率降低，从而减小平均功率、增加最小欧氏距离，提升传输性能。仿真使用Matlab2022a完成，展示了优化前后星座图与误码率对比，验证了整形增益及频谱效率提升效果。理论分析表明，Maxwell-Boltzman分布为最优概率分布，核心程序通过GA搜索最佳整形因子v，以蒙特卡罗方法估计误码率，最终实现低误码率优化目标。\n\n[我爱matlab](https:\/\/developer.aliyun.com\/profile\/nymobwrkkdwks)\n\n207 1 1\n\n[哈你真皮](https:\/\/developer.aliyun.com\/profile\/g2em6mpwtihai)\n\n\\|\n\n6月前\n\n\\|\n\n监控 算法 决策智能\n\n[基于盲源分离与贝叶斯非局部均值的图像降噪算法](https:\/\/developer.aliyun.com\/article\/1671842)\n\n基于盲源分离与贝叶斯非局部均值的图像降噪算法\n\n[哈你真皮](https:\/\/developer.aliyun.com\/profile\/g2em6mpwtihai)\n\n213 0 0\n\n[软件算法开发](https:\/\/developer.aliyun.com\/profile\/7cdil26nwhfeo)\n\n\\|\n\n移动开发 算法 计算机视觉\n\n[基于分块贝叶斯非局部均值优化(OBNLM)的图像去噪算法matlab仿真](https:\/\/developer.aliyun.com\/article\/1648338)\n\n本项目基于分块贝叶斯非局部均值优化（OBNLM）算法实现图像去噪，使用MATLAB2022A进行仿真。通过调整块大小和窗口大小等参数，研究其对去噪效果的影响。OBNLM结合了经典NLM算法与贝叶斯统计理论，利用块匹配和概率模型优化相似块的加权融合，提高去噪效率和保真度。实验展示了不同参数设置下的去噪结果，验证了算法的有效性。\n\n[软件算法开发](https:\/\/developer.aliyun.com\/profile\/7cdil26nwhfeo)\n\n243 10 10\n\n[软件算法开发](https:\/\/developer.aliyun.com\/profile\/7cdil26nwhfeo)\n\n\\|\n\n10月前\n\n\\|\n\n机器学习\/深度学习 算法 数据安全\/隐私保护\n\n[基于贝叶斯优化的自适应马尔科夫链蒙特卡洛(Adaptive-MCMC)算法matlab仿真](https:\/\/developer.aliyun.com\/article\/1654837)\n\n本项目基于贝叶斯优化的自适应马尔科夫链蒙特卡洛（Adaptive-MCMC）算法，实现MATLAB仿真，并对比Kawasaki sampler、IMExpert、IMUnif和IMBayesOpt四种方法。核心在于利用历史采样信息动态调整MCMC参数，以高效探索复杂概率分布。完整程序在MATLAB2022A上运行，展示T1-T7结果，无水印。该算法结合贝叶斯优化与MCMC技术，通过代理模型和采集函数优化采样效率。\n\n[软件算法开发](https:\/\/developer.aliyun.com\/profile\/7cdil26nwhfeo)\n\n614 0 0\n\n[简简单单做算法](https:\/\/developer.aliyun.com\/profile\/3tnl7rfrqv6tw)\n\n\\|\n\n机器学习\/深度学习 算法 数据安全\/隐私保护\n\n[基于贝叶斯优化CNN-GRU网络的数据分类识别算法matlab仿真](https:\/\/developer.aliyun.com\/article\/1643379)\n\n本项目展示了使用MATLAB2022a实现的贝叶斯优化、CNN和GRU算法优化效果。优化前后对比显著，完整代码附带中文注释及操作视频。贝叶斯优化适用于黑盒函数，CNN用于时间序列特征提取，GRU改进了RNN的长序列处理能力。\n\n[简简单单做算法](https:\/\/developer.aliyun.com\/profile\/3tnl7rfrqv6tw)\n\n314 5 5\n\n[Java技术进阶](https:\/\/developer.aliyun.com\/group\/javaup\/)\n\n## 热门文章\n## 最新文章\n\n[1 几个常用快速无损压缩算法性能比较](https:\/\/developer.aliyun.com\/article\/354819)\n\n[2 机器学习算法—KMEANS算法原理及阿里云PAI平台算法模块参数说明](https:\/\/developer.aliyun.com\/article\/722900)\n\n[3 QPS 提升60%，揭秘阿里巴巴轻量级开源 Web 服务器 Tengine 负载均衡算法](https:\/\/developer.aliyun.com\/article\/708538)\n\n[4 阿里巴巴CTO张建锋：大数据+计算+算法才是未来](https:\/\/developer.aliyun.com\/article\/59001)\n\n[5 【无人机任务分配】基于合同网协议（CNP算法）实现多无人机具有时间窗口和优先级约束任务分配及跟踪问题附matlab代码](https:\/\/developer.aliyun.com\/article\/1231862)\n\n[6 【人工智能】蚁群算法(密恐勿入)（一）](https:\/\/developer.aliyun.com\/article\/1222656)\n\n[7 DL之FCN：FCN算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略](https:\/\/developer.aliyun.com\/article\/798644)\n\n[8 车间调度\\|基于遗传算法的柔性车间调度（Matlab代码实现）](https:\/\/developer.aliyun.com\/article\/1288599)\n\n[9 深度强化学习中Double DQN算法（Q-Learning+CNN）的讲解及在Asterix游戏上的实战（超详细 附源码）](https:\/\/developer.aliyun.com\/article\/1398939)\n\n[10 对图像边缘进行随机均匀采样的C\\#算法实现](https:\/\/developer.aliyun.com\/article\/348049)\n\n[1 深入理解 go sync.Map - 基本原理 285](https:\/\/developer.aliyun.com\/article\/1671884)\n\n[2 如何在Map中获取元素的数量？ 337](https:\/\/developer.aliyun.com\/article\/1671414)\n\n[3 在JavaScript中，Set和Map的性能有什么区别？ 438](https:\/\/developer.aliyun.com\/article\/1671413)\n\n[4 Set和Map有什么区别？ 517](https:\/\/developer.aliyun.com\/article\/1671410)\n\n[5 让我们讲解一下 Map 集合遍历的方式 304](https:\/\/developer.aliyun.com\/article\/1667960)\n\n[6 基于Logistic-Map混沌序列的数字信息加解密算法matlab仿真,支持对文字,灰度图,彩色图,语音进行加解密 185](https:\/\/developer.aliyun.com\/article\/1665825)\n\n[7 for...of循环在遍历Set和Map时的注意事项有哪些？ 383](https:\/\/developer.aliyun.com\/article\/1665808)\n\n[8 unordered\\_set、unordered\\_multiset、unordered\\_map、unordered\\_multimap的介绍及使用 342](https:\/\/developer.aliyun.com\/article\/1665578)\n\n[9 用一棵红黑树同时封装出map和set 109](https:\/\/developer.aliyun.com\/article\/1665577)\n\n[10 set、map、multiset、multimap的介绍及使用以及区别，注意事项 290](https:\/\/developer.aliyun.com\/article\/1665570)\n\n## 相关课程\n[更多](https:\/\/edu.aliyun.com\/explore\/)\n\n[智能运维赛（复赛）：利用数据和算法，快速定位系统异常并进行根因分析](https:\/\/edu.aliyun.com\/course\/3117900)\n\n[智能创作赛（复赛）：相册应用中的视频故事生成算法介绍](https:\/\/edu.aliyun.com\/course\/3117715)\n\n[智能创作赛（初赛）：相册应用中的故事生成算法介绍](https:\/\/edu.aliyun.com\/course\/3117707)\n\n[相册服务中的故事生成算法介绍](https:\/\/edu.aliyun.com\/course\/3113002)\n\n[Go语言核心编程 - 数据结构和算法](https:\/\/edu.aliyun.com\/course\/314445)\n\n[神经网络概览及算法详解](https:\/\/edu.aliyun.com\/course\/312408)\n\n## 相关电子书\n[更多](https:\/\/developer.aliyun.com\/ebook\/)\n\n[数据+算法定义新世界](https:\/\/developer.aliyun.com\/ebook\/3158)\n\n[袋鼠云基于实时计算的反黄牛算法](https:\/\/developer.aliyun.com\/ebook\/3560)\n\n[Alink：基于Apache Flink的算法平台](https:\/\/developer.aliyun.com\/ebook\/3564)\n\n下一篇\n\n[附部署代码｜云数据库RDS 全托管 Supabase服务：小白轻松搞定开发AI应用](https:\/\/developer.aliyun.com\/article\/1674335)\n\n### 为什么选择阿里云\n[什么是云计算](https:\/\/www.aliyun.com\/about\/what-is-cloud-computing)[全球基础设施](https:\/\/infrastructure.aliyun.com\/)[技术领先](https:\/\/www.aliyun.com\/why-us\/leading-technology)[稳定可靠](https:\/\/www.aliyun.com\/why-us\/reliability)[安全合规](https:\/\/www.aliyun.com\/why-us\/security-compliance)[分析师报告](https:\/\/www.aliyun.com\/analyst-reports)\n\n### 大模型\n[通义大模型](https:\/\/www.aliyun.com\/product\/tongyi)[大模型服务](https:\/\/bailian.console.aliyun.com\/?tab=model#\/model-market)[AI应用构建](https:\/\/bailian.console.aliyun.com\/app-center?tab=app#\/app-center)\n\n### 产品和定价\n[全部产品](https:\/\/www.aliyun.com\/product\/list)[免费试用](https:\/\/free.aliyun.com\/)[产品动态](https:\/\/www.aliyun.com\/product\/news\/)[产品定价](https:\/\/www.aliyun.com\/price\/detail)[配置报价器](https:\/\/www.aliyun.com\/price\/cpq\/list)[云上成本管理](https:\/\/www.aliyun.com\/price\/cost-management)\n\n### 技术内容\n[技术解决方案](https:\/\/www.aliyun.com\/solution\/tech-solution)[帮助文档](https:\/\/help.aliyun.com\/)[开发者社区](https:\/\/developer.aliyun.com\/)[天池大赛](https:\/\/tianchi.aliyun.com\/)[阿里云认证](https:\/\/edu.aliyun.com\/)\n\n### 权益\n[免费试用](https:\/\/free.aliyun.com\/)[解决方案免费试用](https:\/\/www.aliyun.com\/solution\/free)[高校计划](https:\/\/university.aliyun.com\/)[5亿算力补贴](https:\/\/www.aliyun.com\/benefit\/form\/index)[推荐返现计划](https:\/\/dashi.aliyun.com\/?ambRef=shouYeDaoHang2&pageCode=yunparterIndex)\n\n### 服务\n[基础服务](https:\/\/www.aliyun.com\/service)[企业增值服务](https:\/\/www.aliyun.com\/service\/supportplans)[迁云服务](https:\/\/www.aliyun.com\/service\/devopsimpl\/devopsimpl_cloudmigration_public_cn)[官网公告](https:\/\/www.aliyun.com\/notice\/)[健康看板](https:\/\/status.aliyun.com\/)[信任中心](https:\/\/security.aliyun.com\/trust-center)\n\n### 关注阿里云\n关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务\n\n![阿里云APP](https:\/\/img.alicdn.com\/imgextra\/i4\/O1CN01XLesV31fkf7pYNATb_!!6000000004045-2-tps-400-400.png)![阿里云微信](https:\/\/img.alicdn.com\/tfs\/TB1AOdINW6qK1RjSZFmXXX0PFXa-258-258.jpg)\n\n联系我们：4008013260\n\n[法律声明](https:\/\/help.aliyun.com\/product\/67275.html)[Cookies政策](https:\/\/terms.alicdn.com\/legal-agreement\/terms\/platform_service\/20220906101446934\/20220906101446934.html)[廉正举报](https:\/\/aliyun.jubao.alibaba.com\/)[安全举报](https:\/\/report.aliyun.com\/)[联系我们](https:\/\/www.aliyun.com\/contact)[加入我们](https:\/\/careers.aliyun.com\/)\n\n### 友情链接\n[阿里巴巴集团](https:\/\/www.alibabagroup.com\/cn\/global\/home)[淘宝网](https:\/\/www.taobao.com\/)[天猫](https:\/\/www.tmall.com\/)[全球速卖通](https:\/\/www.aliexpress.com\/)[阿里巴巴国际交易市场](https:\/\/www.alibaba.com\/)[1688](https:\/\/www.1688.com\/)[阿里妈妈](https:\/\/www.alimama.com\/index.htm)[飞猪](https:\/\/www.fliggy.com\/)[阿里云计算](https:\/\/www.aliyun.com\/)[万网](https:\/\/wanwang.aliyun.com\/)[高德](https:\/\/mobile.amap.com\/)[UC](https:\/\/www.uc.cn\/)[友盟](https:\/\/www.umeng.com\/)[优酷](https:\/\/www.youku.com\/)[钉钉](https:\/\/www.dingtalk.com\/)[支付宝](https:\/\/www.alipay.com\/)[达摩院](https:\/\/damo.alibaba.com\/)[淘宝海外](https:\/\/world.taobao.com\/)[阿里云盘](https:\/\/www.aliyundrive.com\/)[淘宝闪购](https:\/\/www.ele.me\/)\n\n© 2009-现在 Aliyun.com 版权所有 增值电信业务经营许可证： [浙B2-20080101](http:\/\/beian.miit.gov.cn\/) 域名注册服务机构许可： [浙D3-20210002](https:\/\/domain.miit.gov.cn\/%E5%9F%9F%E5%90%8D%E6%B3%A8%E5%86%8C%E6%9C%8D%E5%8A%A1%E6%9C%BA%E6%9E%84\/%E4%BA%92%E8%81%94%E7%BD%91%E5%9F%9F%E5%90%8D\/%E9%98%BF%E9%87%8C%E4%BA%91%E8%AE%A1%E7%AE%97%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8%20)\n\n[![](https:\/\/gw.alicdn.com\/tfs\/TB1GxwdSXXXXXa.aXXXXXXXXXXX-65-70.gif)](https:\/\/zzlz.gsxt.gov.cn\/businessCheck\/verifKey.do?showType=p&serial=91330106673959654P-SAIC_SHOW_10000091330106673959654P1710919400712&signData=MEUCIQDEkCd8cK7%2Fyqe6BNMWvoMPtAnsgKa7FZetfPkjZMsvhAIgOX1G9YC6FKyndE7o7hL0KaBVn4f%20V%2Fiof3iAgpsV09o%3D)[![浙公网安备 33010602009975号](https:\/\/img.alicdn.com\/tfs\/TB1..50QpXXXXX7XpXXXXXXXXXX-40-40.png)浙公网安备 33010602009975号](http:\/\/www.beian.gov.cn\/portal\/registerSystemInfo)[浙B2-20080101-4](https:\/\/beian.miit.gov.cn\/)","attrs_readable_markdown":"2018-12-22 2942\n\n版权\n\n版权声明：\n\n本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 [阿里云开发者社区用户服务协议](https:\/\/developer.aliyun.com\/article\/768092)》和 《[阿里云开发者社区知识产权保护指引](https:\/\/developer.aliyun.com\/article\/768093)》。如果您发现本社区中有涉嫌抄袭的内容，填写 [侵权投诉表单](https:\/\/yida.alibaba-inc.com\/o\/right)进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。\n\n##### EM算法的讲解的内容包括以下几个方面：\n1、最大似然估计  \n2、K-means算法  \n3、EM算法  \n4、GMM算法\n***\n\\_\\_EM算法本质\\_\\_是统计学中的一种求解参数的方法，基于这种方法，我们可以求解出很多模型中的参数。\n\n**1、最大似然估计**  \n在\\_\\_求解线性模型\\_\\_的过程中，我们用到了\\_\\_最大似然估计(MLE)\\_\\_的思想。\n\nEM算法达到的目的和最大似然估计是一样的，只不过EM算法可以帮助我们去计算一些\\_\\_隐藏变量\\_\\_的参数。即当极大似然估计无法解决某些问题的时候，我们需要使用EM算法这种\\_\\_迭代算法\\_\\_的思路，不断得\\_\\_逼近\\_\\_最后的参数解。\n\nEM算法不是具体某一种模型，而是一种求解问题的思路。在统计学中这种算法思想用的特别多。\n***\n**2、K-means算法**  \n**K-means算法\\_\\_的求解过程本质上就是EM算法的思想，面试中曾经有人问：\\_\\_K-means算法究竟是如何运用EM算法来实现的？** 这样两个算法就通过一个问题来挂上钩了。\n***\n**3、EM算法**  \n然后讲到如何将EM算法用一种比较通式化的方法来实现求解过程，即但凡我们遇到一个可以用EM算法来解决的问题，我们如何去求解这个问题对应的参数。\n\n就好比极大似然估计中，我们使用联合概率作为似然函数的值，然后求解极大值。当然首先不同的问题会有不同的联合概率，先要把这个联合概率构造出来。\n***\n**4、GMM算法**  \n最后使用EM算法解决一个问题：有一个模型叫做高斯混合模型(GMM)，可以通过EM算法来帮助我们来求解它最后的参数值。\n***\n## 一、最大似然估计(MLE)回顾\n\\_\\_最大似然估计(Maximum Likelihood Estimati) 就是利用已知的样本结果，反推最有可能(最大概率)导致这样结果的参数值的计算过程。\\_\\_直白来讲，就是给定了一定的数据，假定知道数据是从某种分布中随机抽取出来的，但是不知道这个分布具体的参数值，即“模型已定，参数未知”，MLE就可以用来估计模型的参数。\n\n**MLE的目标是找出一组参数(模型中的参数)，使得模型产出观察数据的概率最大。**\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/6ae238b2bd7e4c239b907a97668590e6.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n***\n**例子：假定盒子中有黑白两种球，数目未知，黑白球比例也未知，现只知道随机的十次有放回的抽样情况，求各个盒子中抽取出白球的概率？**\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/98b6ce07f0354f6089bb170ba341c638.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n**MLE求解过程：**  \n1、编写似然函数(即联合概率函数) \\<似然函数：在样本固定的情况下，样本出现的概率与参数θ之间的函数\\>；  \n2、对似然函数取对数，并整理；(一般都进行)  \n3、求导数。  \n4、解似然方程。\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/f089baef86a6431fa838d0a07844deda.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n**分析：** 盒子中只有黑球和白球，假定白球的比例为p，那么黑球的比例为1-p。因为采取的是有放回的随机抽取，那么每次抽取出来的球的颜色服从同一独立分布情况，即每次抽取之间是独立互不影响的。\n\n![求解思路](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/3905fc16bc8c47c9a3e0585c671bbbe3.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n**求解盒子1中抽取出白球的概率：**\n\n![左-求联合概率 中-取对数 右-求极值](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/bbed30a237014d1aa18abf23d85db813.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n**求解盒子2中抽取出白球的概率：**\n\n![左-求联合概率 中-取对数 右-求导并求极值](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/ab12c4dedca64408b2b1f4bfb68f16a0.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n**求解盒子3中抽取出白球的概率：**\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/37fd41d439d146d9a1de1fcab964ac46.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n**求解盒子4中抽取出白球的概率：**\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/068ce6c8359740f9bbacb02454d1063f.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n**求解盒子5中抽取出白球的概率：**\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/76dc37e26c3048a9a306582766691f5b.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/61c5d37738dc482db6f764b4d4a1d84c.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n***\n## 二、贝叶斯算法估计\n贝叶斯算法估计是一种从先验概率和样本分布情况来计算后验概率的一种方式。\n\n贝叶斯算法中的常见概念：  \n1、P(A)是事件A的先验概率或者边缘概率。  \n2、P(A\\|B)是已知B发生后A发生的条件概率，也称为A的后验概率。  \n3、P(B\\|A)是已知A发生后B发生的条件概率，也称为B的后验概率。  \n4、P(B)是事件B的先验概率或者边缘概率。\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/ce8d9dc4bb9c4272b9769f6fca6e4f3e.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n***\n**例子：现在有五个盒子，假定每个盒子中都有黑白两种球，并且黑白球的比例如下；现已知从这五个盒子中的任意一个盒子中有放回的抽取两个球，且均为白球，问这两个球是从哪个盒子中抽取出来的？**\n\n1、使用MLE(最大似然估计)，结论是从第五个盒子抽取的球:\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/f4e31a997d4e451799007b8f71889780.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n***\n2、使用贝叶斯算法估计，结论是从第五个盒子抽取的球：假定抽出白球为事件B，从第i个盒子中抽取为事件Ai。\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/8eefa37147044adf8846d25d050ff39b.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n![公式进一步分析](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/a4993ad1538f400a87aaaf9cb6772ca0.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n***\n**思路递进：**\n\n\\_\\_现在不是从五个盒子中任选一个盒子\\_\\_进行抽取，而是按照一定的概率选择对应的盒子，概率如下。假定抽出白球为事件B，从第i个盒子中抽取为事件Ai。结论是从第四个盒子抽取的球。\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/5b6c004b85b24558a7192bbce112ff8e.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n***\n## 三、最大后验概率估计(MAP)\n根据上面的例子我们得出了以下的结论：\n\n**(最大后验概率估计Maximum a posteriori estimation)MAP** 和 **MLE** 样，都是通过样本估计参数θ的值；\n\n1、在\\_\\_MLE\\_\\_中，是使似然函数\\$color{red}{ P(x\\|θ)}\\$最大的时候参数θ的值，MLE中\\_\\_假设先验概率是一个等值\\_\\_的；\n\n2、而在\\_\\_MAP\\_\\_中，则是求θ使\\$color{red}{ P(x\\|θ)P(θ)}\\$的值最大，这也就是要求θ值不仅仅是让似然函数最大，同时要求θ本身出现的先验概率也得比较大。\n\n可以认为MAP是贝叶斯算法的一种应用:\n\n![](https:\/\/ucc.alicdn.com\/sy3mx475qpibg\/developer-article681010\/20241021\/3c21c4ec495e42c0b5267c0d0ab236c2.webp?x-oss-process=image\/resize,w_1400\/format,webp)\n\n[02 EM算法 - K-means算法回顾、EM概述](https:\/\/www.jianshu.com\/p\/d1b297e04b1c)","meta_canonical":null}

3. Robots.txt Check

Query:

Response:

4. Spam/Ban Check

Query:

Response:

5. Seen Status Check

ℹ️ Skipped - page is already crawled

📄

INDEXABLE

✅

CRAWLED

2 months ago

🤖

ROBOTS ALLOWED

Page Info Filters

Filter	Status	Condition	Details
HTTP status	PASS	`download_http_code = 200`	HTTP 200
Age cutoff	PASS	`download_stamp > now() - 6 MONTH`	2.4 months ago
History drop	PASS	`isNull(history_drop_reason)`	No drop reason
Spam/ban	PASS	`fh_dont_index != 1 AND ml_spam_score = 0`	ml_spam_score=0
Canonical	PASS	`meta_canonical IS NULL OR = '' OR = src_unparsed`	Not set

Page Details

Property	Value
URL	https://developer.aliyun.com/article/681010
Last Crawled	2026-01-28 11:35:04 (2 months ago)
First Indexed	2020-08-21 13:39:45 (5 years ago)
HTTP Status Code	200
Meta Title	01 EM算法 - 大纲 - 最大似然估计(MLE)、贝叶斯算法估计、最大后验概率估计(MAP)-阿里云开发者社区
Meta Description	01 EM算法 - 大纲 - 最大似然估计(MLE)、贝叶斯算法估计、最大后验概率估计(MAP)
Meta Canonical	null
Boilerpipe Text	2018-12-22 2942 版权版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。 EM算法的讲解的内容包括以下几个方面： 1、最大似然估计 2、K-means算法 3、EM算法 4、GMM算法 __EM算法本质__是统计学中的一种求解参数的方法，基于这种方法，我们可以求解出很多模型中的参数。 1、最大似然估计在__求解线性模型__的过程中，我们用到了__最大似然估计(MLE)__的思想。 EM算法达到的目的和最大似然估计是一样的，只不过EM算法可以帮助我们去计算一些__隐藏变量__的参数。即当极大似然估计无法解决某些问题的时候，我们需要使用EM算法这种__迭代算法__的思路，不断得__逼近__最后的参数解。 EM算法不是具体某一种模型，而是一种求解问题的思路。在统计学中这种算法思想用的特别多。 2、K-means算法 K-means算法__的求解过程本质上就是EM算法的思想，面试中曾经有人问：__K-means算法究竟是如何运用EM算法来实现的？这样两个算法就通过一个问题来挂上钩了。 3、EM算法然后讲到如何将EM算法用一种比较通式化的方法来实现求解过程，即但凡我们遇到一个可以用EM算法来解决的问题，我们如何去求解这个问题对应的参数。就好比极大似然估计中，我们使用联合概率作为似然函数的值，然后求解极大值。当然首先不同的问题会有不同的联合概率，先要把这个联合概率构造出来。 4、GMM算法最后使用EM算法解决一个问题：有一个模型叫做高斯混合模型(GMM)，可以通过EM算法来帮助我们来求解它最后的参数值。一、最大似然估计(MLE)回顾 __最大似然估计(Maximum Likelihood Estimati) 就是利用已知的样本结果，反推最有可能(最大概率)导致这样结果的参数值的计算过程。__直白来讲，就是给定了一定的数据，假定知道数据是从某种分布中随机抽取出来的，但是不知道这个分布具体的参数值，即“模型已定，参数未知”，MLE就可以用来估计模型的参数。 MLE的目标是找出一组参数(模型中的参数)，使得模型产出观察数据的概率最大。例子：假定盒子中有黑白两种球，数目未知，黑白球比例也未知，现只知道随机的十次有放回的抽样情况，求各个盒子中抽取出白球的概率？ MLE求解过程： 1、编写似然函数(即联合概率函数) <似然函数：在样本固定的情况下，样本出现的概率与参数θ之间的函数>； 2、对似然函数取对数，并整理；(一般都进行) 3、求导数。 4、解似然方程。分析：盒子中只有黑球和白球，假定白球的比例为p，那么黑球的比例为1-p。因为采取的是有放回的随机抽取，那么每次抽取出来的球的颜色服从同一独立分布情况，即每次抽取之间是独立互不影响的。求解盒子1中抽取出白球的概率：求解盒子2中抽取出白球的概率：求解盒子3中抽取出白球的概率：求解盒子4中抽取出白球的概率：求解盒子5中抽取出白球的概率：二、贝叶斯算法估计贝叶斯算法估计是一种从先验概率和样本分布情况来计算后验概率的一种方式。贝叶斯算法中的常见概念： 1、P(A)是事件A的先验概率或者边缘概率。 2、P(A\|B)是已知B发生后A发生的条件概率，也称为A的后验概率。 3、P(B\|A)是已知A发生后B发生的条件概率，也称为B的后验概率。 4、P(B)是事件B的先验概率或者边缘概率。例子：现在有五个盒子，假定每个盒子中都有黑白两种球，并且黑白球的比例如下；现已知从这五个盒子中的任意一个盒子中有放回的抽取两个球，且均为白球，问这两个球是从哪个盒子中抽取出来的？ 1、使用MLE(最大似然估计)，结论是从第五个盒子抽取的球: 2、使用贝叶斯算法估计，结论是从第五个盒子抽取的球：假定抽出白球为事件B，从第i个盒子中抽取为事件Ai。思路递进： __现在不是从五个盒子中任选一个盒子__进行抽取，而是按照一定的概率选择对应的盒子，概率如下。假定抽出白球为事件B，从第i个盒子中抽取为事件Ai。结论是从第四个盒子抽取的球。三、最大后验概率估计(MAP) 根据上面的例子我们得出了以下的结论： (最大后验概率估计Maximum a posteriori estimation)MAP 和 MLE 样，都是通过样本估计参数θ的值； 1、在__MLE__中，是使似然函数$color{red}{ P(x\|θ)}$最大的时候参数θ的值，MLE中__假设先验概率是一个等值__的； 2、而在__MAP__中，则是求θ使$color{red}{ P(x\|θ)P(θ)}$的值最大，这也就是要求θ值不仅仅是让似然函数最大，同时要求θ本身出现的先验概率也得比较大。可以认为MAP是贝叶斯算法的一种应用: 02 EM算法 - K-means算法回顾、EM概述
Markdown	[大模型](https://www.aliyun.com/product/tongyi)[产品](https://www.aliyun.com/product/list)[解决方案](https://www.aliyun.com/solution/tech-solution/)[权益](https://www.aliyun.com/benefit)[定价](https://www.aliyun.com/price)[云市场](https://market.aliyun.com/)[伙伴](https://partner.aliyun.com/management/v2)[服务](https://www.aliyun.com/service)[了解阿里云](https://www.aliyun.com/about) 查看 “ ” 全部搜索结果 [![](https://img.alicdn.com/imgextra/i2/O1CN01bYc1m81RrcSAyOjMu_!!6000000002165-54-tps-60-60.apng) AI 助理](https://www.aliyun.com/ai-assistant?displayMode=side) [文档](https://help.aliyun.com/)[备案](https://beian.aliyun.com/)[控制台](https://home.console.aliyun.com/home/dashboard/ProductAndService) [开发者社区](https://developer.aliyun.com/) [首页](https://developer.aliyun.com/ "开发者社区") 探索云世界 ### 探索云世界 #### 热门 [百炼大模型](https://developer.aliyun.com/modelstudio/)[Modelscope模型即服务](https://developer.aliyun.com/modelscope/)[弹性计算](https://developer.aliyun.com/ecs/)[通义灵码](https://developer.aliyun.com/lingma/)[云原生](https://developer.aliyun.com/cloudnative/)[数据库](https://developer.aliyun.com/database/)[云效DevOps](https://developer.aliyun.com/group/yunxiao/)[龙蜥操作系统](https://developer.aliyun.com/group/aliyun_linux/) #### [云计算](https://developer.aliyun.com/ecs/) [弹性计算](https://developer.aliyun.com/ecs/)[无影](https://developer.aliyun.com/group/wuying/)[存储](https://developer.aliyun.com/storage/)[网络](https://developer.aliyun.com/group/networking/)[倚天](https://developer.aliyun.com/yitian/) #### [大数据](https://developer.aliyun.com/bigdata/) [大数据计算](https://developer.aliyun.com/group/maxcompute/)[实时数仓Hologres](https://developer.aliyun.com/group/hologres/)[实时计算Flink](https://developer.aliyun.com/group/sc/)[E-MapReduce](https://developer.aliyun.com/group/aliyunemr/)[DataWorks](https://developer.aliyun.com/group/dataworks/)[Elasticsearch](https://developer.aliyun.com/group/es/)[机器学习平台PAI](https://developer.aliyun.com/group/pai/)[智能搜索推荐](https://developer.aliyun.com/group/aios/)[数据可视化DataV](https://developer.aliyun.com/group/datav/) #### [云原生](https://developer.aliyun.com/cloudnative/) [容器](https://developer.aliyun.com/group/kubernetes/)[serverless](https://developer.aliyun.com/group/serverless/)[中间件](https://developer.aliyun.com/group/aliware/)[微服务](https://developer.aliyun.com/group/mse/)[可观测](https://developer.aliyun.com/group/arms/)[消息队列](https://developer.aliyun.com/group/rocketmq/) #### [人工智能](https://developer.aliyun.com/modelscope/) [机器学习平台PAI](https://developer.aliyun.com/group/pai/)[视觉智能开放平台](https://developer.aliyun.com/group/viapi/)[智能语音交互](https://developer.aliyun.com/group/speech/)[自然语言处理](https://developer.aliyun.com/group/nlp/)[多模态模型](https://developer.aliyun.com/group/multimodel/)[pythonsdk](https://developer.aliyun.com/group/pythonsdk/)[通用模型](https://developer.aliyun.com/group/others/) #### [数据库](https://developer.aliyun.com/database/) [关系型数据库](https://developer.aliyun.com/group/polardb/)[NoSQL数据库](https://developer.aliyun.com/group/hbasespark/)[数据仓库](https://developer.aliyun.com/group/analyticdb/)[数据管理工具](https://developer.aliyun.com/database/dm)[PolarDB开源](https://developer.aliyun.com/polardb/)[向量数据库](https://developer.aliyun.com/database/vectordatabase) #### [开发与运维](https://developer.aliyun.com/group/othertech/) [云效DevOps](https://developer.aliyun.com/group/yunxiao/)[钉钉宜搭](https://developer.aliyun.com/group/yida/)[镜像站](https://developer.aliyun.com/group/mirror/) [问产品](https://developer.aliyun.com/ask/hottestQuestionsWithProduct) [动手实践](https://developer.aliyun.com/adc/) [官方博客](https://developer.aliyun.com/blog/) [考认证](https://edu.aliyun.com/) [TIANCHI大赛](https://tianchi.aliyun.com/) 活动广场 ### 活动广场丰富的线上&线下活动，深入探索云世界 [任务中心做任务，得社区积分和周边](https://developer.aliyun.com/mission) [训练营资深技术专家手把手带教](https://edu.aliyun.com/trainingcamp/) [直播技术交流，直击现场](https://developer.aliyun.com/live/) [乘风者计划让创作激发创新](https://developer.aliyun.com/topic/bloggers) 下载 ### 下载海量开发者使用工具、手册，免费下载 [镜像站极速、全面、稳定、安全的开源镜像](https://developer.aliyun.com/mirror) [技术资料开发手册、白皮书、案例集等实战精华](https://developer.aliyun.com/ebook/) 探索云世界热门 [百炼大模型](https://developer.aliyun.com/modelstudio/)[Modelscope模型即服务](https://developer.aliyun.com/modelscope/)[弹性计算](https://developer.aliyun.com/ecs/)[通义灵码](https://developer.aliyun.com/lingma/)[云原生](https://developer.aliyun.com/cloudnative/)[数据库](https://developer.aliyun.com/database/)[云效DevOps](https://developer.aliyun.com/group/yunxiao/)[龙蜥操作系统](https://developer.aliyun.com/group/aliyun_linux/) [云计算](https://developer.aliyun.com/ecs/)[弹性计算](https://developer.aliyun.com/ecs/)[无影](https://developer.aliyun.com/group/wuying/)[存储](https://developer.aliyun.com/storage/)[网络](https://developer.aliyun.com/group/networking/)[倚天](https://developer.aliyun.com/yitian/) [云原生](https://developer.aliyun.com/cloudnative/)[容器](https://developer.aliyun.com/group/kubernetes/)[serverless](https://developer.aliyun.com/group/serverless/)[中间件](https://developer.aliyun.com/group/aliware/)[微服务](https://developer.aliyun.com/group/mse/)[可观测](https://developer.aliyun.com/group/arms/)[消息队列](https://developer.aliyun.com/group/rocketmq/) [数据库](https://developer.aliyun.com/database/)[关系型数据库](https://developer.aliyun.com/group/polardb/)[NoSQL数据库](https://developer.aliyun.com/group/hbasespark/)[数据仓库](https://developer.aliyun.com/group/analyticdb/)[数据管理工具](https://developer.aliyun.com/database/dm)[PolarDB开源](https://developer.aliyun.com/polardb/)[向量数据库](https://developer.aliyun.com/database/vectordatabase) [大数据](https://developer.aliyun.com/bigdata/)[大数据计算](https://developer.aliyun.com/group/maxcompute/)[实时数仓Hologres](https://developer.aliyun.com/group/hologres/)[实时计算Flink](https://developer.aliyun.com/group/sc/)[E-MapReduce](https://developer.aliyun.com/group/aliyunemr/)[DataWorks](https://developer.aliyun.com/group/dataworks/)[Elasticsearch](https://developer.aliyun.com/group/es/)[机器学习平台PAI](https://developer.aliyun.com/group/pai/)[智能搜索推荐](https://developer.aliyun.com/group/aios/)[数据可视化DataV](https://developer.aliyun.com/group/datav/) [人工智能](https://developer.aliyun.com/modelscope/)[机器学习平台PAI](https://developer.aliyun.com/group/pai/)[视觉智能开放平台](https://developer.aliyun.com/group/viapi/)[智能语音交互](https://developer.aliyun.com/group/speech/)[自然语言处理](https://developer.aliyun.com/group/nlp/)[多模态模型](https://developer.aliyun.com/group/multimodel/)[pythonsdk](https://developer.aliyun.com/group/pythonsdk/)[通用模型](https://developer.aliyun.com/group/others/) [开发与运维](https://developer.aliyun.com/group/othertech/)[云效DevOps](https://developer.aliyun.com/group/yunxiao/)[钉钉宜搭](https://developer.aliyun.com/group/yida/)[镜像站](https://developer.aliyun.com/group/mirror/) [开发者社区](https://developer.aliyun.com/) [Java技术进阶](https://developer.aliyun.com/group/javaup/) [文章](https://developer.aliyun.com/group/javaup/article/) 正文 # 01 EM算法 - 大纲 - 最大似然估计(MLE)、贝叶斯算法估计、最大后验概率估计(MAP) 2018-12-22 2942 版权版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 [阿里云开发者社区用户服务协议](https://developer.aliyun.com/article/768092)》和《[阿里云开发者社区知识产权保护指引](https://developer.aliyun.com/article/768093)》。如果您发现本社区中有涉嫌抄袭的内容，填写 [侵权投诉表单](https://yida.alibaba-inc.com/o/right)进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。简介： ##### EM算法的讲解的内容包括以下几个方面： 1、最大似然估计 2、K-means算法 3、EM算法 4、GMM算法 * \_\_EM算法本质\_\_是统计学中的一种求解参数的方法，基于这种方法，我们可以求解出很多模型中的参数。 1、最大似然估计在\_\_求解线性模型\_\_的过程中，我们用到了\_\_最大似然估计(MLE)\_\_的思想。 EM算法达到的目的和最大似然估计是一样的，只不过EM算法可以帮助我们去计算一些\_\_隐藏变量\_\_的参数。即当极大似然估计无法解决某些问题的时候，我们需要使用EM算法这种\_\_迭代算法\_\_的思路，不断得\_\_逼近\_\_最后的参数解。 EM算法不是具体某一种模型，而是一种求解问题的思路。在统计学中这种算法思想用的特别多。 * 2、K-means算法 K-means算法\_\_的求解过程本质上就是EM算法的思想，面试中曾经有人问：\_\_K-means算法究竟是如何运用EM算法来实现的？这样两个算法就通过一个问题来挂上钩了。 * 3、EM算法然后讲到如何将EM算法用一种比较通式化的方法来实现求解过程，即但凡我们遇到一个可以用EM算法来解决的问题，我们如何去求解这个问题对应的参数。就好比极大似然估计中，我们使用联合概率作为似然函数的值，然后求解极大值。当然首先不同的问题会有不同的联合概率，先要把这个联合概率构造出来。 * 4、GMM算法最后使用EM算法解决一个问题：有一个模型叫做高斯混合模型(GMM)，可以通过EM算法来帮助我们来求解它最后的参数值。 * ## 一、最大似然估计(MLE)回顾 \_\_最大似然估计(Maximum Likelihood Estimati) 就是利用已知的样本结果，反推最有可能(最大概率)导致这样结果的参数值的计算过程。\_\_直白来讲，就是给定了一定的数据，假定知道数据是从某种分布中随机抽取出来的，但是不知道这个分布具体的参数值，即“模型已定，参数未知”，MLE就可以用来估计模型的参数。 MLE的目标是找出一组参数(模型中的参数)，使得模型产出观察数据的概率最大。 ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/6ae238b2bd7e4c239b907a97668590e6.webp?x-oss-process=image/resize,w_1400/format,webp) * 例子：假定盒子中有黑白两种球，数目未知，黑白球比例也未知，现只知道随机的十次有放回的抽样情况，求各个盒子中抽取出白球的概率？ ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/98b6ce07f0354f6089bb170ba341c638.webp?x-oss-process=image/resize,w_1400/format,webp) MLE求解过程： 1、编写似然函数(即联合概率函数) \<似然函数：在样本固定的情况下，样本出现的概率与参数θ之间的函数\>； 2、对似然函数取对数，并整理；(一般都进行) 3、求导数。 4、解似然方程。 ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/f089baef86a6431fa838d0a07844deda.webp?x-oss-process=image/resize,w_1400/format,webp) 分析：盒子中只有黑球和白球，假定白球的比例为p，那么黑球的比例为1-p。因为采取的是有放回的随机抽取，那么每次抽取出来的球的颜色服从同一独立分布情况，即每次抽取之间是独立互不影响的。 ![求解思路](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/3905fc16bc8c47c9a3e0585c671bbbe3.webp?x-oss-process=image/resize,w_1400/format,webp) 求解盒子1中抽取出白球的概率： ![左-求联合概率中-取对数右-求极值](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/bbed30a237014d1aa18abf23d85db813.webp?x-oss-process=image/resize,w_1400/format,webp) 求解盒子2中抽取出白球的概率： ![左-求联合概率中-取对数右-求导并求极值](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/ab12c4dedca64408b2b1f4bfb68f16a0.webp?x-oss-process=image/resize,w_1400/format,webp) 求解盒子3中抽取出白球的概率： ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/37fd41d439d146d9a1de1fcab964ac46.webp?x-oss-process=image/resize,w_1400/format,webp) 求解盒子4中抽取出白球的概率： ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/068ce6c8359740f9bbacb02454d1063f.webp?x-oss-process=image/resize,w_1400/format,webp) 求解盒子5中抽取出白球的概率： ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/76dc37e26c3048a9a306582766691f5b.webp?x-oss-process=image/resize,w_1400/format,webp) ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/61c5d37738dc482db6f764b4d4a1d84c.webp?x-oss-process=image/resize,w_1400/format,webp) * ## 二、贝叶斯算法估计贝叶斯算法估计是一种从先验概率和样本分布情况来计算后验概率的一种方式。贝叶斯算法中的常见概念： 1、P(A)是事件A的先验概率或者边缘概率。 2、P(A\\|B)是已知B发生后A发生的条件概率，也称为A的后验概率。 3、P(B\\|A)是已知A发生后B发生的条件概率，也称为B的后验概率。 4、P(B)是事件B的先验概率或者边缘概率。 ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/ce8d9dc4bb9c4272b9769f6fca6e4f3e.webp?x-oss-process=image/resize,w_1400/format,webp) * 例子：现在有五个盒子，假定每个盒子中都有黑白两种球，并且黑白球的比例如下；现已知从这五个盒子中的任意一个盒子中有放回的抽取两个球，且均为白球，问这两个球是从哪个盒子中抽取出来的？ 1、使用MLE(最大似然估计)，结论是从第五个盒子抽取的球: ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/f4e31a997d4e451799007b8f71889780.webp?x-oss-process=image/resize,w_1400/format,webp) * 2、使用贝叶斯算法估计，结论是从第五个盒子抽取的球：假定抽出白球为事件B，从第i个盒子中抽取为事件Ai。 ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/8eefa37147044adf8846d25d050ff39b.webp?x-oss-process=image/resize,w_1400/format,webp) ![公式进一步分析](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/a4993ad1538f400a87aaaf9cb6772ca0.webp?x-oss-process=image/resize,w_1400/format,webp) * 思路递进： \_\_现在不是从五个盒子中任选一个盒子\_\_进行抽取，而是按照一定的概率选择对应的盒子，概率如下。假定抽出白球为事件B，从第i个盒子中抽取为事件Ai。结论是从第四个盒子抽取的球。 ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/5b6c004b85b24558a7192bbce112ff8e.webp?x-oss-process=image/resize,w_1400/format,webp) * ## 三、最大后验概率估计(MAP) 根据上面的例子我们得出了以下的结论： (最大后验概率估计Maximum a posteriori estimation)MAP 和 MLE** 样，都是通过样本估计参数θ的值； 1、在\_\_MLE\_\_中，是使似然函数\$color{red}{ P(x\\|θ)}\$最大的时候参数θ的值，MLE中\_\_假设先验概率是一个等值\_\_的； 2、而在\_\_MAP\_\_中，则是求θ使\$color{red}{ P(x\\|θ)P(θ)}\$的值最大，这也就是要求θ值不仅仅是让似然函数最大，同时要求θ本身出现的先验概率也得比较大。可以认为MAP是贝叶斯算法的一种应用: ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/3c21c4ec495e42c0b5267c0d0ab236c2.webp?x-oss-process=image/resize,w_1400/format,webp) [02 EM算法 - K-means算法回顾、EM概述](https://www.jianshu.com/p/d1b297e04b1c) 文章标签： [算法](https://developer.aliyun.com/label/article_de-3-100255) 关键词： [算法概率](https://www.aliyun.com/sswb/611704.html) [em算法](https://www.aliyun.com/sswb/804583.html) [算法贝叶斯](https://www.aliyun.com/sswb/645033.html) [算法map](https://www.aliyun.com/sswb/692190.html) [算法估计](https://www.aliyun.com/sswb/632775.html) [![](https://ucc.alicdn.com/avatar/img_2f759e7faf55f06cbb18ab5c7441971a.jpg?x-oss-process=image/resize,h_150,m_lfit)](https://developer.aliyun.com/profile/sy3mx475qpibg) [白尔摩斯](https://developer.aliyun.com/profile/sy3mx475qpibg) 目录相关文章 [我爱matlab](https://developer.aliyun.com/profile/nymobwrkkdwks) \\| 5月前 \\| 算法数据安全/隐私保护 [基于PSO粒子群优化算法的256QAM星座图的最优概率整形matlab仿真,对比PSO优化前后整形星座图和误码率](https://developer.aliyun.com/article/1674640) 本项目基于MATLAB 2022a仿真256QAM系统，采用概率星座整形（PCS）技术优化星座点分布，结合粒子群优化（PSO）算法搜索最优整形因子v，降低误码率，提升传输性能。核心程序包含完整优化流程。 [我爱matlab](https://developer.aliyun.com/profile/nymobwrkkdwks) 171 0 0 [胖咕噜的稞达鸭](https://developer.aliyun.com/profile/pfj33xo73h66w) \\| 3月前 \\| 存储算法容器 [set\_map的实现+set/map加持秒杀高频算法题锻炼算法思维](https://developer.aliyun.com/article/1685607) \`set\`基于红黑树实现，支持有序存储、自动去重，增删查效率为O(logN)。通过仿函数可自定义排序规则，配合空间配置器灵活管理内存。不支持修改元素值，迭代器失效需注意。\`multiset\`允许重复元素。常用于去重、排序及查找场景。 [胖咕噜的稞达鸭](https://developer.aliyun.com/profile/pfj33xo73h66w) 239 3 3 [简简单单做算法](https://developer.aliyun.com/profile/3tnl7rfrqv6tw) \\| 6月前 \\| 算法数据可视化数据挖掘 [基于EM期望最大化算法的GMM参数估计与三维数据分类系统python源码](https://developer.aliyun.com/article/1671009) 本内容展示了基于EM算法的高斯混合模型（GMM）聚类实现，包含完整Python代码、运行效果图及理论解析。程序使用三维数据进行演示，涵盖误差计算、模型参数更新、结果可视化等关键步骤，并附有详细注释与操作视频，适合学习EM算法与GMM模型的原理及应用。 [简简单单做算法](https://developer.aliyun.com/profile/3tnl7rfrqv6tw) 279 13 13 [软件算法开发](https://developer.aliyun.com/profile/7cdil26nwhfeo) \\| 7月前 \\| 算法数据安全/隐私保护 [基于Logistic-Map混沌序列的数字信息加解密算法matlab仿真,支持对文字,灰度图,彩色图,语音进行加解密](https://developer.aliyun.com/article/1665825) 本项目实现了一种基于Logistic Map混沌序列的数字信息加解密算法，使用MATLAB2022A开发并包含GUI操作界面。支持对文字、灰度图像、彩色图像和语音信号进行加密与解密处理。核心程序通过调整Logistic Map的参数生成伪随机密钥序列，确保加密的安全性。混沌系统的不可预测性和对初值的敏感依赖性是该算法的核心优势。示例展示了彩色图像、灰度图像、语音信号及文字信息的加解密效果，运行结果清晰准确，且完整程序输出无水印。 [软件算法开发](https://developer.aliyun.com/profile/7cdil26nwhfeo) 185 1 1 [![基于Logistic-Map混沌序列的数字信息加解密算法matlab仿真,支持对文字,灰度图,彩色图,语音进行加解密](https://ucc.alicdn.com/pic/developer-ecology/7cdil26nwhfeo_5058053b9909464c8967eb9bee09fc7b.jpg?x-oss-process=image/format,webp/resize,h_160,m_lfit)](https://developer.aliyun.com/article/1665825) [我爱matlab](https://developer.aliyun.com/profile/nymobwrkkdwks) \\| 7月前 \\| 算法 JavaScript 数据安全/隐私保护 [基于遗传算法的256QAM星座图的最优概率整形matlab仿真,对比优化前后整形星座图和误码率](https://developer.aliyun.com/article/1667474) 本内容展示了基于GA（遗传算法）优化的256QAM概率星座整形（PCS）技术的研究与实现。通过Matlab仿真，分析了优化前后星座图和误码率（BER）的变化。256QAM采用非均匀概率分布（Maxwell-Boltzman分布）降低外圈星座点出现频率，减小平均功率并增加最小欧氏距离，从而提升传输性能。GA算法以BER为适应度函数，搜索最优整形参数v，显著降低误码率。核心程序实现了GA优化过程，包括种群初始化、选择、交叉、变异等步骤，并绘制了优化曲线。此研究有助于提高频谱效率和传输灵活性，适用于不同信道环境。 [我爱matlab](https://developer.aliyun.com/profile/nymobwrkkdwks) 213 10 10 [我爱matlab](https://developer.aliyun.com/profile/nymobwrkkdwks) \\| 7月前 \\| 算法 JavaScript 数据安全/隐私保护 [基于遗传算法的64QAM星座图的最优概率整形matlab仿真,对比优化前后整形星座图和误码率](https://developer.aliyun.com/article/1667261) 本内容主要探讨基于遗传算法（GA）优化的64QAM概率星座整形（PCS）技术。通过改变星座点出现的概率分布，使外圈点频率降低，从而减小平均功率、增加最小欧氏距离，提升传输性能。仿真使用Matlab2022a完成，展示了优化前后星座图与误码率对比，验证了整形增益及频谱效率提升效果。理论分析表明，Maxwell-Boltzman分布为最优概率分布，核心程序通过GA搜索最佳整形因子v，以蒙特卡罗方法估计误码率，最终实现低误码率优化目标。 [我爱matlab](https://developer.aliyun.com/profile/nymobwrkkdwks) 207 1 1 [哈你真皮](https://developer.aliyun.com/profile/g2em6mpwtihai) \\| 6月前 \\| 监控算法决策智能 [基于盲源分离与贝叶斯非局部均值的图像降噪算法](https://developer.aliyun.com/article/1671842) 基于盲源分离与贝叶斯非局部均值的图像降噪算法 [哈你真皮](https://developer.aliyun.com/profile/g2em6mpwtihai) 213 0 0 [软件算法开发](https://developer.aliyun.com/profile/7cdil26nwhfeo) \\| 移动开发算法计算机视觉 [基于分块贝叶斯非局部均值优化(OBNLM)的图像去噪算法matlab仿真](https://developer.aliyun.com/article/1648338) 本项目基于分块贝叶斯非局部均值优化（OBNLM）算法实现图像去噪，使用MATLAB2022A进行仿真。通过调整块大小和窗口大小等参数，研究其对去噪效果的影响。OBNLM结合了经典NLM算法与贝叶斯统计理论，利用块匹配和概率模型优化相似块的加权融合，提高去噪效率和保真度。实验展示了不同参数设置下的去噪结果，验证了算法的有效性。 [软件算法开发](https://developer.aliyun.com/profile/7cdil26nwhfeo) 243 10 10 [软件算法开发](https://developer.aliyun.com/profile/7cdil26nwhfeo) \\| 10月前 \\| 机器学习/深度学习算法数据安全/隐私保护 [基于贝叶斯优化的自适应马尔科夫链蒙特卡洛(Adaptive-MCMC)算法matlab仿真](https://developer.aliyun.com/article/1654837) 本项目基于贝叶斯优化的自适应马尔科夫链蒙特卡洛（Adaptive-MCMC）算法，实现MATLAB仿真，并对比Kawasaki sampler、IMExpert、IMUnif和IMBayesOpt四种方法。核心在于利用历史采样信息动态调整MCMC参数，以高效探索复杂概率分布。完整程序在MATLAB2022A上运行，展示T1-T7结果，无水印。该算法结合贝叶斯优化与MCMC技术，通过代理模型和采集函数优化采样效率。 [软件算法开发](https://developer.aliyun.com/profile/7cdil26nwhfeo) 614 0 0 [简简单单做算法](https://developer.aliyun.com/profile/3tnl7rfrqv6tw) \\| 机器学习/深度学习算法数据安全/隐私保护 [基于贝叶斯优化CNN-GRU网络的数据分类识别算法matlab仿真](https://developer.aliyun.com/article/1643379) 本项目展示了使用MATLAB2022a实现的贝叶斯优化、CNN和GRU算法优化效果。优化前后对比显著，完整代码附带中文注释及操作视频。贝叶斯优化适用于黑盒函数，CNN用于时间序列特征提取，GRU改进了RNN的长序列处理能力。 [简简单单做算法](https://developer.aliyun.com/profile/3tnl7rfrqv6tw) 314 5 5 [Java技术进阶](https://developer.aliyun.com/group/javaup/) ## 热门文章 ## 最新文章 [1 几个常用快速无损压缩算法性能比较](https://developer.aliyun.com/article/354819) [2 机器学习算法—KMEANS算法原理及阿里云PAI平台算法模块参数说明](https://developer.aliyun.com/article/722900) [3 QPS 提升60%，揭秘阿里巴巴轻量级开源 Web 服务器 Tengine 负载均衡算法](https://developer.aliyun.com/article/708538) [4 阿里巴巴CTO张建锋：大数据+计算+算法才是未来](https://developer.aliyun.com/article/59001) [5 【无人机任务分配】基于合同网协议（CNP算法）实现多无人机具有时间窗口和优先级约束任务分配及跟踪问题附matlab代码](https://developer.aliyun.com/article/1231862) [6 【人工智能】蚁群算法(密恐勿入)（一）](https://developer.aliyun.com/article/1222656) [7 DL之FCN：FCN算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略](https://developer.aliyun.com/article/798644) [8 车间调度\\|基于遗传算法的柔性车间调度（Matlab代码实现）](https://developer.aliyun.com/article/1288599) [9 深度强化学习中Double DQN算法（Q-Learning+CNN）的讲解及在Asterix游戏上的实战（超详细附源码）](https://developer.aliyun.com/article/1398939) [10 对图像边缘进行随机均匀采样的C\#算法实现](https://developer.aliyun.com/article/348049) [1 深入理解 go sync.Map - 基本原理 285](https://developer.aliyun.com/article/1671884) [2 如何在Map中获取元素的数量？ 337](https://developer.aliyun.com/article/1671414) [3 在JavaScript中，Set和Map的性能有什么区别？ 438](https://developer.aliyun.com/article/1671413) [4 Set和Map有什么区别？ 517](https://developer.aliyun.com/article/1671410) [5 让我们讲解一下 Map 集合遍历的方式 304](https://developer.aliyun.com/article/1667960) [6 基于Logistic-Map混沌序列的数字信息加解密算法matlab仿真,支持对文字,灰度图,彩色图,语音进行加解密 185](https://developer.aliyun.com/article/1665825) [7 for...of循环在遍历Set和Map时的注意事项有哪些？ 383](https://developer.aliyun.com/article/1665808) [8 unordered\_set、unordered\_multiset、unordered\_map、unordered\_multimap的介绍及使用 342](https://developer.aliyun.com/article/1665578) [9 用一棵红黑树同时封装出map和set 109](https://developer.aliyun.com/article/1665577) [10 set、map、multiset、multimap的介绍及使用以及区别，注意事项 290](https://developer.aliyun.com/article/1665570) ## 相关课程 [更多](https://edu.aliyun.com/explore/) [智能运维赛（复赛）：利用数据和算法，快速定位系统异常并进行根因分析](https://edu.aliyun.com/course/3117900) [智能创作赛（复赛）：相册应用中的视频故事生成算法介绍](https://edu.aliyun.com/course/3117715) [智能创作赛（初赛）：相册应用中的故事生成算法介绍](https://edu.aliyun.com/course/3117707) [相册服务中的故事生成算法介绍](https://edu.aliyun.com/course/3113002) [Go语言核心编程 - 数据结构和算法](https://edu.aliyun.com/course/314445) [神经网络概览及算法详解](https://edu.aliyun.com/course/312408) ## 相关电子书 [更多](https://developer.aliyun.com/ebook/) [数据+算法定义新世界](https://developer.aliyun.com/ebook/3158) [袋鼠云基于实时计算的反黄牛算法](https://developer.aliyun.com/ebook/3560) [Alink：基于Apache Flink的算法平台](https://developer.aliyun.com/ebook/3564) 下一篇 [附部署代码｜云数据库RDS 全托管 Supabase服务：小白轻松搞定开发AI应用](https://developer.aliyun.com/article/1674335) ### 为什么选择阿里云 [什么是云计算](https://www.aliyun.com/about/what-is-cloud-computing)[全球基础设施](https://infrastructure.aliyun.com/)[技术领先](https://www.aliyun.com/why-us/leading-technology)[稳定可靠](https://www.aliyun.com/why-us/reliability)[安全合规](https://www.aliyun.com/why-us/security-compliance)[分析师报告](https://www.aliyun.com/analyst-reports) ### 大模型 [通义大模型](https://www.aliyun.com/product/tongyi)[大模型服务](https://bailian.console.aliyun.com/?tab=model#/model-market)[AI应用构建](https://bailian.console.aliyun.com/app-center?tab=app#/app-center) ### 产品和定价 [全部产品](https://www.aliyun.com/product/list)[免费试用](https://free.aliyun.com/)[产品动态](https://www.aliyun.com/product/news/)[产品定价](https://www.aliyun.com/price/detail)[配置报价器](https://www.aliyun.com/price/cpq/list)[云上成本管理](https://www.aliyun.com/price/cost-management) ### 技术内容 [技术解决方案](https://www.aliyun.com/solution/tech-solution)[帮助文档](https://help.aliyun.com/)[开发者社区](https://developer.aliyun.com/)[天池大赛](https://tianchi.aliyun.com/)[阿里云认证](https://edu.aliyun.com/) ### 权益 [免费试用](https://free.aliyun.com/)[解决方案免费试用](https://www.aliyun.com/solution/free)[高校计划](https://university.aliyun.com/)[5亿算力补贴](https://www.aliyun.com/benefit/form/index)[推荐返现计划](https://dashi.aliyun.com/?ambRef=shouYeDaoHang2&pageCode=yunparterIndex) ### 服务 [基础服务](https://www.aliyun.com/service)[企业增值服务](https://www.aliyun.com/service/supportplans)[迁云服务](https://www.aliyun.com/service/devopsimpl/devopsimpl_cloudmigration_public_cn)[官网公告](https://www.aliyun.com/notice/)[健康看板](https://status.aliyun.com/)[信任中心](https://security.aliyun.com/trust-center) ### 关注阿里云关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务 ![阿里云APP](https://img.alicdn.com/imgextra/i4/O1CN01XLesV31fkf7pYNATb_!!6000000004045-2-tps-400-400.png)![阿里云微信](https://img.alicdn.com/tfs/TB1AOdINW6qK1RjSZFmXXX0PFXa-258-258.jpg) 联系我们：4008013260 [法律声明](https://help.aliyun.com/product/67275.html)[Cookies政策](https://terms.alicdn.com/legal-agreement/terms/platform_service/20220906101446934/20220906101446934.html)[廉正举报](https://aliyun.jubao.alibaba.com/)[安全举报](https://report.aliyun.com/)[联系我们](https://www.aliyun.com/contact)[加入我们](https://careers.aliyun.com/) ### 友情链接 [阿里巴巴集团](https://www.alibabagroup.com/cn/global/home)[淘宝网](https://www.taobao.com/)[天猫](https://www.tmall.com/)[全球速卖通](https://www.aliexpress.com/)[阿里巴巴国际交易市场](https://www.alibaba.com/)[1688](https://www.1688.com/)[阿里妈妈](https://www.alimama.com/index.htm)[飞猪](https://www.fliggy.com/)[阿里云计算](https://www.aliyun.com/)[万网](https://wanwang.aliyun.com/)[高德](https://mobile.amap.com/)[UC](https://www.uc.cn/)[友盟](https://www.umeng.com/)[优酷](https://www.youku.com/)[钉钉](https://www.dingtalk.com/)[支付宝](https://www.alipay.com/)[达摩院](https://damo.alibaba.com/)[淘宝海外](https://world.taobao.com/)[阿里云盘](https://www.aliyundrive.com/)[淘宝闪购](https://www.ele.me/) © 2009-现在 Aliyun.com 版权所有增值电信业务经营许可证： [浙B2-20080101](http://beian.miit.gov.cn/) 域名注册服务机构许可： [浙D3-20210002](https://domain.miit.gov.cn/%E5%9F%9F%E5%90%8D%E6%B3%A8%E5%86%8C%E6%9C%8D%E5%8A%A1%E6%9C%BA%E6%9E%84/%E4%BA%92%E8%81%94%E7%BD%91%E5%9F%9F%E5%90%8D/%E9%98%BF%E9%87%8C%E4%BA%91%E8%AE%A1%E7%AE%97%E6%9C%89%E9%99%90%E5%85%AC%E5%8F%B8%20) [![](https://gw.alicdn.com/tfs/TB1GxwdSXXXXXa.aXXXXXXXXXXX-65-70.gif)](https://zzlz.gsxt.gov.cn/businessCheck/verifKey.do?showType=p&serial=91330106673959654P-SAIC_SHOW_10000091330106673959654P1710919400712&signData=MEUCIQDEkCd8cK7%2Fyqe6BNMWvoMPtAnsgKa7FZetfPkjZMsvhAIgOX1G9YC6FKyndE7o7hL0KaBVn4f%20V%2Fiof3iAgpsV09o%3D)[![浙公网安备 33010602009975号](https://img.alicdn.com/tfs/TB1..50QpXXXXX7XpXXXXXXXXXX-40-40.png)浙公网安备 33010602009975号](http://www.beian.gov.cn/portal/registerSystemInfo)[浙B2-20080101-4](https://beian.miit.gov.cn/)
Readable Markdown	2018-12-22 2942 版权版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 [阿里云开发者社区用户服务协议](https://developer.aliyun.com/article/768092)》和《[阿里云开发者社区知识产权保护指引](https://developer.aliyun.com/article/768093)》。如果您发现本社区中有涉嫌抄袭的内容，填写 [侵权投诉表单](https://yida.alibaba-inc.com/o/right)进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。 ##### EM算法的讲解的内容包括以下几个方面： 1、最大似然估计 2、K-means算法 3、EM算法 4、GMM算法 * \_\_EM算法本质\_\_是统计学中的一种求解参数的方法，基于这种方法，我们可以求解出很多模型中的参数。 1、最大似然估计在\_\_求解线性模型\_\_的过程中，我们用到了\_\_最大似然估计(MLE)\_\_的思想。 EM算法达到的目的和最大似然估计是一样的，只不过EM算法可以帮助我们去计算一些\_\_隐藏变量\_\_的参数。即当极大似然估计无法解决某些问题的时候，我们需要使用EM算法这种\_\_迭代算法\_\_的思路，不断得\_\_逼近\_\_最后的参数解。 EM算法不是具体某一种模型，而是一种求解问题的思路。在统计学中这种算法思想用的特别多。 * 2、K-means算法 K-means算法\_\_的求解过程本质上就是EM算法的思想，面试中曾经有人问：\_\_K-means算法究竟是如何运用EM算法来实现的？这样两个算法就通过一个问题来挂上钩了。 * 3、EM算法然后讲到如何将EM算法用一种比较通式化的方法来实现求解过程，即但凡我们遇到一个可以用EM算法来解决的问题，我们如何去求解这个问题对应的参数。就好比极大似然估计中，我们使用联合概率作为似然函数的值，然后求解极大值。当然首先不同的问题会有不同的联合概率，先要把这个联合概率构造出来。 * 4、GMM算法最后使用EM算法解决一个问题：有一个模型叫做高斯混合模型(GMM)，可以通过EM算法来帮助我们来求解它最后的参数值。 * ## 一、最大似然估计(MLE)回顾 \_\_最大似然估计(Maximum Likelihood Estimati) 就是利用已知的样本结果，反推最有可能(最大概率)导致这样结果的参数值的计算过程。\_\_直白来讲，就是给定了一定的数据，假定知道数据是从某种分布中随机抽取出来的，但是不知道这个分布具体的参数值，即“模型已定，参数未知”，MLE就可以用来估计模型的参数。 MLE的目标是找出一组参数(模型中的参数)，使得模型产出观察数据的概率最大。 ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/6ae238b2bd7e4c239b907a97668590e6.webp?x-oss-process=image/resize,w_1400/format,webp) * 例子：假定盒子中有黑白两种球，数目未知，黑白球比例也未知，现只知道随机的十次有放回的抽样情况，求各个盒子中抽取出白球的概率？ ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/98b6ce07f0354f6089bb170ba341c638.webp?x-oss-process=image/resize,w_1400/format,webp) MLE求解过程： 1、编写似然函数(即联合概率函数) \<似然函数：在样本固定的情况下，样本出现的概率与参数θ之间的函数\>； 2、对似然函数取对数，并整理；(一般都进行) 3、求导数。 4、解似然方程。 ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/f089baef86a6431fa838d0a07844deda.webp?x-oss-process=image/resize,w_1400/format,webp) 分析：盒子中只有黑球和白球，假定白球的比例为p，那么黑球的比例为1-p。因为采取的是有放回的随机抽取，那么每次抽取出来的球的颜色服从同一独立分布情况，即每次抽取之间是独立互不影响的。 ![求解思路](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/3905fc16bc8c47c9a3e0585c671bbbe3.webp?x-oss-process=image/resize,w_1400/format,webp) 求解盒子1中抽取出白球的概率： ![左-求联合概率中-取对数右-求极值](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/bbed30a237014d1aa18abf23d85db813.webp?x-oss-process=image/resize,w_1400/format,webp) 求解盒子2中抽取出白球的概率： ![左-求联合概率中-取对数右-求导并求极值](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/ab12c4dedca64408b2b1f4bfb68f16a0.webp?x-oss-process=image/resize,w_1400/format,webp) 求解盒子3中抽取出白球的概率： ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/37fd41d439d146d9a1de1fcab964ac46.webp?x-oss-process=image/resize,w_1400/format,webp) 求解盒子4中抽取出白球的概率： ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/068ce6c8359740f9bbacb02454d1063f.webp?x-oss-process=image/resize,w_1400/format,webp) 求解盒子5中抽取出白球的概率： ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/76dc37e26c3048a9a306582766691f5b.webp?x-oss-process=image/resize,w_1400/format,webp) ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/61c5d37738dc482db6f764b4d4a1d84c.webp?x-oss-process=image/resize,w_1400/format,webp) * ## 二、贝叶斯算法估计贝叶斯算法估计是一种从先验概率和样本分布情况来计算后验概率的一种方式。贝叶斯算法中的常见概念： 1、P(A)是事件A的先验概率或者边缘概率。 2、P(A\\|B)是已知B发生后A发生的条件概率，也称为A的后验概率。 3、P(B\\|A)是已知A发生后B发生的条件概率，也称为B的后验概率。 4、P(B)是事件B的先验概率或者边缘概率。 ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/ce8d9dc4bb9c4272b9769f6fca6e4f3e.webp?x-oss-process=image/resize,w_1400/format,webp) * 例子：现在有五个盒子，假定每个盒子中都有黑白两种球，并且黑白球的比例如下；现已知从这五个盒子中的任意一个盒子中有放回的抽取两个球，且均为白球，问这两个球是从哪个盒子中抽取出来的？ 1、使用MLE(最大似然估计)，结论是从第五个盒子抽取的球: ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/f4e31a997d4e451799007b8f71889780.webp?x-oss-process=image/resize,w_1400/format,webp) * 2、使用贝叶斯算法估计，结论是从第五个盒子抽取的球：假定抽出白球为事件B，从第i个盒子中抽取为事件Ai。 ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/8eefa37147044adf8846d25d050ff39b.webp?x-oss-process=image/resize,w_1400/format,webp) ![公式进一步分析](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/a4993ad1538f400a87aaaf9cb6772ca0.webp?x-oss-process=image/resize,w_1400/format,webp) * 思路递进： \_\_现在不是从五个盒子中任选一个盒子\_\_进行抽取，而是按照一定的概率选择对应的盒子，概率如下。假定抽出白球为事件B，从第i个盒子中抽取为事件Ai。结论是从第四个盒子抽取的球。 ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/5b6c004b85b24558a7192bbce112ff8e.webp?x-oss-process=image/resize,w_1400/format,webp) * ## 三、最大后验概率估计(MAP) 根据上面的例子我们得出了以下的结论： (最大后验概率估计Maximum a posteriori estimation)MAP 和 MLE** 样，都是通过样本估计参数θ的值； 1、在\_\_MLE\_\_中，是使似然函数\$color{red}{ P(x\\|θ)}\$最大的时候参数θ的值，MLE中\_\_假设先验概率是一个等值\_\_的； 2、而在\_\_MAP\_\_中，则是求θ使\$color{red}{ P(x\\|θ)P(θ)}\$的值最大，这也就是要求θ值不仅仅是让似然函数最大，同时要求θ本身出现的先验概率也得比较大。可以认为MAP是贝叶斯算法的一种应用: ![](https://ucc.alicdn.com/sy3mx475qpibg/developer-article681010/20241021/3c21c4ec495e42c0b5267c0d0ab236c2.webp?x-oss-process=image/resize,w_1400/format,webp) [02 EM算法 - K-means算法回顾、EM概述](https://www.jianshu.com/p/d1b297e04b1c)
Shard	149 (laksa)
Root Hash	892221456919234349
Unparsed URL	com,aliyun!developer,/article/681010 s443