极大似然估计法的理解_最大似然估计法估计泊松模型stata-程序员宅基地

极大似然估计法

1 前言

这几天在研究机器学习的过程中，经常见到极大似然估计法，这个方法似乎运用十分广泛，因此在网上找了一些资源，特此整合，以便自己经常翻阅。

2 原理和方法

网上给出了两个经典例子：
1一位老猎人和一个学徒出去打猎，猎捕到了一只野兔，那么是谁打死的。
2两个箱子，一个箱子有90个白球，10个黑球，另一个箱子有90个黑球，10个白球，抽出一个白球，那么是从哪个箱子抽出来的。
针对以上两个问题，按照经验我们都会觉得对于第一个问题的答案很有可能是老猎人打死的，因为老猎人比学徒要更厉害，第二个问题的答案是从有90个白球的箱子抽出来的，因为白球更多，更容易抽出。
针对于这两个问题，从数学的方法来解读就是概率最大的事件最容易发生，一次实验出现的应该有最大的概率，也就是极大似然估计法的依据（这是参数估计的另一种方法，至于什么是参数估计我还没看，大家可以自行研究）。
极大似然估计法的数学表示就是在一次抽样中，如果得到样本值X1，X2，X3…Xn，那么对于样本的总体参数θ来说，它的估计值应该使得样本值X1,X2…Xn出现的概率最大。
针对于上述题目，有一个题目可帮大家理解.
现有一个黑箱子，里面有白球和黑球，一共一百个，现在有放回的抽取十个球，发现抽到了4个白球，6个黑球，那么估计白球黑球分别有多少个？
针对上述题目，应用极大似然估计法就是寻找参数θ，使得此次抽到的结果最大，那么此时的θ设为白球个数，则抽到白球的概率为
P = P(x=白球）= θ /100,
抽到黑球的概率为
P1 = P(x=黑球) = (1-P(x=白球)) = 1 - P
那么抽到6个白球，四个黑球的概率为：
![在这里插入图片描述](https://img-blog.csdn.net/20181004111606530?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMzM1MA==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/7 0)
现在的问题就是确定p的值使得概率最大，首先取对数，得到

然后求导
求导之后的值
导数为0时取得最大值，得到白球四十个，黑球六十个。
这个估计值准不准确，不一定，但是可以一个估计和评判的标注。
以下为极大似然估计法的求解步骤，这里照搬网上的一个方法。
在这里插入图片描述
对于泊松分布和正态分布大家可以自行推导参数，发现与定义的一致，有兴趣的可以看一下这十几张PPT,
极大似然估计法原理

3 运用

1线性回归
在线性回归模型中，误差函数我们使用的是平方和，为什么采用平方和，而不是绝对值呢，首先在线性回归模型中整体的求解方程如下:
在这里插入图片描述
希望可以找出参数向量w使得预测的值与真实值更加的接近，即误差最小，那么这里引进b 作为误差，注意我这里的参数b ，是误差，而不是偏移量，偏移量可以加入到w参数里面，也就是为了方便起见，还是引入ε为误差吧(因为实在没有找到其他的符号）
在这里插入图片描述
那么现在就是要最小化ε，在这里我们假设ε满足正态分布

，这个假设我也不太懂，就当是经验吧，现在关键点在于如何求出μ，σ使得ε最小。由此我们得到

由之前求过正态分布的极大似然估计可知，不知道的可以看如下链接：
添加链接描述
ε的概率密度为：
在这里插入图片描述
似然函数为：

对数函数为：

在这里陷入了迷茫因为与两个参数有关μ，σ，要是求解也能求，对两个变量进行偏导，最终得到

但是这样的话如何使得ε最小呢，其中

后来在网上看到在假设正态分布时假设为N(0,σ^2)，即假设μ=0，此时重新计算得到
似然函数为
在这里插入图片描述
其中的

就是误差函数ε的值，因此若要似然函数最大，则均方误差要最小，也就是当均方误差最小时，参数是样本的极大似然估计。

2贝叶斯分类
贝叶斯分类来说，很多人知道这个公式，其中B代表特征，即一个样本，A代表所属的类别，
在这里插入图片描述
在训练数据中通过这个公式来训练模型，对于P(B)和P(A)来说，P(A)可以通过统计计算，即某一类占总类的比例，P(B)对于所有类标记相同，因此问题就转化为了P(B|A)上，P(B|A)就是常说的类条件概率，对于B特征的每一个属性来说，现实世界中的值可能往往在训练集中没有出现过，例如在训练数据中B中的某一个属性有三个值m,n,p,然而现实世界中可能不止，比如说在训练数据中该属性出现了q，那么此时根据计算概率为0，显然是不行的，因为数据未被观测到和出现概率为零通常是不一样的。那么对于未知的数据该如何处理呢，这里我们采用极大似然估计法，
假设P(x|c),c为类别，x为特征，也就是上面的P(B|A)，假设P(x|c)可以被参数向量θ确定，这里假设某一类样本的集合为D,那么对于类别为c的参数θ对于D的似然函数就是，
在这里插入图片描述
其中Xi为类别为c的集合D中的样本，n为集合D的数目，通过取对数可求得对数似然函数为：

在这里假设概率密度函数满足

最终求得：
在这里插入图片描述
因此在离散属性情形下，可以通过这样的方式来计算类条件概率。
这是目前我所了解的应用，十分感谢一些博客对于我的学习有了很大的帮助
https://blog.csdn.net/u011508640/article/details/72815981
https://blog.csdn.net/z_x_1996/article/details/70176819
https://wenku.baidu.com/view/0d9af6aa172ded630b1cb69a.html

本文链接：https://blog.csdn.net/weixin_36523350/article/details/82936737

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

python中文显示不出来_解决Python词云库wordcloud不显示中文的问题-程序员宅基地

文章浏览阅读2.6k次。解决Python词云库wordcloud不显示中文的问题2018-11-25背景：wordcloud是基于Python开发的词云生成库，功能强大使用简单。github地址：https://github.com/amueller/word_cloudwordcloud默认是不支持显示中文的，中文会被显示成方框。安装：安装命令：pip install wordcloud解决：经过测试发现不支持显示中文..._词云python代码无法输出文字

JVM在线分析-解决问题的工具一(jinfo,jmap,jstack)_jmap 在线分析-程序员宅基地

文章浏览阅读807次。扩展。_jmap 在线分析

台式计算机cpu允许温度,玩游戏cpu温度多少正常（台式电脑夏季CPU一般温度多少）...-程序员宅基地

文章浏览阅读1.1w次。随着炎热夏季的到来，当玩游戏正爽的时候，电脑突然死机了，自动关机了，是不是有想给主机一脚的冲动呢？这个很大的原因是因为CPU温度过高导致的。很多新手玩家可能都有一个疑虑，cpu温度多少以下正常？有些说是60，有些说是70，到底多高CPU温度不会死机呢？首先我们先看看如何查看CPU的温度。下载鲁大师并安装，运行鲁大师软件，即可进入软件界面，并点击温度管理，即可看到电脑各个硬件的温度。鲁大师一般情况下..._台式机玩游戏温度多少正常

小白自学Python日记 Day2-打印打印打印！_puthon打印任务收获-程序员宅基地

文章浏览阅读243次。Day2-打印打印打印！我终于更新了！（哭腔）一、最简单的打印最最简单的打印语句： print(“打印内容”)注意：python是全英的，符号记得是半角下面是我写的例子：然后进入power shell ，注意：你需要使用cd来进入你保存的例子的文件夹，保存时名字应该取为xxx.py我终于知道为什么文件夹取名都建议取英文了，因为进入的时候是真的很麻烦！如果你没有进入正确的文件夹..._puthon打印任务收获

Docker安装：Errors during downloading metadata for repository ‘appstream‘:_"cenerrors during download metadata for repository-程序员宅基地

文章浏览阅读1k次。centos8问题参考CentOS 8 EOL如何切换源？ - 云服务器 ECS - 阿里云_"cenerrors during download metadata for repository \"appstream"

尚硅谷_谷粒学苑-微服务+全栈在线教育实战项目之旅_基于微服务的在线教育平台尚硅谷-程序员宅基地

文章浏览阅读2.7k次，点赞3次，收藏11次。SpringBoot+Maven+MabatisPlusmaven在新建springboot项目引入RELEASE版本出错maven在新建springboot项目引入RELEASE版本出错maven详解maven就是通过pom.xml中的配置，就能够从仓库获取到想要的jar包。仓库分为：本地仓库、第三方仓库(私服)、中央仓库springframework.boot:spring-boot-starter-parent:2.2.1.RELEASE’ not found若出现jar包下载不了只有两_基于微服务的在线教育平台尚硅谷

随便推点

网络学习第六天（路由器、VLAN）_路由和vlan-程序员宅基地

文章浏览阅读316次。路由的概念路由器它称之为网关设备。路由器就是用于连接不同网络的设备路由器是位于OSI模型的第三层。路由器通过路由决定数据的转发。网关的背景：当时每家计算机厂商，用于交换数据的通信程序（协议）和数据描述格式各不相同。因此，就把用于相互转换这些协议和格式的计算机称为网关。路由器与三层交换器的对比路由协议对比路由器的作用：1.路由寻址2.实现不同网络之间相连的功能3.通过路由决定数据的转发，转发策略称为路由选择。VLAN相关技术什么是VLAN？中文名称叫：虚拟局域网。虚_路由和vlan

设置div背景颜色透明度，内部元素不透明_div设置透明度,里面的内容不透明-程序员宅基地

文章浏览阅读2.8w次，点赞6次，收藏22次。设置div背景颜色透明度，内部元素不透明：.demo{ 　background-color:rgba(255,255,255,0.15) } 错误方式：.demo{ background-color:#5CACEE;opacity:0.75;} 这样会导致div里面的元素内容和背景颜色一起变透明只针对谷歌浏览器的测试_div设置透明度,里面的内容不透明

Discuz!代码大全-程序员宅基地

文章浏览阅读563次。1.[ u]文字：在文字的位置可以任意加入您需要的字符，显示为下划线效果。2.[ align=center]文字：在文字的位置可以任意加入您需要的字符，center位置center表示居中，left表示居左，right表示居右。5.[ color=red]文字：输入您的颜色代码，在标签的中间插入文字可以实现文字颜色改变。6.[ SIZE=数字]文字：输入您的字体大小，在标签的中间插入文..._discuzcode 大全

iOS NSTimer定时器-程序员宅基地

文章浏览阅读2.6k次。iOS中定时器有三种，分别是NSTimer、CADisplayLink、dispatch_source，下面就分别对这三种计时器进行说明。一、NSTimerNSTimer这种定时器用的比较多，但是特别需要注意释放问题，如果处理不好很容易引起循环引用问题，造成内存泄漏。1.1 NSTimer的创建NSTimer有两种创建方法。方法一：这种方法虽然创建了NSTimer，但是定时器却没有起作用。这种方式创建的NSTimer，需要加入到NSRunLoop中，有NSRunLoop的驱动才会让定时器跑起来。_ios nstimer

Linux常用命令_ls-lmore-程序员宅基地

文章浏览阅读4.8k次，点赞17次，收藏51次。Linux的命令有几百个，对程序员来说，常用的并不多，考虑各位是初学者，先学习本章节前15个命令就可以了，其它的命令以后用到的时候再学习。1、开机物理机服务器，按下电源开关，就像windows开机一样。在VMware中点击“开启此虚拟机”。2、登录启动完成后，输入用户名和密码，一般情况下，不要用root用户..._ls-lmore

MySQL基础命令_mysql -u user-程序员宅基地

文章浏览阅读4.1k次。1.登录MYSQL系统命令打开DOS命令框shengfen，以管理员的身份运行命令1：mysql -u usernae -p password命令2：mysql -u username -p password -h 需要连接的mysql主机名(localhost本地主机名)或是mysql的ip地址（默认为：127.0.0.1）-P 端口号（默认：3306端口）使用其中任意一个就OK,输入命令后DOS命令框得到mysql>就说明已经进入了mysql系统2. 查看mysql当中的._mysql -u user