技术标签： 算法 python 机器学习 人工智能 Datawhale-集成学习笔记
在集成学习中，主要的分支就只有两块。其中一个是bagging算法，另外一个是boosting算法。在bagging的学习中，我们可以得知bagging主要是针对数据集进行操作，进行随机的采样。同时我们也论证过，bagging只影响了结果的方差，通过减小方差来得出更好的结果。但是，bagging并没有影响的结果的期望，也就是说bagging并没有减小结果的偏差。
Boosting则是一种截然不同的思想。Boosting的训练中使用的是同一个训练集。通过对这个训练集反复训练以得到一系列的简单模型，并通过一种策略对这些模型进行整合，构建一个更加强大的训练模型。很显然，Boosting提升的是模型本身的性能，表现在结果上也就是减小的是模型的偏差。
我们可以总结一下bagging和boosting的区别：
所以对于Boosting算法来说，我们需要关注的只有两个点:
针对上述的两个问题：
Adaboost是这样解决的：提高在上一轮中被弱分类器错误分类的样本的权值，减小被正确分类样本的权值。这样被错误分类的样本在下一轮的训练中就会受到更高的关注。而对于弱分类器的组合，则使用的是加权的投票表决方法，让错误率低的模型在表决中更加具备话语权。
Adaboost算法的步骤：(为了方便说明，假设是一个二分类任务)
输入：训练数据集 T = ( x 1 , y 1 ) , ( x 2 , y 2 ) , ( x 3 , y 3 ) , . . . , ( x N , y N ) T={(x_1, y_1),(x_2,y_2),(x_3,y_3),...,(x_N,y_N)} T=(x1,y1),(x2,y2),(x3,y3),...,(xN,yN)，其中 x i ∈ X ⊆ R n x_i \in \mathcal{X}\subseteq \mathbf{R}^{n} xi∈X⊆Rn， y i ∈ Y = − 1 , + 1 y_i \in \mathcal{Y} = {-1, +1} yi∈Y=−1,+1，弱学习方法
输出：最终的分类器G(x)。
初始化训练数据的权值分布
D 1 = ( w 11 , w 12 , w 13 , . . . , w 1 i , . . . w 1 N ) w 1 i = 1 N i = 1 , 2 , 3 , . . . N D_1=(w_{11},w_{12},w_{13},...,w_{1i},...w_{1N})\quad\quad w_{1i}={1\over N}\quad\quad i=1,2,3,...N D1=(w11,w12,w13,...,w1i,...w1N)w1i=N1i=1,2,3,...N
对于M个epoch来说， m = 1 , 2 , . . . , M m=1,2,...,M m=1,2,...,M
使用具有权值分布 D m D_m Dm的训练集学习得到基本分类器 G m : X − > − 1 , + 1 G_m: \mathcal{X} -> {-1, +1} Gm:X−>−1,+1
计算 G m ( x ) G_m(x) Gm(x)在训练数据集上的分类误差率
e m = ∑ i = 1 N P ( G m ( x i ) ≠ y i ) = ∑ i = 1 N w m i I ( G m ( x i ) ≠ y i ) e_m=\sum_{i=1}^NP(G_m(x_i) \neq y_i)=\sum_{i=1}^Nw_{mi}I(G_m(x_i)\neq y_i) em=i=1∑NP(Gm(xi)=yi)=i=1∑NwmiI(Gm(xi)=yi)
计算 G m ( x ) G_m(x) Gm(x)的系数
α m = 1 2 log 1 − e m e m \alpha_m={1\over2}\log{
{1-e_m}\over{e_m}} αm=21logem1−em
更新训练数据集的权值分布：
D m + 1 = ( w m + 1 , 1 , ⋯ , w m + 1 , i , ⋯ , w m + 1 , N ) D_{m+1}=\left(w_{m+1,1}, \cdots, w_{m+1, i}, \cdots, w_{m+1, N}\right) Dm+1=(wm+1,1,⋯,wm+1,i,⋯,wm+1,N)
w m + 1 , i = w m i Z m exp ( − α m y i G m ( x i ) ) , i = 1 , 2 , ⋯ , N w_{m+1, i}={ {w_{m i}}\over{Z_{m}}} \exp \left(-\alpha_{m} y_{i} G_{m}\left(x_{i}\right)\right), \quad i=1,2, \cdots, N wm+1,i=Zmwmiexp(−αmyiGm(xi)),i=1,2,⋯,N
在这里 Z m Z_m Zm是规范化因子：
Z m = ∑ i = 1 N w m i exp ( − α m y i G m ( x i ) ) Z_m=\sum_{i=1}^Nw_{mi}\exp(-\alpha_my_iG_m(xi)) Zm=i=1∑Nwmiexp(−αmyiGm(xi))
它可以使 D m + 1 D_{m+1} Dm+1成为概率分布。
构建基本分类器的线性模型。
f ( x ) = ∑ m = 1 M α m G m ( x ) f(x)=\sum_{m=1}^M\alpha_mG_m(x) f(x)=m=1∑MαmGm(x)
因为是二分类模型,所以我们可以使用符号函数来获取最终的结果：
G ( x ) = s i g n ( f ( x ) ) G(x)=sign(f(x)) G(x)=sign(f(x))
我们可以对上述的过程做一些说明：
什么是分类误差率？原本在等权值的数据集中，我们计算误差率应该是错误的样本数量除以总样本的数量。但是，在不等权重的样本集中，不可以直接这样计算。可以转化一下理解的方式，我们在初始化样本权重的时候，使用的是全部为等值 1 N 1\over N N1。所以可以这样理解，错误率就是错误样本权重的和。
这个结论也可以引申到不等权重的样本集中。所以我们记错误率为：
e m = ∑ G ( x i ) ≠ y i N w m i e_m = \sum_{G(x_i) \neq y_i}^N w_{mi} em=G(xi)=yi∑Nwmi
关于子模型权重的理解：
α m = 1 2 log 1 − e m e m \alpha_m={1\over2}\log{
{1-e_m}\over e_m} αm=21logem1−em
当 e m ≤ 1 2 e_m \leq {1 \over 2} em≤21时， α ≥ 0 \alpha \geq 0 α≥0。在这里我们应该是可以保证 e m ≤ 1 2 e_m \leq {1 \over 2} em≤21的，因为即便是没有训练过的随机分类模型也应该会有50%的准确率。且根据弱可学习的概念，我们学习到的模型原本就应当准确率大于50%。
根据对数函数的特性，当 e m e_m em减小的时候 1 − e m e m {1-e_m} \over e_m em1−em会增加，模型的权重 α m \alpha _m αm也会增加。
我们可以知道， α m \alpha _m αm的和并不为1。但是，我们认为最终结果 G ( x ) G(x) G(x)的数值对结果并无影响，我们关注的只是最终输出的符号。可以认为 ∣ G ( x ) ∣ |G(x)| ∣G(x)∣的大小为结果的确信度。
对样本集权重更新的理解：
使用以e为低的指数，在指数部分上为 − α m y i G m ( x i ) - \alpha _my_iG_m(x_i) −αmyiGm(xi)。当预测正确时，指数部分为负数。当预测错误的时候，指数部分为正数。因为指数函数的特性，预测正确时，权重会乘以一个小于1大于0的数，预测失败时，会乘以一个权重大于1的数。保证预测正确的时候，权重减小，预测失败时权重增加。
最终 Z m Z_m Zm的功能是为了保证最终的权重和为1.
文章浏览阅读2.9k次，点赞8次，收藏14次。测试主要做什么？这完全都体现在测试流程中，同时测试流程是面试问题中出现频率最高的，这不仅是因为测试流程很重要，而是在面试过程中这短短的半小时到一个小时的时间，通过测试流程就可以判断出应聘者是否合适，故在测试流程中包含了测试工作的核心内容，例如需求分析，测试用例的设计，测试执行，缺陷等重要的过程。..._测试过程管理中包含哪些过程
文章浏览阅读870次，点赞16次，收藏19次。1.背景介绍政府数字化政务是指政府利用数字技术、互联网、大数据、人工智能等新技术手段，对政府政务进行数字化改革，提高政府工作效率，提升政府服务质量的过程。随着人工智能(AI)和机器学习(ML)技术的快速发展，政府数字化政务中的人工智能与机器学习应用也逐渐成为政府改革的重要内容。政府数字化政务的人工智能与机器学习应用涉及多个领域，包括政策决策、政府服务、公共安全、社会治理等。在这些领域，人工...
文章浏览阅读219次，点赞2次，收藏4次。系统主要的用户为用户、管理员，他们的具体权限如下：用户：用户登录后可以对管理员上传的学习视频进行学习。用户可以选择题型进行练习。用户选择小程序提供的考研科目进行相关训练。用户可以进行水平测试，并且查看相关成绩用户可以进行错题集的整理管理员：管理员登录后可管理个人基本信息管理员登录后可管理个人基本信息管理员可以上传、发布考研的相关例题及其分析，并对题型进行管理管理员可以进行查看、搜索考研题目及错题情况。_mysql刷题软件
文章浏览阅读1.4k次。myelipse里有UML1和UML2两种方式，UML2功能更强大，但是两者生成过程差别不大1.建立Test工程，如下图，uml包存放uml类图package com.zz.domain;public class User {private int id;private String name;public int getId() {return id;}public void setId(int..._根据以下java代码画出类图
文章浏览阅读174次。需求：一个topic包含很多个表信息，需要自动根据json字符串中的字段来写入到hive不同的表对应的路径中。发送到Kafka中的数据原本最外层原本没有pkDay和project，只有data和name。因为担心data里面会空值，所以根同事商量，让他们在最外层添加了project和pkDay字段。pkDay字段用于表的自动分区，proejct和name合起来用于自动拼接hive表的名称为 ..._flume拦截器自定义开发 kafka
文章浏览阅读380次。原标题：Java Spring中同时访问多种不同数据库 多样的工作要求，可以使用不同的工作方法，只要能获得结果，就不会徒劳。开发企业应用时我们常常遇到要同时访问多种不同数据库的问题，有时是必须把数据归档到某种数据仓库中，有时是要把数据变更推送到第三方数据库中。使用Spring框架时，使用单一数据库是非常容易的，但如果要同时访问多个数据库的话事件就变得复杂多了。本文以在Spring框架下开发一个Sp..._根据输入的不同连接不同的数据库
文章浏览阅读3.6k次，点赞9次，收藏25次。本案例描述了晶振屏蔽以及开关电源变压器屏蔽对系统稳定工作的影响， 硬件设计时应考虑。_eft电路图
文章浏览阅读1.1k次。对于物料价格的更改，可以采取不同的手段：首先，我们来介绍MR21的方式。 需要说明的是，如果要对某一产品进行价格修改，必须满足的前提条件是： ■ 1、必须对价格生效的物料期间与对应会计期间进行开启； ■ 2、该产品在该物料期间未发生物料移动。执行MR21，例如更改物料1180051689的价格为20000元，系统提示“对于物料1180051689 存在一个当前或未来标准价格”，这是因为已经对该..._mr21 对于物料 zba89121 存在一个当前或未来标准价格
文章浏览阅读7.4k次，点赞3次，收藏13次。[文章导读]联想启天M420是一款商用台式电脑，预装的是win10系统，用户还是喜欢win7系统，该台式机采用的intel 8代i5 8500CPU，在安装安装win7时有很多问题，在安装win7时要在BIOS中“关闭安全启动”和“开启兼容模式”，并且安装过程中usb不能使用，要采用联想win7新机型安装，且默认采用的uefi+gpt模式，要改成legacy+mbr引导，那么联想启天M420台式电..._启天m420刷bios
文章浏览阅读2.7k次，点赞2次，收藏9次。一，为什么要冗余数据互联网数据量很大的业务场景，往往数据库需要进行水平切分来降低单库数据量。水平切分会有一个patition key，通过patition key的查询能..._保证冗余性
文章浏览阅读88次。是时候闭环Java应用了 原创 2016-08-16 张开涛 你曾经因为部署/上线而痛苦吗？你曾经因为要去运维那改配置而烦恼吗？在我接触过的一些部署/上线方式中，曾碰到过以下一些问题：1、程序代码和依赖都是人工上传到服务器，不是通过工具进行部署和发布；2、目录结构没有规范，jar启动时通过-classpath任意指定；3、fat jar，把程序代码、配置文件和依赖jar都打包到一个jar中，改配置..._那么需要把上面的defaultjavatyperesolver类打包到插件中
文章浏览阅读909次。1.得下载一个番茄插件，按alt+g才可以有函数跳转功能。2.不安装番茄插件，按F12也可以有跳转功能。3.进公司的VS工程是D:\sync\build\win路径，.sln才是打开工程的方式，一个是VS2005打开的，一个是VS2013打开的。4.公司库里的线程接口，在CmThreadManager.h 里，这个里面是我们的线程库，可以直接拿来用。CreateUserTaskThre..._番茄助手颜色