机器学习-集成学习

集成学习

集成学习是机器学习中的一种思想，它通过多个模型的组合形成一个精度更高的模型，参与组合的模型成为弱学习器（弱学习器）。训练时，使用训练集依次训练出这些弱学习器，对未知的样本进行预测时，使用这些弱学习器联合进行预测。

分类：根据模型的组合方式不同，可以分为两类：

• bagging思想：bagging主要采用了随机取样的方法。所有弱学习器都从原数据集中有放回的获取相同大小的训练集用于训练，然后对所有弱学习器预测的结果进行平权投票作为该样本的预测值。弱学习器之间可以并行。例：随机森林算法等。
• boosting思想：boosting是将原数据集作为第一个弱学习器的输入，将第一个弱学习器的预测结果作为第二个弱学习器的输入，且对于第一个弱学习器预测正确的样本，第二个弱学习器会降低其权重，对于预测错误的，则会增加其权重。因此在boosting思想中，所有弱学习器都是串行发生的。例：Adaboost、GBDT、XGBoost等。

接下来本文将分别介绍上述两种集成学习中最具代表性的算法。

随机森林

步骤：

1. 对样本数据进行有放回的抽样，得到多个样本集。具体来讲就是每次从原来的N个训练样本中有放回地随机抽取m个样本(包括可能重复样本)。
2. 从候选的特征中随机抽取k个特征，作为当前节点下决策的备选特征，从这些特征中选择最好地划分训练样本的特征。用每个样本集作为训练样本构造决策树。单个决策树在产生样本集和确定特征后，使用CART算法计算，不剪枝。
3. 得到所需数目的决策树后，随机森林方法对这些树的输出进行投票，以得票最多的类作为随机森林的决策。

说明：

1. 随机森林的方法即对训练样本进行了采样，又对特征进行了采样，充分保证了所构建的每个树之间的独立性，使得投票结果更准确。

2. 随机森林的随机性体现在每棵树的训练样本是随机的，树中每个节点的分裂属性也是随机选择的。有了这2个随机因素，即使每棵决策树没有进行剪枝，随机森林也不会产生过拟合的现象。

随机森林中有两个可控制参数：

• 森林中树的数量（一般选取值较大）
• 抽取的属性值m的大小。

随机森林API：

• sklearn.ensemble.RandomForestClassifier()

• n_estimators：决策树数量，(default=10)

• Criterion：entropy、或者 gini, (default = gini)

• max_depth：指定树的最大深度，(default = None 表示树会尽可能的生长)

• max_features="auto”, 决策树构建时使用的最大特征数量

  • If “auto”, then max_features=sqrt(n_features).
  • If “sqrt”, then max_features=sqrt(n_features)(same as “auto”).
  • If “log2”, then max_features=log2(n_features).
  • If None, then max_features=n_features.

• bootstrap：是否采用有放回抽样，如果为 False 将会使用全部训练样本，(default = True)

• min_samples_split： 结点分裂所需最小样本数，(default = 2)

  • 如果节点样本数少于min_samples_split，则不会再进行划分.
  • 如果样本量不大，不需要设置这个值.
  • 如果样本量数量级非常大，则推荐增大这个值.

• min_samples_leaf： 叶子节点的最小样本数，(default = 1)

  • 如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝.
  • 较小的叶子结点样本数量使模型更容易捕捉训练数据中的噪声.

• min_impurity_split: 节点划分最小不纯度

  • 如果某节点的不纯度(基尼系数，均方差)小于这个阈值，则该节点不再生成子节点，并变为叶子节点.
  • 一般不推荐改动默认值1e-7。

Adaboost

简介：Adaptive Boosting(自适应提升)基于 Boosting思想实现的一种集成学习算法核心思想是通过逐步提高那些被前一步分类错误的样本的权重来训练一个强分类器。弱分类器的性能比随机猜测强就行，即可构造出一个非常准确的强分类器。其特点是：训练时，样本具有权重，并且在训练过程中动态调整。被分错的样本的样本会加大权重，算法更加关注难分的样本。

主要过程演示如下：

AdaBoost算法的两个核心步骤：

权值调整： AdaBoost算法提高那些被前一轮基分类器错误分类样本的权值，而降低那些被正确分类样本的权值。从而使得那些没有得到正确分类的样本，由于权值的加大而受到后一轮基分类器的更大关注。

基分类器组合： AdaBoost采用加权多数表决的方法。

• 分类误差率较小的弱分类器的权值大，在表决中起较大作用。
• 分类误差率较大的弱分类器的权值小，在表决中起较小作用。

AdaBoost采用加权多数表决的方法。

• 分类误差率较小的弱分类器的权值大，在表决中起较大作用。
• 分类误差率较大的弱分类器的权值小，在表决中起较小作用。