机器学习之提升

一、提升算法

提升定义：提升是一个机器学习技术，可以用于回归和分类问题，它每一步产生一个弱预测模型（如决策树），并加权累加到总模型中；如果每一步的弱预测模型生成都是依据损失函数的梯度方向，则称之为梯度提升；
梯度提升：首先给定一个目标损失函数，它的定义域是所有可行的弱函数集合（基函数)；提升算法通过迭代的选择一个负梯度方向上的基函数来逐渐逼近局部极小值。这种在函数域的梯度提升观点对机器学习的很多领域有深刻影响。
提升的意义：如果一个问题存在弱分类器，则可通过提升的办法得到强分类器。
提升算法定义：

梯度提升决策树GBDT:


XGBoost性能总结：

二、Adaboost

Adaboost定义：



Adaboost算法解释：模型是加法模型，损失函数为指数函数、学习算法为前向分步算法时的二类学习方法