集成学习之Boosting —— Gradient Boosting实现

  • 时间:
  • 浏览:0
  • 来源:大发时时彩代理—大发大发彩票app

另外具体实现了early_stopping,回归,分类和分步预测 (stage_predict,见完整代码)。

Gradient Boostig一般另一个 初始值处于,即上端第一步中的\(f_0(x)\),在实现的以后这个 初始值是不也能乘学习率的,肯能乘话语等于变相改变了初始值,会产生很多意想不也能的结果 (很不幸你要犯过这个 错误 ~) 。

初始化: \(f_0(x) = \mathop{\arg\min}\limits_\gamma \sum\limits_{i=1}^N L(y_i, \gamma)\)

/

输出\(f_M(x)\)

这个 次modified loss比logistic loss表现好,但有的是如Real AdaBoost。

下面换另一个 噪音较大的数据集,用PCA降到二维进行可视化:

for m=1 to M:

下图比较了回归间题中使用平方损失和Huber损失的差别以及个人所有的early stopping point:

在分类间题中将上一篇中的 AdaBoost 和本篇中的GBDT作比较,仍使用以后的数据集,其中GBDT分别使用了logistic loss和 这篇文章 最后提到的modified huber loss: