本文共计2268个文字，预计阅读时间需要10分钟。

目录概述：描述梯度提升树方法，强调参数subsample和eta的重要性。概述XGBoost，可能为Extreme Gradient Boosting。

目录概述梯度提升树方差与泛化误差结论重要参数subsample重要参数eta概述XGBoost全称是eXtremeGradientBoosting可译为

目录

概述

梯度提升树 

方差与泛化误差

结论

重要参数subsample

重要参数eta

---

概述

XGBoost全称是eXtreme Gradient Boosting可译为极限梯度提升算法。它由陈天奇所设计致力于让提升树突破自身的计算极限以实现运算快速性能优秀的工程目标。和传统的梯度提升算法相比XGBoost进行了许多改进 它能够比其他使用梯度提升的集成算法更加快速并且已经被认为是在分类和回归上都拥有超高性能的先进评估器。

梯度提升树 

XGBoost的基础是梯度提升算法因此我们必须先从了解梯度提升算法开始。梯度提升Gradient boosting是构建预测模型的最强大技术之一它是集成算法中提升法Boosting的代表算法。 之前学习的随机森林是集成算法中袋装法的代表。 集成算法通过在数据上构建多个弱评估器汇总所有弱评估器的建模结果以获取比单个模型更好的回归或分类表现。