eXtreme Gradient Boosting (XGBoost)

Reference

1. https://zhuanlan.zhihu.com/p/162001079

2. Github | ML-NLP/Machine Learning/3.2 GBDT

3. Zhihu | 机器学习-一文理解GBDT的原理-20171001

目标函数

每一轮的目标函数：

$$Ob{j}^{(t)}=\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))+\mathrm{\Omega }(f_t)+C$$

• $l(y_i,{\hat{y}}_i^{(t-1)}+f_t(x_i))=\frac{1}{2}(y_i-({\hat{y}}_i^{(t-1)}+f_t(x_i)){)}^2$

  均方误差

• $\mathrm{\Omega }(f_t)=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{w}_j^2$

  正则化项，表示树的复杂度。值越小，复杂度越低，泛化能力越强。 $T$：叶子节点的个数 $w_j$：叶子节点的得分

最终的目标函数：

$$L(\varphi )=\sum _{i}l(y_i,y_i^{\prime })+\sum _k\mathrm{\Omega }(f_t)$$