回归如何在XGboost中工作?

时间:2019-11-21 09:19:50

标签: machine-learning data-science xgboost

XGboost如何执行回归任务?

Ex-我们知道,对于Boosting中的分类问题,它正在惩罚错误分类的点,并且在下一个树桩中会为其赋予更多权重。

在回归的情况下如何给出权重?

1 个答案:

答案 0 :(得分:0)

1.let通过一个简单的回归示例,以“决策树”为基础预测因子(当然,“梯度增强”也可以很好地用于回归任务)。这称为“梯度树增强”或“梯度增强回归树(GBRT)”。

2。首先,让我们将DecisionTreeRegressor拟合到训练集(输出是噪声二次拟合)

3。接下来,我们将在第一棵回归树产生的残差上训练第二棵回归树。

4。然后我们训练第二个预测变量产生的残差的第三个回归变量

5。现在我们有一个包含三棵树的合奏。只需将所有树的预测相加即可对新实例进行预测:

相关问题