XGboost如何执行回归任务?
Ex-我们知道,对于Boosting中的分类问题,它正在惩罚错误分类的点,并且在下一个树桩中会为其赋予更多权重。
在回归的情况下如何给出权重?
答案 0 :(得分:0)
1.let通过一个简单的回归示例,以“决策树”为基础预测因子(当然,“梯度增强”也可以很好地用于回归任务)。这称为“梯度树增强”或“梯度增强回归树(GBRT)”。
2。首先,让我们将DecisionTreeRegressor拟合到训练集(输出是噪声二次拟合)
3。接下来,我们将在第一棵回归树产生的残差上训练第二棵回归树。
4。然后我们训练第二个预测变量产生的残差的第三个回归变量
5。现在我们有一个包含三棵树的合奏。只需将所有树的预测相加即可对新实例进行预测: