分类 - 修改后的huber损失：它如何更容忍异常值？

Question

根据scikit-learn SGDClassifier documentation，修改后的Huber损失函数可用于对异常值提供更高的容差。

看一下成本函数的plot，看起来修改后的Huber似乎不是 容忍吗？它似乎给f（x）<0的观测提供了更高的成本，即对于位于边缘的错误一侧的观察。这不对吗？

Answer 1

这里的问题是scikit-learn文档对哪个基线损失函数一无所知，我们应该将修正的Huber容忍度与离群值进行比较。

修正的Huber损失源于用于回归问题的Huber损失。查看此plot，我们发现，与平方损失相比，Huber损失对异常值的容忍度更高。正如您已经指出的，除平方铰链损耗外，其他损失函数对异常值的容忍度更高。