外れ値に強い線形回帰

外れ値が多いデータに対して線形回帰をするために、Scikit-learnにはHuberRegressorというクラスがある。

$\epsilon$というハイパーパラメータを持ち、

$$\frac{|y - Xw|}{\sigma} > \epsilon$$

の場合には2乗誤差、そうでない場合には絶対値誤差を最小にする $\sigma, w$ を学習する。

数学的には、あんまり遠いデータは正規分布ではなくて両側指数分布に従うと思うことにする、ということを言っているのと同じと思われる。