Invariant Risk Minimization

不变风险最小化

论文链接

https://arxiv.org/abs/1907.02893

基本介绍

现有机器学习是通过不断减小训练误差，来实现复杂的预测模型，但计算机是不加选择的提取训练数据的相关性， correlation-versus-causation【相关性和因果性】有时并不一样，此论文是在研究利用因果关系拓展不变相关性的问题。

文中例子

文中提到一个例子，是对奶牛和骆驼分类。但由于数据集中，大多数奶牛照片是在牧场拍摄的，背景色为绿色，骆驼是在沙漠中。因此神经网络在训练时，不断降低loss值，最终其实是将绿色背景归类为奶牛，米色背景归为骆驼。所以训练出来的结果是不具有泛化性的。

IRM

不变风险最小化 (IRM) 是从多次训练中估计非线性、不变、因果预测因子来实现分布外泛化。

重点：为训练引入约束，将约束表述为惩罚。IRM的目标是构建泛化分布外的预测器。