协同指导用于极限噪声标签样本学习

Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels

1. 方法

协同指导（co-teaching)同时使用两个网络，一个网络训练后，选取损失比较小的样本，指导另一个网络接下来的训练。

具体的算法： 可以看出： 网络 f 先选取损失较少的样本，然后网络 g 计算这部分样本的损失，并将损失进行反向传播并参数更新。 同样，网络 f 对网络 g 中损失较少的样本进行计算损失和反向传播。

2. 实验

在Mnist、CIFAR 10、CIFAR 100进行实验。 实验样本大小：

噪声的产生： 总体噪声比例在0.45-0.5之间，使用噪声转移矩阵进行产生样本，并且包含，随机翻转标签和成对翻转（pair flipped）。

---

参考： Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels;