又是一种深度学习的学习策略。
自然学习（Natural learning）系统本质上是渐进的，新知识是随着时间的推移而不断学习的，而现有的知识是保持不变的。现实世界中的许多计算机视觉应用程序都需要增量学习能力。例如，人脸识别系统应该能够在不忘记已学过的面孔的情况下添加新面孔。然而，大多数深度学习方法都存在灾难性的遗忘——当无法获得过去的数据时，性能会显著下降。
旧类数据的缺失带来了两个挑战:(a)维护旧类的分类性能; (b)平衡旧类和新类。知识蒸馏已被用来有效地解决前一个挑战。最近的研究也表明，从旧的类中选择几个样本(抽样) 可以缓解不平衡问题。这些方法在小数据集上运行良好。然而，当类的数量变得很大(例如，成千上万个类)时，它们的性能会显著下降。图1显示了以非增量分类器为参考的这些最先进算法的性能退化情况。当类的数量从100增加到1000时，iCaRL和EEIL都有更多的精度下降。
为什么处理大量的类进行增量学习更具挑战性? 我们认为这是由于两个因素的耦合。首先，训练数据不平衡。其次，随着类数量的增加，在不同的增量步骤中更可能出现类似的类(例如ImageNet中的多个dog类)。在数据不平衡的增量约束下，视觉上相似的类数量的增加尤其具有挑战性，因为类之间边界的小边界对数据不平衡过于敏感。边界被推到支持具有更多示例的类。
引用
- Large Scale Incremental Learning