Essentials for Class Incremental Learning

Sudhanshu Mittal Silvio Galesso Thomas Brox
University of Freiburg, Germany

引言

引言部分作者介绍了类别增量学习问题（CIL）算法的三个重要组成
（1）memory buffer用于存储旧数据集的exemplars；
（2）forgetting constraint用于减轻遗忘保存旧知识；
（3）learning system用于平衡新旧类别

作者指出基于贪婪平衡采样的方法（greedy balance sampler-based apporch,简称GDumb）可以很好解决除了类别增量学习以外的问题，但是在类别增量学习上表现不佳，因此提出互补理论。

此外作者发现过拟合的程度影响了遗忘的水平，对于防止过拟合的正则化技术，如果可以保存"secondary class information"或者说"dark konwledge"的可以更好提升增量学习能力。

相关工作

1. iCaRl： Incremental classifier and representation learning（CVPR 2017）是一个特征表示学习和分类器学习的解耦合方法，技术路线使用知识蒸馏和重现(replay)的方法。
2. Exemplar Selection：重现需要旧的数据，选择旧数据集的代表，通常使用herding heuristic（群体启发式？）算法。
   （1）Liu发明了样本参数化和模型联合训练的方法（？）
   （2）Isen发明了有效存储特征描述(feature description)而不是图片的方法
   本文使用随机从类别中抽取代表的方法。
3. Forgetting Constraint： Li在Learning Without Forgetting中首次使用了知识蒸馏的方法来减少遗忘，后面的方法有
   （1）在特征层面的知识蒸馏
   （2）嵌入网络来修正语义漂移（？）
   （3）基于Hebbian图来保存特征空间的拓扑结构的方法（Hebbian：细胞A频繁而持续地参与调动细胞B，那么A对于B的连接将会加强）
   本文使用基础的知识蒸馏的方法。
4. Bias Removal Approach：新旧类的不平衡（全连接层的输出节点会有专门针对新类的增加）会导致最后的输出结果偏向于新类。解决方法有
   （1）通过验证集添加一层偏差修正层
   （2）利用旧任务预测的统计数据修正最后一层的激活
   （3）将新类权向量的范数调整为旧类权向量的范数(?)
   （4）cos正则化
   作者指出这些方法都关注最后一层，但是灾难性遗忘影响的是整个网络，是整个网络偏向于新的类别，于是作者提出一个学习系统在不需要进行后处理的前提下解决偏差问题

CIL问题介绍

评价CIL模型优劣使用以下三个指标：

1. Average Incremental Accuracy：进行了N步的增量学习后，求每一步增量学习的准确率的平均值。
2. Forgetting Rate：分别使用N步增量学习后的模型${\theta }_n$和第零步学习（在第一个数据集上训练）的模型${\theta }_0$在第一个数据集$X_{test}^{1:s}$的准确率的差表示遗忘率。
3. Feature Retention：在N步增量学习后冻结特征提取层，在整个数据集上训练，只变动全连接层，用其在测试集上预测的准确率和联合学习的准确率的差值来表示特征提取层保留的信息，符号为$\mathbb{R}\varphi$。

方法路线

针对Related Work中的CIL问题的三个组成的详细方法：

1. 针对选取Exemplar的问题，作者限制memory buffer大小固定为K，根据类别数量t，每个类别的exemplar的张数m = K / t，类别t增加m则减小，选取exemplar的标准是看图片的特征向量与当前的模型${\theta }_s$预测该类别的平均特征向量的距离，距离远的会被优先丢弃。

2. 针对Forgetting Constraint的问题，使用知识蒸馏损失和交叉熵损失。

3. 针对Learning System的问题，在训练的过程前会冻结特征提取层${\hat{\theta }}_s$备用用于知识蒸馏损失计算，分别对新增数据集$X_t$和exemplar集$P$进行预测，预测结果output按照就类和新类被拆分，分别计算四个Loss。
   （1）$L_X^{CE}$：新增数据集新类的交叉熵损失。
   （2）$L_X^{KD}$：新增数据集旧类的知识蒸馏损失。
   （3）$L_P^{CE}$：Exemplar中所有类的交叉熵损失。
   （4）$L_P^{KD}$：Exemplar中中旧类的知识蒸馏损失。
   该方法流程是这样的，用老模型预测新数据集结果并获取Exemplar set（模型0应该是在之后）-> 模型修改Fc层后预测新数据集一个batch的图片，获取的output分别只在新类中进行softmax并获取交叉熵损失，老类中进行softmax获取知识蒸馏损失（把冻结的老模型的预测输出结果作为ground truth) -> exemplar set中对所有类求交叉熵损失，对老类求知识蒸馏损失 ->最后加权相加

   传统方法是这样的，用新模型预测新数据集结果后获取Exemplar set，也就是说CCIL方法在预测新模型之前就获得了Exemplar set，其中既有老类图片也有新类图片，传统方法只可能有老类图片 -> Exemplar set和新类混合算出所有类的交叉熵损失 -> 在X和P上老类的知识蒸馏损失与CCIL方法相同。
   
   比较来看的主要特点是提前获得新类的Exemplar set因此对于所有类的交叉熵损失的计算只含有Exemplar set、没有混合数据集而是求新数据集的新类交叉熵损失$L_X^{new}$

   作者的逻辑是把任务分为intra-task和inter-task。在新数据集X上求损失就是intra-task的功能，作者认为不需要旧类数据可以减小偏差的产生，我理解是新数据集肯定比exemplar set大不少的，混合起来会造成对新类的偏差，但是如果只预测新类，反而会降低这种偏差？（还是不太理解）

   对于P上求的损失就是inter-task的功能，因为P里包含了新旧的所有类。作者发现即使P很小，模型也能捕获新旧任务之间的关系。

4. Transfer Learning（迁移学习）问题，作者认为直觉上当迁移学习能力较差的时候，训练集数据分布的改变对旧知识的伤害更大，这里作者选择使用降低学习率 的方法来缓解这种情况。可以理解为当一个人不会举一反三，那么当他面对“反三”中的新问题，努力啃下去的结果就是对之前任务的遗忘（修改了大量参数），所以迁移学习的能力也表达出一种“联想”的能力，而联想也是克服遗忘的重要手段。

改进增量学习中的特征表示

针对上面迁移学习的问题，作者希望找到鲁棒性强的特征代表，作者具体研究了“过拟合”和“信息丢失”对增量学习的影响。作者发现可以提升“次要信息”的正则化方法可以有效对抗遗忘。

对于“次要信息的问题”，作者利用CIFAR100将相似的类组合成的一个"superclass"的相关度量来代表次要信息，直觉上次要信息保留得越多，那么对于相似的类识别效果越好（举一反三）

具体的度量方法如下两点：

1. SS-NLL：Secondary Superclass Negative Log Likehood，其实就是交叉熵损失。
   
   $c_j$是superclass下的子类，如果预测结果属于superclass，则$1c_j(y)$等于1（传统的交叉熵是属于class才为1），log后应该还是求所有类的softmax输出，文章中还提到了它抑制了最大输出的对数，但是选取属于超类的部分计算${\hat{\sigma }}_k$，其实选不选，不属于超类的前面的系数$1c_j(y)$也等于0。不然${\hat{\sigma }}_k$相加等于1啊，而且选择属于superclass的，SS-NLl一直为1.SS-NLL越小则表明次要信息保留越好。
2. SS-Acc：Secondary Superclass-Accuracy，也是抑制最大输出的对数计算准确率。SS-Acc越大则次要信息保留越好。
   
   从实验结果很容易看出，伴随过拟合，SS-NLL变大，SS-Acc变小，遗忘率变高，特征保留度变小（这表明过拟合带来的问题也存在于特征提取层，只调整全连接层不能根治）。

既然过拟合会导致次要信息的丢失，那么对抗过拟合的正则化方法能不能提升增量学习能力呢？作者接下来尝试了四种正则化方法：


作者发现自蒸馏和图像增强的方法可以提升次要信息，提高平均准确率、减小遗忘率、提高特征保存能力。而标签平滑和Mixup则是有害的。作者认为标签平滑导致表征偏向于每个类的形心并保持每个类形心之间的距离是相等的，这牺牲了类之间的关系；而MIxup则人为强制定义了类之间的距离，导致了相同的结果。

实验结果

作者使用三个数据集进行实验：Cifar100、ImgeNet-100 datasets (using Numpy seed:1993)、完整的ImageNet dataset
对于前两者，作者设定模型为Resnet-34，初始学习50个类别，之后按照5/10个类别进行增量学习，memory buffer设定为2k
对于完整的ImageNet，作者设定设定模型为Resnet-18，初始学习500个类别，之后按照5/10个类别进行增量学习，memory buffer设定为20k

消解实验

在消解实验中，作者设置了使用知识蒸馏和不使用知识蒸馏两组，发现separate softmax(sep)和降低学习率都可以减小新旧模型的权重的L2范数差异，而且两者共用效果最好。

之后作者对Baseline-iCaRl进行补充，增加了最后一层的的cos正则化和adaptive weighting，（AW，随着学习类数的增加，知识蒸馏损失的权重越来越大）进行比较后发现CCIL比Baseline有卓越提升。
在和SOTA的比较中，CCIL也是平均准确率表现最好的。

结论

1. 本文结合集中简单方法达成了最好的增量学习效果：Exemplar、Seq、KD、LLR、SD等。
2. 本文研究认为增量学习前的模型也很重要，表征学习对于增量学习非常重要，应该寻求更好办法提升对次要信息的保留，就例如本文中使用SD和H-Aug的正则化方法。