Paper Notes: Incremental Implicitly-Refined Classification (IIRC) [Chinese]

One of the paper notes through deeply reading AI papers in my area.
research
continual learning
paper notes
in Chinese
发布于

2022年4月22日

本文最主要的贡献就是提出的持续学习新场景：IIRC (Incremental Implicitly-Refined Classification)，文章也围绕此场景：

这个 IIRC 与导师提给我的一个具体场景相像，算是涉及粗细标签的基础场景，值得仔细研究。

当持续学习遇上粗细分类

持续学习已有很多流行的场景，如任务增量学习、类别增量学习，目前大部分持续学习模型都是在这几个流行场景的 benchmark 上测试的。类别增量学习应该是最流行的，即一个任务来一整个（或多个）类的数据。

这个场景是假定了各任务的类别标签在语义上是同一层级的。但如果来的几个类有粗细的包含关系（本文只研究这种关系），那就有意思了。例如，第一个任务学“熊”类，第二个任务学“北极熊”类，这种包含关系的信息，模型从哪儿得知呢？只能从数据里找规律了：但是现在不仅要像原来那样学到两个类的区别，还要学到两个类的联系。

让模型自己通过训练去找这种包含关系显然是为难它了。何不直接告诉它，这两个类是有包含关系的呢？也就是说，喂给模型的某些数据里就显示地表明了类之间的包含关系。 最直观的做法是对数据的结构作扩展：同一个数据允许用多个由粗到细的标签来反复使用。举个例子，对同一张熊的照片 \(\mathbf{x}\)，我允许在第一个任务中使用数据 (\(\mathbf{x}\), “熊”) 来学习粗类“熊”，也允许在后面的任务使用 (\(\mathbf{x}\), “北极熊”) 来学习细类“北极熊“。这是 IIRC 相较于类别增量学习作的核心改变。

IIRC 形式化定义

每个数据允许有多个粗细的标签，本文限定为两个，分别称为超类（superclass）与子类（subclass）。如果某个标签没有更粗或更细的标签，则认其为子类。

对于任务序列 \(\tau_1, \cdots, \tau_N\)，每个任务 \(\tau_k\) 会新来一个或多个类 \(C_{k1}, \cdots, C_{kp_k}\)，这个类可以是超类或子类中的某一个。与类别增量学习一样，假设它们没有重复。另外要求，不允许在之前任务没有涉及对应的超类的情况下，出现子类。（也排除掉了同一个任务同时出现超类和子类的情况。）这样的话，第一个任务出现的只能都是超类。

打个比方，如果把整个任务序列中涉及的类放到表格里，对于每个任务，类别增量学习就是从下面一个一维表格中不重复地选几个类：

Bear Bus Dog Lamp Bird Truck

IIRC则从二维表格中不重复地选，但必须先把超类选掉，才能解锁它的子类。

Bear Bus Dog Lamp Bird Truck
Polar Bear Minibus Whippet

对于第 \(k\) 个任务的模型 \(f_k\)：

  • 训练阶段只能看到训练数据的这一个类标签 \(C_{k1}, \cdots, C_{kp_k}\)；
  • 但是要求此模型能准确预测出这些类以及（如果这个类是子类的话）各自的超类，因此测试阶段的测试数据标签是同时包含这些类以及（如果这个类是子类的话）各自的超类的。

IIRC 论文中的例子

上图是一个例子，展示了 \(N=3\) 个任务，每个框框表示此任务要学习的一个类。右上角表示该类（可见有超类也有子类），也是训练数据只能看到的标签；下方的 Target 表示模型预测的目标（可见已包含子类的超类）。评价模型时，需要计算每个任务的评价指标，每个任务右下角“Evaluate On”展示了这一信息，可见对于子类来说，既要评价是否正确分到子类上，还要评价是否正确分到超类上。

Benchmark

数据集：IIRC-CIFAR、IIRC-ImageNet

作者将 CIFAR100 与 ImageNet 数据集加以改造，得到了这两个适用于 IIRC 场景的数据集。在代码上，就是在构造Dataloader时加了一些预处理。

首先要将类别分成两层（超类、子类）的关系。CIFAR100自带了超类与子类；而ImageNet里的类别层级关系非常庞大，有远大于2层的层级关系，作者是采用了自己的一套标准压缩成2层类别的。

这样就可以了吗？No！上面说了要想子类出场必须先解锁超类，但是目前数据都是划到第2层的子类的，需要拨一些给它们的超类使用。如何拨、拨的比例都在文中给出，不再详述。

评价指标：pw-JS

对于一个输入 \(\mathbf{x}_i\)，IIRC 场景下模型预测结果可能不再只输出一个类标签了，而可能是 1-2 个类标签，记为集合 \(\hat{Y}_i\)：

  • 1个标签：必须是超类，指属于此超类，且不属于它的任何子类；
  • 2个标签：指属于超类下的子类。

真实标签也可能是 1-2 个标签，同上，记为集合 \(Y_i\)。

评价指标不再是 0-1 准确率，而应基于这两个集合的关系。作者给出的评价指标称为准确率加权的Jaccard相似度（pw-JS）：

\[R=\frac{1}{n} \sum_{i=1}^{n} \frac{\left|Y_{i} \cap \hat{Y}_{i}\right|}{\left|Y_{i} \cup \hat{Y}_{i}\right|} \times \frac{\left|Y_{i} \cap \hat{Y}_{i}\right|}{\left|\hat{Y}_{i}\right|}\]

其中第一个因子为 Jaccard 相似度，第二个因子为准确率。对于只有2层类别的 IIRC 场景，其实可以把所有情况穷举出来，列到下面这个表里：

例子：\(\hat{Y}_i\) VS \(Y_i\) 描述 Jaccard相似度 准确率
均为{Bear} 或 均为{Bear, Polar Bear} 预测完全正确 \(1\) \(1\)
{Bear} VS {Bear, Polar Bear} 预测粗了 \(\frac12\) \(1\)
{Bear, Polar Bear} VS {Bear} 预测细了 \(\frac12\) \(\frac12\)
{Bear, Polar Bear} VS {Bear, Brown Bear} 细类预测错了 \(\frac13\) \(\frac12\)
{Bear, (随意)} VS {Dog, (随意)} 粗类预测错了 \(0\) \(0\)

可以看到，这个指标有一个致命的问题。假设模型已经将粗类预测正确，那么它现在有两个选择：继续预测细类/不预测细类。观察上表，可以看到：预测成功的收益都是1；前者预测错误即预测细了收益为 \(1/4\)，是小于后者预测错误即预测粗了的收益 \(1/2\)的。所以，一个聪明的模型会发现，那些努力的人（预测细了）得不到表扬，费力不讨好，还不如偷懒（往粗了预测）呢！虽然这个指标没有加到损失函数里参与到了模型的训练中，但这个指标确实是不科学、不公平的。

实验

已有的经典持续学习模型如何套到IIRC场景中？实际上此场景只是把普通的多分类改为了多标签分类。处理方法很简单，只需将最后一层 Softmax 分类器改为多个 Sigmoid 分类器，分类损失选择二分类损失（BCE）即可。

实验为测试经过改造的经典持续学习模型在本文 Benchmark 上的表现，不再展示。

回到顶部