三菱m80系统解密

三菱m80系统解密文章中已经介绍过了处理常规多分类问题(也就是单标签分类)的基本操作——softmax和交叉熵损失函数,那么什么是多标签分类呢?

单标签分类是从n个候选类别中选取一个1个目标类别进行分类,损失函数的优化目标则是使目标类别的得分*,可以参考上篇文章的交叉熵损失函数;

对于多标签分类,我们从n个候选类别中选取k个目标类别(当做正例,即是与不是的问题),换种理解就是我们同时进行n个二分类任务。

直观上,我们可以直接选择使用sigmoid激活,使用二分类的交叉熵之和作为loss,然而当n>>k时,会有很严重的类别不均衡问题,当k极小时,网络只需要简单将结果全部预测为负例也可以得到很小的loss值;但是单标签分类中,k=1并没有这种类别不均衡的问题,因为我们使用了softmax,使得交叉熵能够不偏不倚的对每个预测获得合适的损失。

因此,一种直觉上的思路是多标签分类的损失函数可以有softmax进行外推,换言之,当k=1时,该损失函数会退化成softmax。

组合softmax

苏剑林大佬首先考虑了k固定的情形,显然推理时我们只需要输出得分的top-k即可,那么训练时的loss怎么办呢?

类比单标签的n选1,我们可以将多标签表示为CnkC_n^kCnk选1,这样便得到其loss应该为:

?log?est1+st2+?+stk∑1≤i1<i2<?<ik≤nesi1+si2+?+sik=log?Zk?(st1+st2+?+stk)(1)-\log \frac{e^{s_{t_1}+s_{t_2}+\dots+s_{t_k}}}{\sum\limits_{1\leq i_1 < i_2 < \cdots < i_k\leq n}e^{s_{i_1}+s_{i_2}+\dots+s_{i_k}}}=\log Z_k - (s_{t_1}+s_{t_2}+\dots+s_{t_k}) \tag 1?log1≤i1<i2<?<ik≤n∑esi1+si2+?+sikest1+st2+?+stk=logZk?(st1+st2+?+stk)(1)

上式*难计算的地方便是分母,苏剑林大佬提出利用牛顿恒等式来简便计算,设Sk=∑i=1neksiS_k = \sum\limits_{i=1}^n e^{k s_i}Sk=i=1∑neksi,可得:

Z1=?S12Z2=?Z1S1?S23Z3=?Z2S1?Z1S2+S3?kZk=?Zk?1S1?Zk?2S2+?+(?1)k?2Z1Sk?1+(?1)k?1Sk\begin{aligned} Z_1 =&\, S_1\\ 2Z_2 =&\, Z_1 S_1 - S_2\\ 3Z_3 = &\, Z_2 S_1 - Z_1 S_2 + S_3\\ \vdots\\ k Z_k = &\, Z_{k-1} S_1 - Z_{k-2} S_2 + \dots + (-1)^{k-2} Z_1 S_{k-1} + (-1)^{k-1} S_k \end{aligned}Z1=2Z2=3Z3=?kZk=S1Z1S1?S2Z2S1?Z1S2+S3Zk?1S1?Zk?2S2+?+(?1)k?2Z1Sk?1+(?1)k?1Sk

我们不在这里过度纠结,说一些苏剑林大佬没有说的,回到这个loss本身的形式,其与softmax的形式几乎完全一致,只不过对象从一个sis_isi变为了一组{sti}\{s_{t_i} \}{sti},仔细分析一下就会发现一个问题:

对于softmax,我们希望目标的sis_isi变的足够大,而其他的sis_isi足够小,而对上式来说,我们希望这一组stis_{t_i}sti的和变的足够大,但是如果其中的一个StiS_{t_i}Sti变得足够大,loss也会变得足够小,这时候优化便停止了。