回顾理解Triplet-loss

开始之前从Lazy Triplet Loss说起triplets里的三个兄弟和三种loss 标准triplets三兄弟triplets三兄弟的关系评判triplets三兄弟关系的标准easy triplets: $L=0$semi-hard triplets: $L!=0$hard triplets: $L!=0$ 不能从0开始，要站在巨人的肩膀上triplets miningOffline miningOnline mining 参考

开始之前

【2】Triplet loss通常是在个体级别的细粒度识别上应用，传统的分类是花鸟够的大类别的识别，但是有些需求要精确到个体级别，比如精确到哪一个人的人脸识别，所以triplet loss的最主要应用也就是face identification、person re-identification、vehicle re-identification的各种identification问题上。这个loss虽然很好，但是用起来真的很烦，而且不太好理解。最近一直被这个题目困扰，搜了一下，又看到metric learning和circle loss之类的词汇，真是一口老血，学无止境啊。

从Lazy Triplet Loss说起

philipperemy deep-speaker有实现一种简单的实现方法Lazy Triplet Loss，实测有效，但是如果要精调模型，或者想获得更加深入理解TripletLoss，这显然是不能满足要求的。这个方法大底是即基于easy triplets公式来实现的。在诉说为啥叫lazy之前，先回顾一下triplets的基本概念。

triplets里的三个兄弟和三种loss 标准

triplets三兄弟

triplets三胞胎的大哥刘备a是anchor，是扛把子baseline；二弟关羽p是positive，处处要学着a争取跟a一模一样；三弟张飞n是negative，处处要跟a对着干，离得越远越好。

triplets三兄弟的关系

distance作为评判这三兄弟的关系，其实就是二弟、三弟和哥哥靠的近不近，这个和谐的兄弟关系应该是这样：$d(a,p)$越近越好，$d(a,n)$越远越好，怎么个好法呢？需要一个诸葛亮$margin$来搅和一下

评判triplets三兄弟关系的标准

诸葛亮刚来，觉得大哥和二弟关系太近，搅和了一下，争取平和一下刘关张的关系：

$$L=MAX(d(a,p)-d(a,n)+margin,0)$$

easy triplets: $L=0$

$d(a,p)+margin<d(a,n)$，那么Max算子肯定取0了。这时候说明刘备a和关羽p哥俩好的像一个人似的，基本没张飞n啥事，诸葛亮$margin$上来也没办法疏远，那么此时的情况天下太平。当然这种case也没有用。

semi-hard triplets: $L!=0$

在诸葛亮margin的成功搅和下，关羽和刘备疏远了， $d(a,p)+margin>d(a,n)$，但诸葛亮不在的时候两个人还可以 $d(a,p)<d(a,n)$，按照通用的公式来就是$d(a,p)+margin>d(a,n)>d(a,p)$。这种情况如果神经网络不处理，就会演变成下面的极端情况。

hard triplets: $L!=0$

$d(a,p)>d(a,n)$，不管有没有诸葛亮，关羽和刘备都闹掰了，这个时候有故事看了，需要神经网络来调理调理。 到此用三国人物来大致调侃了一下triplets的概念，主要为了加深理解。

理想的分类模型应该是这样，所有的关系都满足easy triplets，这时候就没有必要训练了，这组数据集合经过embedding，分类效果杠杆滴，t-sne图上同类散点紧密簇在一起，感官上很完美；退而求其次就是semi-hard triplets，其实这种模型也不错，类间距总是大于类内距，t-sne图上同类散点基本上簇在一起，但是在实际应用中容易受到噪声的干扰，少部分离散点跑到别的类上去了；那么最后一种hard triplets就很容易理解了，无法准确的分辨出类别，t-sne散点图糊了。都解释的这么直白了，triplets的终极目标，没有hard，尽量少semi，最好都easy。

Lazy Triplets Loss最投机取巧的办法是：

随机的获取batch，这是时候没有做任何筛选，不管刘关张的关系如何，lazy就在这里体现了。train的时候，利用semi条件保留算出的loss，最后取平均，满足easy的batch没有被摘除，让训练到一定程度，由于满足easy的越来越多，导致均值loss很低，收敛越来越慢。

虽然训练结果还不错，但是从机制上不够严谨，应该在batch筛选上再下功夫。

不能从0开始，要站在巨人的肩膀上

在DeepLearning的世界里，每次我想结束一个议题的时候，结果是又推开了另一扇门，就比如说这个triplets loss已经让我毛发稀疏了，本来希望通过一遍笔记收敛这个话题，搞一个终极解决方案出来，结果发现这个triplets loss的mining非常深奥，往前一探，就是度量学习，翻了翻这块的东西，我觉得还是先关上它，聚焦到triplet mining上，争取找到一个比lazy更好的策略，提高embedding的分离度。面对浩如烟海、日新月易的AI世界，无力感满满，还好有无数的先行者为后面的人开辟了道路，不至于每件事情从头做，为了能取得更好的结果，翻了一下本站，发现Triplet-Loss原理及其实现、应用翻译Triplet Loss and Online Triplet Mining in TensorFlow并用numpy重写了里面的方法，因为采用了mask的办法，使得满足easy条件的数据不会再被选中，这样可以进一步的提高后期的训练效率，这个方法值得一试，但要确认好不好用得花点时间。参考中的最后一篇对loss有更多的介绍，肯定要仔细研究，但不是现在，留个彩蛋吧。 本章剩下的部分就是讨论triplets batch策略，这个与之前的均方差，交叉熵等等最大的区别是：筛选过程可能要走一遍inference，这样才能得到要度量的结果，提前签知道哪些属于easy，没必要进training，既费时有费事。而且每个epoch训练完，上一次easy的可能这次就semi或者hard了，三者的关系随着每个epoch动态变化，咔咔，想想就头大。不妨再回顾一下Triplet Loss and Online Triplet Mining in TensorFlow提到的策略，有了我这么多铺垫，应该就不难理解了。

triplets mining

根据上节提到的三种loss度量，训练中需要选取hard和semi-hard的train sets，丢弃easy的train sets，一般分为offline和online两种策略。

Offline mining

Offline就是训练完一个epoch之后，下一个epoch之前，将train sets所有的数据做一遍inference，根据inference得来的embedding计算满足hard和semi-hard的结果，计算最后的triplets loss平均值，启动下一个epoch的training。脑补一下计算量和麻烦的程度，就是知道这个虽然很理想主义，单不靠谱。所以Offline策略只是个策略，没见人用的。

Online mining

Online是各大论文采用和研究的主题，主导思想就是定义好了batchsize，每次启动下一个epoch之前，提取batch，将满足要求（hard、semihard）的loss拿来计算，训练再次走起，很显然这个方法loss似乎更加显著，而且人工干预少。In Defense of the Triplet Loss for Person Re-Identification先假设一个输入的batchsize $B=PK,P=PersonNumber,K=ImageNumberforthisperson$具体的策略还分为如下：

Batch All：选取所有有效的triplets，就算hard、semihard triplets的平均值。这样就屏蔽了easy triplets的个体数量，避免了训练后期loss过低的问题，当然要计算PK(K-1)(PK-K) triplets(PK anchors, K−1 possible positives per anchor, PK−K possible negatives) ，这个数其实看上去有点懵，没关系，画一个表格就容易理解了。假设刘关张三（P）个人，每人有三(K)个case，batchsize就是9（B=PK）。每次提取这九个测试样本，按照表格来看，刘备的某一个case d（a，p）是（K-1），（a,n）是K*（P-1）。每个triplets都是d（a，p）和d（a,n）的组合，就算刘备的triplets 数量=（K-1）* K *（P-1），所有人次的结果就是 $$P\ast K\ast （K-1）\ast K\ast （P-1）=PK(K-1)(PK-K)$$ 人名空刘备刘备关羽关羽关羽张飞张飞张飞空空d（a,p）d（a,p）d（a,n）d（a,n）d（a,n）d（a,n）d（a,n）d（a,n）刘备anchor1anchor2anchor3anchor1anchor2anchor3anchor1anchor2anchor3刘备anchor2anchor1anchor3anchor1anchor2anchor3anchor1anchor2anchor3刘备anchor3anchor1anchor2anchor1anchor2anchor3anchor1anchor2anchor3关羽anchor1关羽anchor2关羽anchor3张飞anchor1张飞anchor2张飞anchor3 Batch Hard: 对于每个anchor（ $B=PK$个），只留下来最硬的positive（biggest distance d(a,p)）和最硬的negative（smallest distance d(a,n)），这样每个的算法batch $B=PK$个三兄弟拿去训练。这里应该很好理解了。

论文说batch Hard好，那接下来就研究如何mine一下自己的triplet，希望能比lazy好点。

参考

1.philipperemy deep-speaker 2.Triplet loss学习笔记 3.Deep Metric Learning 4.周志华《Machine Learning》学习笔记（12）–降维与度量学习 5.【论文笔记4】深入理解行人重识别网络的Loss