一文弄懂各种loss function

有模型就要定义损失函数(又叫目标函数)，没有损失函数，模型就失去了优化的方向。大家往往接触的损失函数比较少，比如回归就是MSE，MAE，分类就是log loss，交叉熵。在各个模型中，目标函数往往都是不一样的，如下所示：

• 朴素贝叶斯: 最大化后验概率
• 遗传编程: 最大化适应度函数
• 强化学习: 最大化总回报/价值函数
• CART决策树分类: 最大化信息增益/最小化子节点不纯度
• CART，决策树回归，线性回归，自适应线性神经元…: 最小化均方误差成本（或损失）函数
• 分类模型: 最大化对数似然或最小化交叉熵损失（或代价）函数

• 支持向量机: 最小化hinge损失

Loss Function

常用损失函数:

Categorical Cross Entropy Cost Function(在只有一个结果是正确的分类问题中使用分类交叉熵)

KL散度是一个分布与另一个分布的概率差异的度量，KL散度在功能上类似于多类交叉熵，KL散度不能用于距离函数，因为它不是对称的。

Huber loss

Rank Loss

与其他损失函数（如交叉熵损失或均方误差损失）不同，损失函数的目标是学习直接预测给定输入的一个标签、一个值或一组或多个值，rank loss的目标是预测输入之间的相对距离。这个任务通常被称为度量学习。

rank loss在训练数据方面非常灵活：我们只需要得到数据点之间的相似性得分就可以使用它们。分数可以是二元的（相似/不同）。例如，假设一个人脸验证数据集，我们知道哪些人脸图像属于同一个人（相似），哪些不属于（不同）。利用rank loss，我们可以训练CNN来推断两张人脸图像是否属于同一个人。

为了使用rank loss，我们首先从两个（或三个）输入数据点中提取特征，并得到每个特征点的嵌入表示。然后，我们定义一个度量函数来度量这些表示之间的相似性，例如欧几里德距离。最后，我们训练特征提取器在输入相似的情况下为两个输入产生相似的表示，或者在两个输入不同的情况下为两个输入产生距离表示。

Pairwise Ranking Loss

Triplet Ranking Loss

Easy Triplets: 相对于嵌入空间中的正样本，负样本已经足够远离锚定样本。损失是0并且网络参数不会更新。

Hard Triplets: 负样本比正样本更接近锚点，损失是正的。

样本挖掘的第一种策略离线进行三元组挖掘，这意味着三元组是在训练开始时定义的，或者是在每个epoch前。后来又提出了online triplet loss(在线三元组挖掘)，即在训练过程中为每一个epoch定义三元组，从而提高了训练效率和性能。

需要注意的是，选择负样本的最佳方法是高度依赖于任务的。

Circle loss