transE阅读笔记-Translating Embeddings for Modeling Multi-relational Data

前言算法介绍算法训练参考

前言

对知识图谱写过一个小小的综述笔记-----知识图谱综述笔记 下周组会要讲论文了，先对知识图谱中的trans家族进行逐篇阅读，笔记记录，好进行一个总结。 今天是第一篇transE，后续是transR,transH。

算法介绍

transE算法是在13年提出的，本文的研究焦点就在多关系数据的问题，其目标是提供一个高效的工具实现自动的补全新的事物而不用依靠额外的知识数据。 现有的知识库丰富，实验基本在我们知道现有知识库都已三元组<entity,relation,entity>的形式，本文的实验基于WordNet，Freebase知识库。 所谓transE就是将实体和关系都嵌入到低维空间中，尽管算法模型简单，但是它有两个主要优点

在两个数据集中表现出色，且容易扩展可以训练大规模数据

transE是基于能量模型的，也就是最小化能量函数来实现，在transE中，讲实体和关系表示为（h,l,t），分别为头实体，关系和尾实体，在embedding空间中存在这样一组关系使$h+l\approx t$，区别于以往参数过多的模型，transE的一个关键点在于简化了参数，因为是在低维的向量中学习实体和关系。

算法训练

损失函数如下图，d[]是距离公式，基于不同的度量，认为是L1或者L2范数。 前面的d[]来自样本数据，后面的是随机生成的，(h′,l,t′)是corrupted triplet（打碎三元组），不同时对头实体和尾实体进行打碎（随机）操作，但是不同时更新。 这里的以为是当[]+,x大于0时为原值，否则就是0，这就类比了SVM中的分类，将正负分类，找到最大的支持向量。目标是使得最相近的正负例样本距离最大化。 transE采用随机梯度下降优化（SGD)，增加约束条件，每次迭代实体的L2范数为1，但是标签l没有正则化和范数约束。

参考

Bordes A, Usunier N, Garcia-Duran A, et al. Translating embeddings for modeling multi-relational data[C]//Advances in neural information processing systems. 2013: 2787-2795.