文章目录
1 介绍2 span-relation representations2.1未涉及句子级任务
3.span-relation model3.1 span representation3.2 span and relation label prediction3.3 应用到不同任务3.5 多任务学习MTL
4 GLAD Benchmark基准 and Results4.1 实验4.2 证明通用模型有效4.3 MTL4.3.2 任务之间的关系分析4.3.3 相似和区别4.3.4 MTL under different settings4.4.4 模型复杂度
1 介绍
nlp任务
span标记span之间的关系标记
希望用统一的框架处理nlp任务
假设：人类可以用相同的格式标注数据，机器也可以
人类标注：已经有统一的标准BRAT
贡献
span标记和span之间的关系标记联合模型
已经有端到端的共指消解模型（Lee et al. (2017)）–本文对它进行少量修改 预训练一个上下文的模型（Bert，Elmo）验证单一模型的适用性和通用性
在10个任务上
named entity recognition(NER),relation extraction (RE),coreference resolution (Coref.),open information extraction (OpenIE),part-of-speech tagging (POS),dependency parsing (Dep.),constituency parsing (Consti.),semantic role labeling (SRL),aspect based sentiment analysis (ABSA),and opinion role labeling (ORL) 功能：
一个模型可以处理多个任务MTL：很方便，可以帮助数据量少的相关模型（相互协助）
有的任务会互相帮助也有的任务会相互阻碍：因为不同的任务表现出不同的注意模式（attention）
预训练模型
使用相同的表示，通过预训练的embedding
本文
完全统一的模型，去处理所有任务
2 span-relation representations
解释BRAT如何标注大量任务
span标注–span-oriented tasksrelation标注 --relation-oriented tasks
2.1未涉及句子级任务
注意
未涉及句子级别的任务（情感分类。。）
可以将整个句子当作一个span但因为之前的通用模型中已经有很好的表现了，就不做了
通用模型(Lan and Xu, 2018)、多任务学习 (Devlin et al.,2019; Liu et al., 2019)
3.span-relation model
base(Lee et al.， 2017)–一个端到端的共指消解模型，span标注
扩展到其他任务模型核心：用一个任意长度的向量表示span–用以预测label或span-pair的label
3.1 span representation
条件：可以任意长度内容表示
z
i
c
z_i^c
zic边界表示
z
i
u
z_i^u
ziu句子的token
w
1
,
w
2
,
.
.
.
,
w
n
w_1,w_2,...,w_n
w1,w2,...,wnspan:
s
i
=
[
(
b
b
i
,
b
b
i
+
1
,
.
.
.
，
b
e
i
]
s_i=[(b_{b_i},b_{b_i+1},...，b_{e_i}]
si=[(bbi,bbi+1,...，bei]
c
1
,
c
2
,
.
.
.
,
c
n
=
T
o
k
e
n
R
e
p
r
(
w
1
,
w
2
,
.
.
.
,
w
n
)
u
1
,
u
2
,
.
.
.
,
u
n
=
B
i
L
S
T
M
(
c
1
,
c
2
,
.
.
.
,
c
n
)
z
i
c
=
S
e
l
f
A
t
t
n
(
c
b
i
,
c
b
i
+
1
,
.
.
.
，
c
e
i
)
z
i
u
=
[
u
b
i
;
u
e
i
]
z
i
=
[
z
i
c
;
z
i
u
]
c_1,c_2,...,c_n=TokenRepr(w_1,w_2,...,w_n)\\ u_1,u_2,...,u_n=BiLSTM(c_1,c_2,...,c_n)\\ z_i^c=SelfAttn(c_{b_i},c_{b_i+1},...，c_{e_i})\\ z_i^u=[u_{b_i};u_{e_i}]\\ z_i=[z_i^c;z_i^u]
c1,c2,...,cn=TokenRepr(w1,w2,...,wn)u1,u2,...,un=BiLSTM(c1,c2,...,cn)zic=SelfAttn(cbi,cbi+1,...，cei)ziu=[ubi;uei]zi=[zic;ziu]
tokenRepr:Glove or Bert
3.2 span and relation label prediction
invalid label
NEG_SPANNEG_REL Model
预测所有的span（长度<l）:MLP(多层感知机）
s
o
f
t
m
a
x
(
M
L
P
s
p
a
n
(
z
i
)
)
∈
Δ
∣
L
∣
softmax(MLP^{span}(z_i))\in\Delta^{|L|}
softmax(MLPspan(zi))∈Δ∣L∣剪枝：保留前
K
=
n
⋅
τ
K=n\cdot \tau
K=n⋅τ个span,剩下的为NEG_SPAN(阈值
τ
\tau
τ低，则剪枝更多)预测关系的感知机MLP:
o
j
k
=
M
L
P
r
e
l
(
[
z
j
;
z
k
;
z
j
⋅
z
k
]
)
∈
R
∣
R
∣
o_{jk}=MLP^{rel}([z_j;z_k;z_j\cdot z_k])\in \mathbb{R}^{|R|}
ojk=MLPrel([zj;zk;zj⋅zk])∈R∣R∣
3.3 应用到不同任务
最大化真实关系的概率
具体到不同任务上需求不同
关心前后顺序：关系抽取不关心顺序：
eg:共指消解：
连接相同概念的span–cluster多个也只要连上了就好
为此，提供两种loss–最大化
pairwise loss:
s
o
f
t
m
a
x
(
o
j
k
)
r
j
k
,
r
j
k
是
实
际
答
案
的
i
n
d
e
x
e
s
softmax(o_{jk})_{r_{jk}},r_{jk}是实际答案的indexes
softmax(ojk)rjk,rjk是实际答案的indexes–其他所有任务
预测一对 head loss：
Σ
k
∈
h
e
a
d
(
s
j
)
s
o
f
t
m
a
x
(
[
o
j
1
，
o
j
1
,
.
.
.
,
o
j
K
)
k
\Sigma_{k\in head(s_j)} softmax([o_{j1}，o_{j1},...,o_{jK})_k
Σk∈head(sj)softmax([oj1，oj1,...,ojK)k–用于共指消解
预测一堆(?多元关系？怎么样）
这两个loss，仅在如何normalize时有区别，其他并无区别
test
共指消解：把span连接到得分最高的前件上e (Lee et al., 2017)consti:constituency parsing：贪婪的从上到下的解码，去产生有效的解析树dep:依赖解析：每个词链接到一个父节点（最高关系得分的）other：对每对实体预测关系，没关系的预测为NEG_REL
核心观点
我们的模型任务无关
只要能建模为span标注任务和span关系预测任务即可
3.5 多任务学习MTL
SpanRel实现MTL
共享参数，除了MLPs的问题：
不同的任务，关注点不同（在语言方面）所以对于所有任务不是获得相同的增益的、
在相关任务上联合训练是增益的而不相关的任务是hurt 如何选择任务？
任务数目多时，手动选择难 解决：
SpanRel提供了一个系统的方式/基于attetion的方式–选择任务对（互相有增益的）–4.3
4 GLAD Benchmark基准 and Results
提出GLAD基准和evaluation metrics证明SpanRel
有效对MTL有益
4.1 实验
metrics
F1,P,R–for span and relation token representation:Glove,ELMo,Span-Bert,BertBiLSTM 256 hidden\MLP:2 layers,128hidden
4.2 证明通用模型有效
在相同条件下与SOTA模型相比较
token representation（Bert or Glove…)相同settings 通用模型有效
和sota差不多
4.3 MTL
MTL和STL(单任务学习），FT(finetune)
有Bert好于没有Bert有Finetune好于无FT下降的比较多：
大多数任务数据稀疏不同的任务关注点不同，相互之间可能有助益也有阻碍
4.3.2 任务之间的关系分析
假设：语言模型预训练在理论上与MTL正交，实际上benefit是重叠的分析
(1)对于OpenIE和ORL来说，使用SRL进行多任务学习可以显著提高性能，而其他任务的提高则很少或根本没有。(2)依赖解析和SRL是对大多数目标任务有益的通用源任务。SpanREL可以很容易地进行MTL,并且看出谁是有益的源任务
4.3.3 相似和区别
证明SpanRel提供分析不同任务相似性和区别的平台
猜测，与attention有关
attention反应内部焦点公式：
s
i
m
k
(
t
,
t
′
)
=
−
1
∣
X
t
∣
Σ
x
∈
X
t
∣
∣
A
k
t
(
x
)
−
A
k
t
′
(
x
)
∣
∣
F
′
A
k
t
(
x
)
是
第
k
个
头
的
a
t
t
e
n
t
i
o
n
m
a
p
sim_k(t,t')=-\frac{1}{|X_t|}\Sigma_{x\in X_t}||A_k^t(x)-A_k^{t'}(x)||_{F'}\\A_k^t(x)是第k个头的attention map
simk(t,t′)=−∣Xt∣1Σx∈Xt∣∣Akt(x)−Akt′(x)∣∣F′Akt(x)是第k个头的attentionmap下图证明这个公式确实反映了相似度
4.3.4 MTL under different settings
token representation 越强大，improvement越少
MTL和预训练模型都倾向于学习通用表达，benefit重叠了5中glove训练了所有模型，所以效果差了–超出能力范围
数据稀疏的时候模型有用
4.4.4 模型复杂度
主要在bertspan
O
(
l
⋅
n
)
O(l\cdot n)
O(l⋅n)relation
O
(
K
2
)
=
O
(
τ
2
⋅
n
2
)
O(K^2)=O(\tau^2\cdot n^2)
O(K2)=O(τ2⋅n2)
