任务自己决定“听哪一层”
ELMo 不把顶层当成唯一答案。下游任务先把各层打分,再经 softmax 得到和为 1 的混合权重。
词性标注
词义判别
综合任务
输入层
0.4
低层 LSTM
2.0
高层 LSTM
-0.2
ELMo
k
= γ · Σ softmax(z
j
) h
k,j
重置为词性标注预设