论文笔记丨Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification

2021/4/27 10:58:53

本文主要是介绍论文笔记丨Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!


作者:魏启凯 单位:燕山大学


在这里插入图片描述

论文:https://arxiv.org/pdf/1906.06678.pdf
code:https://github.com/ZhixiuYe/MLMAN
来源:ACL2019


创新

  1. 提出一种多级匹配和聚合网络,以交互的方式来encode查询集实例和类原型。
  2. 设计了一种辅助loss function。

问题定义
小样本任务是最近两年流行起来的任务,训练集和测试集均分支持集和查询集。
5-way 1-shot
支持集5个类,每个类1个样本,用来训练模型,利用查询集的一个句子来计算其属于支持集中5个类别之一。

MLMAN模型
在这里插入图片描述

其中,encoder是利用CNN来做,
Local Matching and aggregation是一个局部匹配网络,输入K个支持集实例和一个query,利用注意力机制收集他们之间的局部信息,接着利用embedding代表进行聚合的信息。
instance maching and aggregation 是利用MLP来计算每个query和K个support 之间的匹配信息。接着将权重加起来得到最终的类原型。
class matching 利用一个MLP来计算query和类原型之间的距离。

计算过程
首先聚合K个支持集的实例为一个矩阵C
在这里插入图片描述
在这里插入图片描述

Q是查询句子的矩阵
在这里插入图片描述

接着通过拼接的方式得到新的Q和C
在这里插入图片描述

再将最大池化和平均池化引入进来,有利于后面做消融实验。

在这里插入图片描述

在这里插入图片描述

最终得到类原型向量s。

实验结果
在这里插入图片描述

FewRel的baselinehttps://thunlp.github.io/1/fewrel1.html,平台提供5way1shot,5way5shot,10way1shot,10way5shot的结果。

测试结果是在FewRel测试集的结果,现在清华官方提供了测试集。

下面是消融实验
在这里插入图片描述

验证集的结果是在FewRel 验证集上的结果。



这篇关于论文笔记丨Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程