• Complex
  • Title
  • Keyword
  • Abstract
  • Scholars
  • Journal
  • ISSN
  • Conference
成果搜索

author:

张睿 (张睿.) [1] | 陈羽中 (陈羽中.) [2] (Scholars:陈羽中)

Indexed by:

PKU CSCD

Abstract:

机器阅读理解(MRC)是自然语言处理领域的一个具有挑战性的任务,其目标是在给定文章中预测出相关问题的答案.随着深度学习和预训练语言模型的发展,许多端到端的机器阅读理解模型展现出优秀的性能,但是这些模型普遍存在鲁棒性不足的问题,当文本中存在干扰句时,它们的表现便显著下降.本文从人类做阅读理解任务的角度来解决这个问题,提出了一种端到端的多任务学习框架ASMI(Answer-Span Context Prediction and Mutual Information Estimation and Maximization)来提高MRC模型的鲁棒性.ASMI在预训练语言模型下游微调,包含两种辅助任务:(ⅰ)答案上下文预测;(ⅱ)答案与上下文之间的互信息估计.本文设计了一种上下文注意力机制来预测答案上下文软标签,从而强化上下文对于问答任务的指导作用,并降低干扰句对模型的影响.本文还提出了一种新的负样本生成策略,并结合基于JS散度的互信息估计器来估计互信息,从而有效辨析答案上下文和干扰句之间的语义差异,使得模型学习到更加鲁棒的表示.在3 个阅读理解基准数据集上的实验结果表明,本文提出的ASMI模型在EM和F1 指标上均优于对比模型.

Keyword:

多任务学习 机器阅读理解 模型鲁棒性 答案上下文

Community:

  • [ 1 ] [陈羽中]福建省网络计算与智能信息处理重点实验室
  • [ 2 ] [张睿]福州大学计算机与大数据学院,福州350116

Reprint 's Address:

Email:

Show more details

Related Keywords:

Related Article:

Source :

小型微型计算机系统

ISSN: 1000-1220

CN: 21-1106/TP

Year: 2023

Issue: 7

Volume: 44

Page: 1486-1493

Cited Count:

WoS CC Cited Count:

SCOPUS Cited Count:

ESI Highly Cited Papers on the List: 0 Unfold All

WanFang Cited Count:

Chinese Cited Count:

30 Days PV: 0

Online/Total:40/10057629
Address:FZU Library(No.2 Xuyuan Road, Fuzhou, Fujian, PRC Post Code:350116) Contact Us:0591-22865326
Copyright:FZU Library Technical Support:Beijing Aegean Software Co., Ltd. 闽ICP备05005463号-1