• Complex
  • Title
  • Keyword
  • Abstract
  • Scholars
  • Journal
  • ISSN
  • Conference
成果搜索

author:

吴运兵 (吴运兵.) [1] (Scholars:吴运兵) | 曾炜森 (曾炜森.) [2] | 高航 (高航.) [3] | 阴爱英 (阴爱英.) [4] | 廖祥文 (廖祥文.) [5] (Scholars:廖祥文)

Abstract:

针对现有多模态讽刺解释模型在融合过程中仅关注图像中的细粒度特征信息,使得模型存在解释效果不佳、多模态特征难以融合等问题,本文设计了一种基于双流残差注意力的多模态融合机制.首先,本文采用了 BART和VGG19模型分别提取文本和图像两种模态特征.其次,模型经过两路多头注意力引导,分别关注图像和文本的细粒度信息,考虑到单纯的多头自注意力不能很好学习图文间的关联信息,采用二次注意力模块(AOA)合理分配特征权重.最后,本文将多模态特征拼接融合后输入BART解码器中进行讽刺解释.模型在公开的数据集MORE上的实验结果表明,相较于ExMore模型,本文模型在METEOR和ROUGE-L评价指标上分别提升了 4.35%、3.39%.实验结果表明本文模型能更好融合模态特征,从而显著地提升模型解释的效果.

Keyword:

多模态 注意力机制 深度学习 自然语言处理 讽刺解释

Community:

  • [ 1 ] [阴爱英]福州大学至诚学院
  • [ 2 ] [吴运兵]福州大学计算机与大数据学院,福州 350108;数字福建金融大数据研究所,福州 350108
  • [ 3 ] [曾炜森]福州大学计算机与大数据学院,福州 350108;数字福建金融大数据研究所,福州 350108
  • [ 4 ] [高航]福州大学计算机与大数据学院,福州 350108;数字福建金融大数据研究所,福州 350108
  • [ 5 ] [廖祥文]福州大学计算机与大数据学院,福州 350108;数字福建金融大数据研究所,福州 350108

Reprint 's Address:

Email:

Show more details

Related Keywords:

Source :

小型微型计算机系统

ISSN: 1000-1220

Year: 2024

Issue: 11

Volume: 45

Page: 2628-2635

Cited Count:

WoS CC Cited Count:

SCOPUS Cited Count:

ESI Highly Cited Papers on the List: 0 Unfold All

WanFang Cited Count:

Chinese Cited Count:

30 Days PV: 3

Online/Total:61/10049418
Address:FZU Library(No.2 Xuyuan Road, Fuzhou, Fujian, PRC Post Code:350116) Contact Us:0591-22865326
Copyright:FZU Library Technical Support:Beijing Aegean Software Co., Ltd. 闽ICP备05005463号-1