【大语言模型】ACL2024论文-28 TTM-RE: 增强记忆的文档级关系抽取
目录
文章信息
TTM-RE: 增强记忆的文档级关系抽取
摘要
本文提出了TTM-RE，一种新颖的方法，它通过集成可训练的记忆模块（Token Turing Machine）和鲁棒的损失函数来解决文档级关系抽取问题。这种方法特别针对大规模、噪声多的训练数据，通过实验表明，TTM-RE在ReDocRED基准数据集上实现了最先进的性能，绝对F1分数提高了超过3%。
研究背景
文档级关系抽取的目标是在文档中识别并分类两个实体之间的关系。以往的方法在利用大规模、不同噪声水平的训练数据方面效果不佳。例如，在ReDocRED基准数据集中，使用大规模、低质量的远程监督训练数据训练出的状态最先进的方法，通常并不比仅使用小型、高质量的人工标注训练数据训练出的方法表现得更好。
问题与挑战
文档级关系抽取面临的挑战包括标签不平衡、文档中可能的实体对组合数量呈二次方增长等。此外，如何有效利用大规模的远程标注数据也是一个挑战。
如何解决
TTM-RE通过引入Token Turing Machine（TTM）记忆模块和针对正-未标记设置的噪声鲁棒损失函数来解决上述问题。TTM能够存储和处理输入实体，输出记忆增强的实体表示，用于关系分类。
创新点
- 提出了TTM-RE，首个记忆增强的文档级关系抽取模型。
- 通过结合伪实体，显著提升了下游关系分类性能。
- 在极端未标记设置下，TTM-RE的性能超过了之前的最佳方法。
算法模型
TTM-RE的核心是Token Turing Machine（TTM），它包含一个可训练的记忆模块。记忆模块处理输入实体，并输出到关系分类器。模型还采用了噪声鲁棒损失函数（SSR-PU），适用于正-未标记学习设置。
实验效果
- 在ReDocRED数据集上，TTM-RE实现了最先进的性能，F1分数提高了超过3%。
- 在ChemDisGene数据集上，TTM-RE在生物医学领域也表现出色，F1分数提高了5%。
- 在极端未标记设置下，TTM-RE的F1分数比之前的最佳方法提高了12%。
推荐阅读指数：★★★★☆
后记
如果您对我的博客内容感兴趣，欢迎三连击(点赞，关注和评论)，我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型，深度学习，计算机视觉相关方向)最新学术论文及工程实践方面的内容分享，助力您更快更准更系统地了解 AI前沿技术。