当前位置：首页 > news >正文

NAACL上的45+篇亚马逊NLP论文速览

news 2026/5/12 10:03:28

NAACL上的45+篇亚马逊NLP论文速览

在即将于下周举行的北美计算语言学协会年会上，亚马逊展示了其在自然语言处理研究方面的广度和原创性，共发表了45余篇论文。

会议NAACL 2022

以下是按研究领域分类的亚马逊在NAACL 2022上发表的45多篇论文。

持续学习

终身预训练：持续使语言模型适应新兴语料库
Xisen Jin, Dejiao Zhang, Henghui Zhu, Wei Xiao, Shang-Wen Li, Xiaokai Wei, Andrew O. Arnold, Xiang Ren
面向生产型SLU模型新特性的局部到全局迭代训练学习
Yulia Grishina, Daniil Sorokin
克服seq2seq语言生成在领域自适应中的灾难性遗忘
Dingcheng Li, Zheng Chen, Eunah Cho, Jie Hao, Xiaohu Liu, Xing Fan, Chenlei (Edward) Guo, Yang Liu
在“克服seq2seq语言生成在领域自适应中的灾难性遗忘”一文中，研究人员提出了一种方法，用于评估当现有模型在新任务上训练时（右图），数据表示发生了多大程度的偏移。
口语语言理解的时间泛化
Judith Gaspers, Anoop Kumar, Greg Ver Steeg, Aram Galstyan

数据增强

通过后验正则化约束词对齐以实现标签迁移
Kevin Martin Jose, Thomas Gueudré
上图展示了使用词对齐将文本标签从一种语言迁移到另一种语言时遇到的困难示例。在英语中，冠词“the”被分配了标签“o”（表示“其他”）；而在法语中，缩写冠词与其名词合并，两者都接收相同的标签（“type”）。该图来自“通过后验正则化约束词对齐以实现标签迁移”。
通过插入操作实现的NLU可控数据生成
Manoj Kumar, Haidar Khan, Yuval Merhav, Wael Hamza, Anna Rumshisky, Rahul Gupta
面向自然语言理解的高效半监督一致性训练
George Leung, Joshua Tan
学习为语义处理任务生成示例
Danilo Croce, Simone Filice, Giuseppe Castellucci, Roberto Basili

对话系统

从连续语句中学习对话表示
Zhihan Zhou, Dejiao Zhang, Wei Xiao, Nicholas Dingwall, Xiaofei Ma, Andrew O. Arnold, Bing Xiang
使用格栅进行文本生成的大规模解码
Jiacheng Xu, Siddhartha Reddy Jonnalagadda, Greg Durrett

实体链接、指代消解与类型识别

用于跨文档事件和实体共指消解的对比表示学习
Benjamin Hsu, Graham Horwood
通过在知识库上进行推理改进实体消歧
Tom Ayoola, Joseph Fisher, Andrea Pierleoni
ReFinED：一种高效的、支持零样本学习的端到端实体链接方法
Tom Ayoola, Shubhi Tyagi, Joseph Fisher, Christos Christodoulopoulos, Andrea Pierleoni
通过多任务QA向语言模型注入类型知识
Shuyang Li, Mukund Sridhar, Chandana Satya Prakash, Jin Cao, Wael Hamza, Julian McAuley

可解释AI

> 在“通过迭代检索-生成推理器实现蕴含树解释”一文中，研究人员提出了一种方法，通过逻辑地重组从支持文本证据中提取的前提，来解释大型语言模型的输出。

通过迭代检索-生成推理器实现蕴含树解释
Danilo Neves Ribeiro, Shen Wang, Xiaofei Ma, Rui Dong, Xiaokai Wei, Henry Zhu, Xinchi Chen, Zhiheng Huang, Peng Xu, Andrew O. Arnold, Dan Roth
自然语言模型理解的局部聚合特征归因
Sheng Zhang, Jin Wang, Haitao Jiang, Rui Song

极端多标签分类

低流量电商商店中大规模语义匹配模型的训练数据增强
Ashutosh Joshi, Shankar Vishwanath, Choon Hui Teo, Vaclav Petricek, Vishy Vishwanathan, Rahul Bhagat, Jonathan May
面向极端文本分类的极端零样本学习
Yuanhao Xiong, Wei-Cheng Chang, Cho-Jui Hsieh, Hsiang-Fu Yu, Inderjit S. Dhillon

联邦学习

带噪声用户反馈的联邦学习
Rahul Sharma, Anil Ramakrishna, Ansel MacLaughlin, Anna Rumshisky, Jimit Majmudar, Clement Chung, Salman Avestimehr, Rahul Gupta

关键词检测

AB/BA分析：一个在保持音频隐私的同时估计关键词检测召回率提升的框架
Raphael Petegrosso, Vasistakrishna Baderdinni, Thibaud Senechal, Benjamin L. Bullough

机器翻译

CoCoA-MT：面向对比受控翻译（含形式性应用）的数据集与基准
Maria Nadejde, Anna Currey, Benjamin Hsu, Xing Niu, Marcello Federico, Georgiana Dinu
在联邦学习中，神经网络的分布式副本在本地进行训练，只有它们的更新（红色）被发送到中央模型。“通过联邦学习训练混合领域翻译模型”介绍了一种称为动态拉取的技术，其中参数值在训练轮次之间发生较大偏移的分布式模型（左下角），其参数会与偏移较小的模型分开拉取到中央模型中。
细节决定成败：论神经机器翻译中词汇表选择的陷阱
Tobias Domhan, Eva Hasler, Ke Tran, Sony Trenous, Bill Byrne, Felix Hieber
通过联邦学习训练混合领域翻译模型
Peyman Passban, Tanya G. Roosta, Rahul Gupta, Ankit Chadha, Clement Chung

多任务学习

通过从已收敛任务进行知识蒸馏实现多任务学习中的异步收敛
Weiyi Lu, Sunny Rajagopalan, Priyanka Nigam, Jaspreet Singh, Xiaodi Sun, Yi Xu, Belinda Zeng, Trishul Chilimbi
探索任务可迁移性在大规模多任务学习中的作用
Vishakh Padmakumar, Leonard Lausen, Miguel Ballesteros, Sheng Zha, He He, George Karypis

命名实体识别

多语言模型中用于跨语言和跨领域命名实体识别的动态词典集成
Besnik Fetahu, Anjie Fang, Oleg Rokhlenko, Shervin Malmasi
NER-MQMRC：将命名实体识别建模为多问题机器阅读理解
Anubhav Shrimal, Avi Jain, Kartik Mehta, Promod Yenigalla

问答系统

答案整合：公式化与基准测试
Wenxuan Zhou, Qiang Ning, Heba Elfardy, Kevin Small, Muhao Chen
基于段落的Transformer预训练用于多句推理
Luca Di Liello, Siddhant Garg, Luca Soldaini, Alessandro Moschitti
PerKGQA：面向个性化知识图谱的问答
Ritam Dutt, Kasturi Bhattacharjee, Rashmi Gangadharaiah, Dan Roth, Carolyn Penstein Rosé
来自异构源的产品答案生成：新基准与最佳实践
Xiaoyu Shen, Gianni Barlacchi, Marco Del Tredici, Weiwei Cheng, Adria de Gispert, Bill Byrne

自学习

> 在“FPI：大规模对话助手故障点隔离”中，研究人员提出了一种方法，用于推断对话代理处理流程中哪个环节发生了错误。

FPI：大规模对话助手故障点隔离
Rinat Khaziev, Usman Shahid, Tobias Röding, Rakesh Chada, Emir Kapanci, Pradeep Natarajan
大规模对话AI系统中用于技能路由的可扩展且鲁棒的自学习
Mohammad Kachuee, Jinseok Nam, Sarthak Ahuja, Jin-Myung Won, Sungjin Lee
大规模对话AI中基于自我反馈的自学习
Pragaash Ponnusamy, Clint Solomon Mathialagan, Gustavo Aguilar, Chengyuan Ma, Chenlei (Edward) Guo
这是一个面向任务的语义解析示例，它将自然语言转换为AI Agent可以执行的正式表示。该图来自“作为抽象式问答的组合型任务导向解析”。

语义解析

作为抽象式问答的组合型任务导向解析
Wenting Zhao, Konstantine Arkoudas, Weiqi Sun, Claire Cardie
SeqZero：使用顺序提示和零样本模型的少样本组合语义解析
Jingfeng Yang, Haoming Jiang, Qingyu Yin, Danqing Zhang, Bing Yin, Diyi Yang

任务自适应

注意力融合：一种用于NLU任务自适应的轻量级高效后期融合机制
Jin Cao, Chandana Satya Prakash, Wael Hamza
通过识别注意力中的核结构实现参数高效的迁移学习
Yifan Chen, Devamanyu Hazarika, Mahdi Namazifar, Yang Liu, Di Jin, Dilek Hakkani-Tür

文本挖掘

面向电商评论的远监督方面聚类与命名
Prateek Sircar, Aniket Chakrabarti, Deepak Gupta, Anirban Majumdar
面向意见摘要的高效少样本微调
Arthur Bražinskas, Ramesh Nallapati, Mohit Bansal, Markus Dreyer
FactGraph：使用语义图表示评估摘要的事实性
Leonardo F. R. Ribeiro, Mengwen Liu, Iryna Gurevych, Markus Dreyer, Mohit Bansal
上图展示了一个对话代理如何将从在线来源（白框）收集到的事实整合到其对话回复（蓝框）中。该图来自“通过文档语义图增强基于知识的对话中的知识选择”。
通过检索器-生成器迭代训练增强检索的多语言关键词生成
Yifan Gao, Qingyu Yin, Zheng Li, Rui Meng, Tong Zhao, Bing Yin, Irwin King, Michael R. Lyu
用户关心什么？从用户反馈中检测可操作的见解
Kasturi Bhattacharjee, Rashmi Gangadharaiah, Kathleen McKeown, Dan Roth