事件问答的语料库级评估：涵盖2002年古吉拉特邦暴力事件的印度警察事件语料库
在社会科学应用中，自动化事件提取通常需要语料库级别的评估：例如，跨元数据聚合文本预测以及无偏的召回率估计。本研究将语料库级评估要求与现实世界的社会科学场景相结合，引入了印度警察事件语料库——该语料库包含来自《印度时报》关于2002年3月古吉拉特邦事件的1,257篇英文文章的全部21,391个句子。经过培训的标注员阅读并标注了每个文档中提及的警察活动事件，从而可以进行无偏的召回率评估。
与其他具有结构化事件表示的数据集相比，我们通过提出自然问题来收集标注，并评估现成模型在三个不同任务上的表现：句子分类、文档排序以及目标事件的时间聚合。我们展示了基于零样本BERT模型（在自然语言推理和段落检索任务上进行了微调）的基线结果。我们新颖的语料库级评估和标注方法可以为未来创建类似的社会科学导向资源提供指导。
注：本文将在ACL 2021的Findings中发表。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
公众号二维码
公众号二维码
