在这次演讲中，将介绍一种快速、灵活甚至颇为有趣的命名实体标注方法。使用该方法，仅需几小时就能训练出一个适用于新实体类型的模型，且只需从非标注文本流和少量种子词开始。
给定种子词后，首先进行交互式词汇学习阶段，使用可以通过诸如word2vec等算法从原始文本训练得到的语义相似度模型。通过预处理文本，可以使相似度模型学习更长短语的向量，并创建引用诸如词性标签等属性的抽象模式。
然后，模式文件用于向标注者呈现一系列候选短语，从而使标注可以以二选一的方式进行。标注者的视线固定在屏幕中心附近，可以通过点击、滑动或单次按键做出决策，任务被缓冲以避免延迟。使用此界面，每分钟10-30个决策的标注速率很常见。如果决策特别简单（例如，确认某个短语的所有实例都是有效实体），速度可能快几倍。
当标注者接受或拒绝建议的短语时，其响应被用于开始训练统计模型。统计模型的预测结果随后会混入标注队列。尽管信号稀疏（每个句子一个短语的二进制答案），模型开始学习的速度却出奇地快。这里使用了一个全局神经网络模型，并利用束搜索来支持一种噪声对比估计训练。模式匹配器和实体识别模型在我们的开源库spaCy中提供，而界面、任务队列和工作流管理则在我们的标注工具Prodigy中实现。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
公众号二维码
公众号二维码
