基于RNN的数字-实体关系抽取：从非结构化文本中提取结构化信息

1. 项目概述与核心价值

在信息爆炸的时代，我们每天都会接触到海量的非结构化文本，比如医学文献、金融报告、新闻资讯。这些文本中蕴含着大量有价值的结构化信息，例如“患者平均年龄67.6岁”、“手术成功率为38%”、“公司营收增长15%”。传统上，要提取这些信息，要么依赖人工逐字阅读，费时费力；要么需要为特定领域编写复杂的规则模板，一旦文本格式稍有变化，规则就可能失效。这正是Text2Struct项目要解决的核心痛点：如何让机器像人一样，从自由书写的文本中，自动、准确地找出数字及其相关的描述信息。

Text2Struct是一个端到端的机器学习流程，它的目标非常明确：给定一段文本，自动识别出其中的每一个数字（Numeral），并找出与这个数字最直接关联的度量（Metric，即“这是什么指标”）和单位（Unit，即“这个数字的单位是什么”）。举个例子，在句子“技术成功率在单独经皮血栓切除术后的患者中为0.38（[num]/[num]）”里，对于数字“0.38”，模型需要识别出它的单位是“患者”，度量是“经皮血栓切除术”。这个过程在自然语言处理中被称为“联合实体与关系抽取”。

这个项目的巧妙之处在于其问题定义和解决方案的简洁性。它没有试图去理解整个句子的复杂语义，而是聚焦于数字这个明确的“锚点”，将其与周围的上下文词语建立关联。这种思路大大降低了任务的复杂度，使得用一个相对简单的循环神经网络模型就能取得不错的效果。对于从事数据分析、信息抽取，特别是需要从文献、报告中批量提取数值型数据的研究人员和工程师来说，掌握这样一套从标注、数据处理到模型训练的全流程方法，无疑能极大提升工作效率。接下来，我将拆解这个流程的每一个环节，分享其中的设计思路、实操细节以及我踩过的一些坑。

2. 核心思路与方案设计解析

2.1 问题定义：为何聚焦“数字-实体”关系？

在构思任何NLP项目时，清晰且可操作的问题定义是成功的一半。Text2Struct选择从“数字”入手进行结构化抽取，是一个极具工程智慧的决策。

首先，数字在文本中是一个高信噪比的信号。相比其他实体（如人名、机构名），数字的形态相对固定（尽管有“50%”、“零点五”、“五成”等多种表达，但易于归一化），且通常与关键量化信息直接相关。在科研、金融、医疗等领域，数字往往是结论、统计结果和核心数据的载体。

其次，将“结构化数据抽取”具体化为“寻找数字的度量与单位”，把开放域问题转化为了一个序列标注问题。我们不需要生成复杂的表格结构，只需要为文本中的每个单词打上一个标签：这个单词是某个目标数字的单位（标签1）、度量（标签2），还是无关词（标签0）。这直接套用了经典的命名实体识别框架，技术路径非常成熟。

最后，这种定义具有良好的可扩展性。一旦模型学会了识别“数字-单位”和“数字-度量”这种基础关系，我们就可以通过递归或层级处理的方式，去挖掘更复杂的关系。例如，先识别出“0.38”的度量是“成功率”，下一步可以再问：“成功率”这个度量本身，又属于哪个更大的范畴（比如“手术效果评估”）？这就为构建层次化的知识图谱奠定了基础。

注意：在实际项目中，明确“度量”的边界是关键难点。例如在“28%的患者出现严重DWI病灶，其中58%伴有FLAIR高信号”这句话中，“28%”最直接的度量是“严重DWI病灶”，但它同时也从属于“患者”。项目采用了“就近原则”或“最直接关联”原则，只标注最内层的度量，这保证了标注的一致性和模型学习的明确性。更外层的关系可以作为后续处理步骤。

2.2 标注方案设计：平衡精度与人工成本

Text2Struct采用了BRAT工具进行标注，这是一个基于Web的、非常适合关系标注的工具。但比工具选择更重要的是标注规则（Guideline）的制定。

实体定义：

• 数字：任何表示数值的词或符号，包括整数、小数、百分比、分数。在预处理阶段，所有数字会被统一转换为浮点数格式（如“50%”转为“0.5”），这极大地减少了词汇表的大小和模型的学习负担。
• 单位：数字的计量单位或归属对象。如“岁”、“毫升”、“患者”、“样本”。对于百分比，其“单位”通常是被统计的总体，如“患者”。
• 度量：数字所衡量的属性、指标或目标。如“年龄”、“成功率”、“浓度”、“股价”。

关系定义：

• 使用单向箭头从数字指向单位和度量。一个数字可能只有一个单位和一个最直接的度量，但也可能缺失其中之一（如“随访3年”，“年”是单位，但没有特定度量）。

标注中的核心决策与考量：

1. 层级关系处理：这是标注中最容易产生歧义的地方。项目选择只标注“最直接”的度量，这是一个务实的折中方案。它牺牲了部分信息的完整性（不标注外层度量），但换来了标注规则简单明确、标注员间一致性高的巨大优势。在项目初期，保证标注质量远比追求标注信息的全面性更重要。
2. 复杂句式处理：对于比较句（“A组为10%，高于B组的5%”）、范围（“95% CI: 0.31-0.53”）和不等式（“p < 0.05”），规则需要明确如何标注。本项目将范围的下限和上限数字分别关联到同一个度量（“95% CI”），将不等式中的数字关联到度量（“p值”）。这些细节必须在标注指南中详细说明并附上例子。
3. 分词一致性：由于标注基于字符位置，而模型训练基于词（word），因此必须在标注前进行统一的分词（Word Segmentation）。使用不同的分词工具（如英文的NLTK、spaCy，中文的Jieba、LAC）会产生不同的词边界，这会导致标注位置与模型输入无法对齐。务必在数据预处理流水线中固定分词工具和版本。

2.3 模型选型：为什么是RNN？

在Transformer如BERT一统NLP江湖的今天，Text2Struct选择使用双向GRU-RNN作为核心模型，看似有些“复古”，但其实背后有充分的理由。

1. 任务特性：数字的“单位”和“度量”通常是其附近的一个词或一个短短语，依赖的是局部上下文信息，而非整个句子的深层语义理解。RNN在处理这类局部依赖和序列建模任务上依然非常有效。
2. 数据规模：该项目使用的训练数据仅约1600个实例。对于拥有数亿参数的BERT等大模型来说，这样小的数据量极易导致过拟合。而RNN的参数规模要小得多（本项目模型仅百万级参数），在小数据集上更容易训练到泛化能力较好的状态。
3. 计算资源：RNN的训练和推理速度远快于同等深度的Transformer模型，对硬件要求低，便于快速迭代和部署。
4. 可解释性：RNN按序列顺序处理信息，其注意力（虽然不如Transformer的self-attention直观）更多集中在局部，有时更容易分析模型做出决策的依据。

当然，这并不意味着RNN是最优解。在文章的“未来工作”部分也提到了探索BERT等模型。但在项目启动和验证阶段，从一个简单、快速、高效的基线模型开始，是完全正确的工程实践。先让流程跑通，再用更复杂的模型去刷分。

3. 数据处理与特征工程实战

3.1 文本预处理与实例构建

原始文本不能直接喂给模型，必须转化为数值化的序列。Text2Struct的数据处理管道设计得很精细。

第一步：句子分割与数字归一化从原始文本（如论文摘要）中分割出句子，过滤掉不含数字的句子。将所有数字（包括百分号、分数等）统一转换为浮点数字符串。例如，“The risk increased by 50%” 转换为 “The risk increased by 0.5”。这一步是为了减少词汇表多样性，让模型聚焦于数字的“上下文”而非其“具体值”。

第二步：针对每个数字构建训练实例这是核心创新点。一个句子有多个数字时，不能简单地把整个句子丢给模型让它同时预测所有关系。Text2Struct采用了一种“焦点数字”策略：

• 复制原句子，但将当前目标数字之外的所有其他数字，替换为特殊标记[num]。这相当于告诉模型：“请忽略其他的[num]，只关注当前这个数字的关系。”
• 将目标数字本身进行“字符级拆分”。例如，数字“0.38”被拆分为序列[‘0‘, ‘[dot]‘, ‘3‘, ‘8‘]。这里用[dot]代替小数点，用[neg]代替负号，是为了避免与文本中的其他含义混淆。
• 为什么用字符级表示？
  • 词汇表控制：无论文本中有多少种数字，字符表只有0-9、[dot]、[neg]等十多个token，极大压缩了词汇表大小。
  • 保留数值信息：字符序列“0”、“.”、“3”、“8”隐含了数值的大小和精度信息，模型可以通过序列顺序感知到这一点。如果用一个统一的[NUM]标签替换所有数字，这部分信息就完全丢失了。
  • 泛化能力：模型学会了“0”、“.”、“3”、“8”的组合模式后，可以很好地泛化到它从未在训练集中见过的数字，如“12.34”。

第三步：标签序列生成对处理后的文本序列进行分词。然后，根据标注文件，为每个词生成标签：

• 0: 无关词
• 1: 该词是目标数字的“单位”
• 2: 该词是目标数字的“度量” 目标数字本身（已被拆分为字符）对应的标签通常也设为0，因为我们的目标是找它的关联词，而不是标记它自己。

第四步：序列截断与填充医疗文本句子可能很长。但一个数字的“单位”和“度量”通常就在其附近。因此，可以截取一个“有效窗口”：例如，取目标数字前后各N个词（论文中用了前后5个词）。这能缩短序列长度，减少噪声，加快训练。最后，将所有序列填充（Padding）到统一长度（如50），以便批量处理。

实操心得：窗口大小N是一个需要根据数据分布调整的超参数。太小可能截掉关键信息，太大则引入噪声。可以统计训练集中“单位/度量”词与目标数字的最大距离，以此作为参考。在初期，可以设置得稍大一些（如10-15），确保不丢失信息，后续再优化。

3.2 词汇表构建与嵌入

1. 构建词汇表：将所有训练文本分词后，统计词频，保留最高频的V个词（如20000个），构建一个从词到索引的映射。低频词和未登录词用[UNK]表示。特殊标记[num]、[dot]、[neg]也需要加入词汇表。
2. 文本索引化：将每个训练实例中的词，根据词汇表转换为对应的整数索引，形成一个数字序列。
3. 嵌入层：模型的第一层是一个嵌入层（Embedding Layer），它将每个词索引映射为一个固定维度的稠密向量（如128维）。这个层是可训练的，模型会在训练过程中学习到每个词的向量表示，其中包含语义信息。

4. 模型架构与训练细节剖析

4.1 网络结构详解

Text2Struct采用的是一种经典的“编码器”结构，具体层如下：

输入序列 (长度50，每个位置是词索引) ↓ 嵌入层 (Embedding Layer, 输出维度128) ↓ 双向GRU层1 (Bidirectional GRU, 隐藏单元数256，返回所有时间步的输出) ↓ 双向GRU层2 (Bidirectional GRU, 隐藏单元数256，返回所有时间步的输出) ↓ Dropout层 (丢弃率0.5，用于防止过拟合) ↓ 时间分布全连接层 (TimeDistributed Dense, 激活函数为Softmax，输出维度3) ↓ 输出序列 (长度50，每个位置是一个3维概率向量，分别对应标签0,1,2)

• 双向GRU：GRU是RNN的一种，比LSTM结构更简单，计算更快。双向意味着每个时间步的输出，同时包含了该词左边和右边的上下文信息，这对于判断一个词是否是数字的关联词至关重要。
• TimeDistributed Dense：这是一个关键设计。普通的全连接层处理的是整个序列的全局特征。而TimeDistributed包装器意味着，这个全连接层会独立地应用到每一个时间步的GRU输出上。这样，模型就能为序列中的每一个词独立地预测一个标签（0,1,2），实现了序列标注。
• Softmax激活：将每个时间步的3个输出值转换为概率分布，和为1。我们取概率最大的那个类别作为该位置的预测标签。

4.2 损失函数与评估指标的选择

损失函数：稀疏分类交叉熵这是一个多分类任务的标准损失函数。因为我们的标签是整数（0,1,2），所以使用“稀疏”版本，无需对标签进行one-hot编码，框架会自动处理。

评估指标：Dice系数这是本项目在评估指标上的一个亮点。为什么不用常见的准确率（Accuracy）？ 想象一下，一个句子中大部分词都是无关词（标签0），“单位”和“度量”的标签（1和2）非常稀疏。即使模型把所有词都预测为0，也能获得很高的准确率，但这完全失去了意义。这被称为“类别不平衡”问题。

Dice系数（又称F1分数在图像分割中的扩展）直接衡量的是预测结果和真实标签在正类上的重叠程度。其计算公式如下：

Dice = (2 * |预测 ∩ 真实|) / (|预测| + |真实|)

对于多分类，对每个类别单独计算Dice后求平均。它更关注模型是否正确地找到了那些稀有的“单位”和“度量”实体，而不是它是否正确地忽略了大部分无关词。论文中测试集准确率高达0.98，但Dice系数为0.82，这清晰地表明Dice是更严格的、更能反映模型真实能力的指标。

注意事项：在实现Dice系数时，需要将模型输出的概率向量（Softmax后）转换为离散的标签。通常设定一个阈值（如0.5），或直接取argmax。同时，公式中常加入一个平滑项ε（如1e-5），防止分母为零。

4.3 训练策略与参数设置

• 优化器：Adam，学习率设为0.003。这是一个比较常用的初始学习率，不大不小。如果训练初期损失下降很慢，可以适当调大；如果损失震荡剧烈，可以调小。
• 批量大小：32。在GPU内存允许的情况下，较大的批量通常能使训练更稳定，但可能降低泛化能力。32是一个折中的选择。
• 训练轮数：20轮。论文中提到在第8轮时训练损失开始低于验证损失，这是一个潜在的过拟合信号。在实际操作中，一定要使用早停法。可以监控验证集上的Dice系数，当其在连续几个epoch内不再提升时，就停止训练，并回滚到验证集性能最好的那个模型权重。
• Dropout：在最后一个GRU层后设置了Dropout，丢弃率为0.5。这是防止RNN过拟合非常有效的手段。

5. 实战部署与常见问题排查

5.1 从训练到推理的全流程

假设我们已经有了训练好的模型（一个.h5或.pth文件），现在要对新的文本进行预测，流程如下：

1. 文本预处理：对新句子进行与训练时完全相同的预处理：分词、数字归一化。
2. 实例生成：遍历句子中的每一个数字，为每个数字生成一个实例：将其它数字掩码为[num]，将该数字拆分为字符。
3. 序列化与填充：将实例中的词转换为词汇表索引，并填充/截断到固定长度（如50）。
4. 模型预测：将处理好的序列输入模型，得到每个位置属于3个类别的概率。
5. 后处理：
   • 对每个位置取概率最大的类别作为预测标签。
   • 将连续的、预测为同一类别（1或2）的词语组合起来，形成一个完整的“单位”或“度量”短语。
   • 将字符序列[‘0‘, ‘[dot]‘, ‘3‘, ‘8‘]还原为原始数字 “0.38”。
   • 输出结构化的结果，例如：{“numeral”: “0.38”, “unit”: “patients”, “metric”: “percutaneous thrombectomy alone”}。

5.2 常见问题与解决技巧

在实际复现和应用Text2Struct流程时，你可能会遇到以下问题：

问题1：模型预测的实体不完整或包含多余词。

• 现象：如论文图5所示，预测的度量是“mean age was”，而真实标签是“mean age”，多了一个“was”。
• 原因：RNN的序列标注是基于每个词独立的分类决策，缺乏对实体整体边界的显式建模。was这个词在上下文中可能与mean age有很强的共现关系，导致模型将其也划入度量。
• 解决方案：
  • 规则后处理：制定规则，如去除实体末尾的助动词（is, was, are）、介词（of, in, for）等。
  • 改进标签方案：采用BIO（Begin, Inside, Outside）或BIOES（Begin, Inside, Outside, End, Single）标注体系。例如，B-METRIC（度量开始）、I-METRIC（度量内部）、E-METRIC（度量结束）。这样模型需要学习实体的边界信息，预测会更精确。这是序列标注任务的黄金标准。

问题2：对于长距离依赖关系，模型表现不佳。

• 现象：数字的度量词如果离得很远（超过截断窗口），模型就无法捕捉到。
• 原因：RNN本身不擅长处理长距离依赖，即使使用双向GRU，随着距离增加，信息也会衰减。截断窗口进一步加剧了这个问题。
• 解决方案：
  • 调整窗口大小：分析数据，适当增大截断窗口。
  • 使用注意力机制：在RNN之上增加注意力层，让模型在解码每个位置时，能够“注意”到输入序列中任何位置的信息，从而捕获长距离依赖。
  • 升级模型架构：直接使用Transformer或BERT作为编码器。它们的Self-Attention机制天生就是为了解决长距离依赖问题而设计的。

问题3：在特定领域外泛化能力差。

• 现象：在医疗文本上训练的模型，用在金融新闻上效果暴跌。
• 原因：词汇、句法、数字与实体的关联模式在不同领域差异很大。
• 解决方案：
  • 领域自适应：在目标领域的少量标注数据上对模型进行微调。
  • 使用领域预训练语言模型：如果使用BERT，可以寻找在生物医学或金融文本上预训练过的BERT变体（如BioBERT、FinBERT）作为基础，再进行微调，效果通常会比通用BERT好很多。
  • 扩充训练数据：收集并标注更多样化的文本数据，这是最根本但成本最高的方法。

问题4：数字字符拆分导致的信息丢失。

• 现象：模型能识别出“单位”和“度量”，但无法感知数字“0.38”和“380”在数值上的巨大差异，而有时这种差异在逻辑判断中很重要。
• 解决方案：除了字符序列，可以额外为每个数字计算一些数值特征（如是否大于1、是否在0-1之间、数量级等），作为特征向量与词嵌入向量拼接后一起输入模型。这为模型提供了直接的数值先验知识。

5.3 性能优化与扩展思路

1. 集成外部知识：对于特定领域（如医疗），可以构建一个“度量-单位”词典。在模型预测后，用词典匹配进行校验和修正，能有效提升精度。
2. 处理复合单位与度量：有时单位是复合的，如“mg/dL”；度量可能是一个短语，如“收缩压”。确保分词工具不会错误地切开它们。有时需要在分词前进行一些简单的模式匹配来保护这些固定搭配。
3. 流水线化与自动化：将整个流程（文本获取->预处理->模型预测->后处理->结构化输出）封装成一个API服务或命令行工具，方便集成到更大的数据分析平台中。
4. 主动学习：模型对预测置信度低的样本进行标记，交由人工审核和标注，再将新标注的数据加入训练集重新训练。这样可以高效地利用人工标注资源，持续提升模型在难点案例上的性能。

Text2Struct项目为我们展示了一条清晰可行的路径：将一个复杂的NLP问题通过精妙的问题定义转化为可解的序列标注任务，并用相对轻量的模型实现了不错的效果。它的价值不仅在于其技术方案，更在于其端到端的流程设计和务实的工程取舍。在实际应用中，你可以以此为基础，根据自身的数据特点和业务需求，对标注规则、模型架构、训练策略进行定制和优化，从而构建出真正适用于自己场景的结构化信息抽取工具。