当前位置：首页 > news >正文

医疗知识图谱实战：用SpaCy+BERT搞定病历中的实体识别与关系抽取

news 2026/5/24 17:37:45

医疗知识图谱实战：用SpaCy+BERT搞定病历中的实体识别与关系抽取

电子病历中蕴藏着海量非结构化文本数据——从患者主诉、检查结果到用药记录，这些信息如同散落的拼图碎片。如何让机器理解"二甲双胍可能引起胃肠道反应"这类临床表述？本文将带您用Python构建医疗NLP流水线，实现从原始文本到结构化知识图谱的完整转化。

1. 医疗文本处理的特殊挑战

医疗领域的自然语言处理堪称NLP领域的"疑难病例"。一份普通门诊病历中可能同时包含专业术语（如"糖化血红蛋白"）、口语化描述（如"心慌、气短"）以及缩写符号（如"qd"表示每日一次）。更复杂的是，同种药物可能有商品名、化学名、缩写等不同表述方式。

典型病历片段示例：

患者男性，58岁，主诉多饮多尿3个月。查空腹血糖9.8mmol/L，初步诊断2型糖尿病。予二甲双胍片0.5g bid po，一周后复诊诉恶心、腹泻。

这段不足百字的文本包含至少6类需要识别的实体：

症状实体：多饮、多尿、恶心、腹泻
检查指标：空腹血糖9.8mmol/L
疾病实体：2型糖尿病
药物实体：二甲双胍片
剂量单位：0.5g
用药频率：bid（每日两次）

传统CRF模型在此类任务中的表现往往不尽如人意。我们实测发现，在相同标注数据下：

CRF模型对药物实体的识别F1值约76.2%
BERT-base模型可达89.7%
经过医疗文本微调的BioBERT则能达到92.4%

2. 构建医疗实体识别系统

2.1 数据准备与标注规范

医疗NER需要专门的标注体系。推荐采用BIOES标注方案：

B-XXX：实体起始词
I-XXX：实体中间词
E-XXX：实体结束词
S-XXX：单字实体
O：非实体

标注示例：

予/O 二甲双胍片/B-DRUG 0.5g/B-DOSAGE bid/B-FREQUENCY po/O ，/O 一周/O 后/O 复诊/O 诉/O 恶心/S-SYMPTOM 、/O 腹泻/S-SYMPTOM

2.2 SpaCy+BERT联合模型架构

我们采用SpaCy的灵活管道系统集成BERT模型：

import spacy from spacy_transformers import TransformerModel nlp = spacy.blank("zh") config = { "model": { "@architectures": "spacy-transformers.TransformerModel.v3", "name": "bert-base-chinese", "tokenizer_config": {"use_fast": True}, "transformer_config": {"output_attentions": True}, "mixed_precision": True, } } transformer = nlp.add_pipe("transformer", config=config) ner = nlp.add_pipe("ner") ner.add_label("DRUG") ner.add_label("SYMPTOM") ner.add_label("DISEASE") # 加载预训练权重 nlp.initialize()

2.3 领域自适应训练技巧

医疗文本需要特殊的预处理和训练策略：

术语增强：将药品说明书、临床指南中的术语列表加入分词器

from spacy.vocab import Vocab vocab = Vocab().from_disk("/path/to/medical_terms") nlp.tokenizer = nlp.tokenizer.tokens_from_list(vocab)

渐进式学习：先在大规模未标注病历上做MLM预训练，再进行有监督微调
对抗训练：添加梯度反转层提升模型泛化能力

3. 关系抽取的进阶实践

识别出实体只是第一步，理解"二甲双胍→治疗→糖尿病"和"二甲双胍→引起→腹泻"这类关系才是构建知识图谱的关键。

3.1 医疗关系类型体系

根据临床实践，我们定义核心关系类型：

关系类型	示例	出现频率
TREATS	药物→治疗→疾病	38.7%
CAUSES	药物→引起→症状	12.3%
DIAGNOSES	检查→诊断→疾病	9.1%
CONTRAINDICATES	疾病→禁忌→药物	5.4%

3.2 基于依存句法的规则抽取

对于显式关系，可使用SpaCy的依存分析：

def extract_treats(doc): for token in doc: if token.dep_ == "dobj" and token.head.lemma_ == "治疗": drug = [e for e in doc.ents if e.label_=="DRUG" and e.end==token.head.i] disease = [e for e in doc.ents if e.label_=="DISEASE" and e.start==token.i] if drug and disease: yield (drug[0], "TREATS", disease[0])

3.3 基于BERT的端到端关系分类

对于隐式关系，需要训练分类模型：

from transformers import BertForSequenceClassification model = BertForSequenceClassification.from_pretrained( "bert-base-chinese", num_labels=len(RELATION_TYPES), id2label={0:"TREATS", 1:"CAUSES", ...} ) # 输入构造示例 "[CLS]二甲双胍[SEP]糖尿病[SEP]用于控制血糖[SEP]"

4. 知识图谱构建与应用

4.1 Neo4j图数据库建模

将抽取结果存入图数据库：

CREATE (d:Drug {name:'二甲双胍', form:'片剂', dose:'0.5g'}) CREATE (di:Disease {name:'2型糖尿病', code:'E11.9'}) CREATE (s:Symptom {name:'腹泻', severity:'轻度'}) CREATE (d)-[:TREATS]->(di) CREATE (d)-[:CAUSES]->(s)