词干提取（Stemming）和词形还原（Lemmatization）的区别是什么？
词干提取 vs 词形还原
两者都是将词的不同形态归一化为统一形式，但原理和效果差异显著。
核心区别
| 维度 | 词干提取 | 词形还原 |
|---|---|---|
| 原理 | 规则截取词缀 | 词典查找 + 词性分析 |
| 依据 | 固定规则（如去掉 -ing, -ed, -s） | 语言学知识（词性、词典） |
| 结果 | 可能不是真实单词 | 一定是词典中的合法词 |
| 准确性 | 较低，可能过度截断 | 较高，还原为词元 |
| 速度 | 快 | 较慢（需词性标注辅助） |
| 是否需要词性 | 不需要 | 需要 |
| 典型工具 | Porter、Snowball、Lancaster | WordNet Lemmatizer、spaCy |
具体示例对比
原文 词干提取 词形还原 ─────────────────────────────────────── running run run better bet good ← 词形还原能处理不规则变化 meeting meet meeting ← 词干提取可能误截 studies studi study ← 词干提取结果不是合法词 am am be ← 词形还原还原到词根 wolves wolv wolf ← 词干提取丢失不规则复数 feet feet foot ← 词干提取无法处理 ate ate eat ← 词干提取无法处理过去式词干提取的问题
词干提取本质是机械截断，不关心结果是否是合法单词：
- 过度截断：
studies→studi（不是英语单词） - 无法处理不规则变化：
better→bet（语义完全错误） - 同义词未归一：
good和better截断后不同，但实际是同一词的不同形态
词形还原的优势
词形还原基于词典和词性，能正确处理：
- 不规则变化：
better→good，feet→foot，ate→eat - 词性敏感：同一拼写不同词性，还原结果不同：
meeting (名词) → meeting （会议） meeting (动词) → meet （会面）如何选择
| 场景 | 推荐 | 原因 |
|---|---|---|
| 搜索引擎索引 | 词干提取 | 速度优先，容忍噪声 |
| 文本分类/聚类 | 词干提取 | 够用即可，效率高 |
| 语义分析/QA | 词形还原 | 准确性优先 |
| 机器翻译 | 词形还原 | 需要精确的词元信息 |
| 资源受限环境 | 词干提取 | 无需词典，轻量 |
代码示例
词干提取（NLTK Porter Stemmer）：
fromnltk.stemimportPorterStemmer stemmer=PorterStemmer()print(stemmer.stem("studies"))# studiprint(stemmer.stem("better"))# bet词形还原（NLTK WordNet Lemmatizer）：
fromnltk.stemimportWordNetLemmatizer lemmatizer=WordNetLemmatizer()print(lemmatizer.lemmatize("studies"))# studyprint(lemmatizer.lemmatize("better",pos='a'))# good（需指定词性a=形容词）print(lemmatizer.lemmatize("running",pos='v'))# run（需指定词性v=动词）注意：词形还原必须指定词性才能正确还原。不指定词性时默认按名词处理，
lemmatize("running")会原样返回running。
一句话总结
词干提取是暴力截断，快但不精确；词形还原是基于语言学知识的精确还原，准但需要词性标注辅助。选择取决于任务对准确性 vs 效率的权衡。