nltknltk：自然语言处理的经典工具包

nltk/nltk：自然语言处理的经典工具包

nltk 在 GitHub 上已经拿到 14,635 Star 了。

Python 生态里历史最悠久的 NLP 库之一，2001 年发布至今仍在维护。支持 Python 3.10 到 3.14，提供分词、词性标注、命名实体识别、句法分析等全套基础 NLP 功能。附带 50 多个语料库和词典资源，WordNet、Brown Corpus、Penn Treebank 这些经典数据集开箱即用。

1、这工具是干嘛的

给 NLP 研究者和学习者一个开箱即用的工具箱。

Tokenization、Stemming、Lemmatization、POS Tagging、Chunking、Parsing、Semantic Reasoning……从文本预处理到语义推理，一整套 NLP 流水线都有对应的模块。每个模块 API 风格统一，学会一个就能触类旁通。语料下载接口也内置好了，nltk.download()一行命令就能把数据拉到本地，省去到处找公开数据集的麻烦。

2、为什么要用它

学 NLP 的人大概率碰过这本教材——《Natural Language Processing with Python》，O’Reilly 出版，2009 年。整本书基于 NLTK 讲解，从分词到分类器，代码示例直接可跑。书和工具深度绑定，NLTK 也是 NLP 领域引用量最高的开源项目之一。

做 NLP 教学或原型验证的时候，spaCy 太重，HuggingFace Transformers 太抽象，NLTK 刚好卡在中间。每个方法返回什么数据结构一目了然，返回的是 Python 原生 list 和 tuple，不需要理解 Doc 或 Span 这些自定义对象，调试时不用猜。

3、怎么装怎么用

pipinstallnltk

下载语料和模型：

importnltk nltk.download('punkt')nltk.download('wordnet')nltk.download('averaged_perceptron_tagger_eng')

基本用法：

fromnltk.tokenizeimportword_tokenizefromnltkimportpos_tag text="NLTK is a leading platform for building Python programs."tokens=word_tokenize(text)tags=pos_tag(tokens)# [('NLTK', 'NNP'), ('is', 'VBZ'), ('a', 'DT'), ...]

4、适合哪些场景

NLTK 在 NLP 领域的位置跟 Pandas 在数据分析领域差不多，教学和研究项目的默认选择。从大学 NLP 课程的课堂作业到顶会论文的 baseline 实现，出镜率很高。

• NLP 课程教学：配套教材成熟，Stack Overflow 和 GitHub Issues 上的问答覆盖率极高，学生遇到问题几秒钟就能搜到答案
• 原型验证：不需要 GPU，不需要预训练模型，几行代码就能跑通一个文本分类或情感分析的 baseline
• 语料探索：内置 50 多个语料和词典资源，做计算语言学研究或者想快速验证一个假设，数据已经就绪
• 数据预处理：生产环境里现在更多人用 spaCy 做推理，但 NLTK 的字符串处理接口写预处理脚本很方便。把原始文本清洗成结构化格式再喂给下游模型，这一层 NLTK 很顺手

项目使用 Apache 2.0 协议，文档使用 CC BY-NC-ND 3.0 协议。从 2001 年维护到现在，贡献者列表一直在增长，社区活跃度有保障。

一直在增长，社区活跃度有保障。

[外链图片转存中…(img-MyRmCxvD-1780809570380)]