NLP文本表示方法对比：词袋、TF-IDF与LLM嵌入

1. 文本表示方法概述：从词袋到语言模型嵌入

在自然语言处理（NLP）任务中，将文本转换为机器可理解的数值形式是构建有效模型的第一步。scikit-learn作为Python中最流行的机器学习库之一，支持多种文本表示方法。本文将深入对比三种主流方法：词袋模型（Bag-of-Words）、TF-IDF和基于大型语言模型（LLM）的嵌入表示。

词袋模型是最基础的文本表示方法，它将文本视为单词的无序集合，通过统计每个单词在文档中出现的次数来构建特征向量。这种方法简单直观，但完全忽略了单词顺序和语义信息。例如，"狗追猫"和"猫追狗"在词袋表示中是完全相同的。

TF-IDF（词频-逆文档频率）在词袋基础上进行了改进，通过考虑单词在整个语料库中的分布情况来调整权重。TF-IDF的核心思想是：一个单词如果在特定文档中频繁出现，但在整个语料库中很少出现，那么这个单词对该文档具有很好的区分能力。计算公式为：

TF-IDF(t,d) = TF(t,d) × IDF(t) IDF(t) = log(N/(df(t)+1))

其中N是文档总数，df(t)是包含单词t的文档数量。

LLM嵌入（如Sentence Transformers生成的嵌入）代表了最先进的文本表示方法。这些嵌入通过深度神经网络捕获单词和句子的上下文语义信息。例如，使用'all-MiniLM-L6-v2'模型可以为每个文本生成384维的密集向量，这些向量能够捕捉到"银行"在"河岸"和"金融机构"两种上下文中的不同含义。

提示：选择文本表示方法时，应考虑数据集大小、任务复杂度和计算资源。对于小型、结构化的数据集（如新闻分类），简单方法可能就足够；而对于复杂语义理解任务，LLM嵌入通常表现更好。

2. 实验设置与数据准备

2.1 BBC新闻数据集分析

我们使用BBC新闻数据集进行实验对比，该数据集包含2225篇新闻文章，分为5个类别：商业、娱乐、政治、体育和科技。各类别分布均匀，是一个典型的文本分类基准数据集。

数据集加载和预处理代码如下：

import pandas as pd from sklearn.preprocessing import LabelEncoder from sklearn.model_selection import train_test_split # 加载数据集 url = "https://storage.googleapis.com/dataset-uploader/bbc/bbc-text.csv" df = pd.read_csv(url) # 查看数据概况 print(f"文档总数: {len(df)}") print(f"类别分布:\n{df['category'].value_counts()}") # 准备文本和标签 texts = df['text'].tolist() le = LabelEncoder() labels = le.fit_transform(df['category']) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split( texts, labels, test_size=0.2, random_state=42, stratify=labels )

2.2 三种文本表示生成

我们使用scikit-learn和Sentence Transformers库生成三种文本表示：

1. 词袋表示：

from sklearn.feature_extraction.text import CountVectorizer bow_vectorizer = CountVectorizer(max_features=5000, min_df=2, stop_words='english') X_bow_train = bow_vectorizer.fit_transform(X_train) X_bow_test = bow_vectorizer.transform(X_test)

2. TF-IDF表示：

from sklearn.feature_extraction.text import TfidfVectorizer tfidf_vectorizer = TfidfVectorizer(max_features=5000, min_df=2, stop_words='english') X_tfidf_train = tfidf_vectorizer.fit_transform(X_train) X_tfidf_test = tfidf_vectorizer.transform(X_test)

3. LLM嵌入表示：

from sentence_transformers import SentenceTransformer embedding_model = SentenceTransformer('all-MiniLM-L6-v2') X_emb_train = embedding_model.encode(X_train, show_progress_bar=True, batch_size=32) X_emb_test = embedding_model.encode(X_test, show_progress_bar=False, batch_size=32)

注意事项：生成LLM嵌入时，batch_size的设置对内存使用和速度有显著影响。较大的batch_size可以提高处理速度，但会消耗更多内存。对于GPU环境，通常32-64是不错的起点。

3. 文本分类性能对比

3.1 分类器选择与评估

我们选择三种经典分类器进行对比：

• 逻辑回归：简单高效的线性模型
• 随机森林：基于决策树的集成方法
• 支持向量机(SVM)：强大的分类器，特别适合高维数据

评估指标使用准确率(Accuracy)和F1分数（加权平均），同时记录训练时间。

from sklearn.linear_model import LogisticRegression from sklearn.ensemble import RandomForestClassifier from sklearn.svm import SVC from sklearn.metrics import accuracy_score, f1_score import time classifiers = { 'Logistic Regression': LogisticRegression(max_iter=1000, random_state=42), 'Random Forest': RandomForestClassifier(n_estimators=100, random_state=42), 'SVM': SVC(kernel='linear', random_state=42) } results = [] for rep_name, (X_tr, X_te) in representations.items(): for clf_name, clf in classifiers.items(): start = time.time() clf.fit(X_tr, y_train) train_time = time.time() - start y_pred = clf.predict(X_te) acc = accuracy_score(y_test, y_pred) f1 = f1_score(y_test, y_pred, average='weighted') results.append({ 'Representation': rep_name, 'Classifier': clf_name, 'Accuracy': acc, 'F1-Score': f1, 'Train Time': train_time })

3.2 结果分析与讨论

实验结果如下表所示：

关键发现：

1. TF-IDF + SVM组合取得了最佳分类性能（准确率0.987）
2. LLM嵌入 + SVM训练速度最快（0.15秒）
3. 随机森林在所有表示方法上表现相对较差，可能与新闻文本的高维特性有关
4. LLM嵌入并未展现出预期的性能优势，这与BBC新闻数据集的特点有关

实操心得：对于结构清晰、类别区分明显的文本分类任务（如新闻分类），TF-IDF等传统方法往往就能取得很好效果。LLM嵌入的优势在更复杂的语义理解任务中才会充分显现。

4. 文档聚类性能对比

4.1 聚类实验设置

我们使用K-means算法（K=5，与真实类别数一致）对比三种表示方法在无监督聚类任务上的表现。评估指标包括：

• 轮廓系数(Silhouette Score)：衡量聚类紧密度和分离度，范围[-1,1]，越大越好
• 调整兰德指数(Adjusted Rand Index)：衡量聚类与真实标签的一致性，范围[-1,1]，越大越好

from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score, adjusted_rand_score representations_full = { 'BoW': bow_vectorizer.fit_transform(texts), 'TF-IDF': tfidf_vectorizer.fit_transform(texts), 'LLM Embeddings': embedding_model.encode(texts, show_progress_bar=True) } clustering_results = [] for rep_name, X in representations_full.items(): start = time.time() kmeans = KMeans(n_clusters=5, random_state=42, n_init=10) clusters = kmeans.fit_predict(X) cluster_time = time.time() - start silhouette = silhouette_score(X, clusters) ari = adjusted_rand_score(labels, clusters) clustering_results.append({ 'Representation': rep_name, 'Silhouette': silhouette, 'ARI': ari, 'Time': cluster_time })

4.2 聚类结果分析

聚类性能对比：

有趣的现象：

1. LLM嵌入在调整兰德指数上表现最佳（0.899），表明其聚类结果与真实类别高度一致
2. TF-IDF的轮廓系数最低但调整兰德指数较高，说明其聚类结构虽然不够紧密但与真实类别对齐较好
3. 词袋模型在两项指标上表现都较差，说明简单的词频统计难以捕捉文档的深层语义

注意事项：轮廓系数和调整兰德指数评估的是聚类的不同方面。选择指标时应根据实际需求：如果关注聚类内部结构，优先考虑轮廓系数；如果需要与已知类别对比，则调整兰德指数更合适。

5. 方法选择建议与实用技巧

5.1 如何选择文本表示方法

根据实验结果和实际经验，我们总结出以下选择指南：

1. 词袋模型适用场景：

   • 需要极简实现的基线模型
   • 对模型可解释性要求高的场景
   • 处理非常短的文本（如推文、搜索查询）

2. TF-IDF推荐场景：

   • 类别区分明显的文本分类（如新闻分类、垃圾邮件检测）
   • 计算资源有限的中小型数据集
   • 需要平衡性能和效率的通用场景

3. LLM嵌入适用情况：

   • 语义复杂的无监督任务（如文档聚类）
   • 多语言或含噪声的文本数据
   • 需要捕捉同义词和语义关系的场景

5.2 性能优化技巧

1. 特征维度控制：

   • 对于词袋和TF-IDF，通过max_features参数限制特征数量（通常5000-20000）
   • 使用min_df/max_df过滤罕见/常见词

2. 预处理增强：

   # 增强的文本预处理流水线示例 from sklearn.pipeline import Pipeline from sklearn.feature_extraction.text import TfidfVectorizer from nltk.stem import PorterStemmer from nltk.tokenize import word_tokenize import re import nltk nltk.download('punkt') class TextPreprocessor: def __init__(self): self.stemmer = PorterStemmer() def __call__(self, doc): # 移除非字母字符 doc = re.sub(r"[^a-zA-Z\s]", "", doc) # 分词并词干化 tokens = word_tokenize(doc.lower()) return " ".join([self.stemmer.stem(t) for t in tokens]) pipeline = Pipeline([ ('preprocess', TextPreprocessor()), ('tfidf', TfidfVectorizer(max_features=10000, min_df=3)) ])

3. LLM嵌入使用建议：

   • 尝试不同的预训练模型（如'all-mpnet-base-v2'更大但性能更好）
   • 对于长文档，考虑分段编码后聚合
   • 使用GPU加速可以显著提高编码速度

5.3 常见问题排查

1. 内存不足错误：

   • 症状：处理大型数据集时出现MemoryError
   • 解决方案：
     • 对词袋/TF-IDF使用稀疏矩阵（scipy.sparse）
     • 减小batch_size（LLM嵌入）
     • 使用HashingVectorizer替代CountVectorizer

2. 模型性能低于预期：

   • 检查点：文本清洗是否充分？停用词处理是否合适？特征维度是否合理？
   • 尝试不同的文本规范化方法（词干化vs词形还原）

3. LLM嵌入效果不佳：

   • 可能原因：领域不匹配（通用模型不适合专业领域）
   • 解决方案：考虑领域自适应或微调预训练模型

在实际项目中，我通常采用这样的工作流程：先用TF-IDF建立基线模型，评估其性能；如果效果不理想，再尝试LLM嵌入等更复杂的方法。这种渐进式的方法可以在投入大量资源前快速验证思路的有效性。