小数据集文档分类实战：7种方法解决数据稀缺难题

1. 项目概述：小数据集文档分类的实战困境与破局思路

在数据驱动的时代，文档分类是信息处理、知识管理乃至自动化流程中的一项基础且关键的任务。无论是电商平台对用户评论进行情感归类，还是企业内部对海量报告进行归档，都离不开高效的分类模型。然而，一个普遍存在的现实是：我们并非总能拥有像ImageNet或维基百科那样动辄百万级的标注数据。更多时候，我们面对的是仅有几十、几百，最多几千个样本的“小数据集”。对于许多初创团队、特定垂直领域的业务部门，或是处理高度敏感、专业文档的场景，小数据集就是常态。

“Document Classification Process: 7 Pragmatic Approaches For Small Datasets”这个标题，精准地切中了这个痛点。它不是一个探讨前沿巨型模型的理论研究，而是一份面向一线工程师、数据分析师和产品经理的实战指南。其核心价值在于，它承认了“数据稀缺”这一现实约束，并提供了七种务实、可落地的解决方案，旨在帮助从业者在有限的资源下，依然能构建出性能可靠、业务可用的文档分类系统。这七种方法不是孤立的技巧堆砌，而是一个从数据、特征到模型、策略的完整工具箱，覆盖了处理小数据集问题的不同维度和阶段。

接下来，我将结合自己多年在NLP（自然语言处理）和机器学习项目中的实战经验，对这七种务实方法进行深度拆解。我会详细阐述每种方法背后的原理、适用场景、具体操作步骤，并分享在实操中容易踩的“坑”和提升效果的关键技巧。我们的目标不是追求学术上的SOTA（最先进），而是在成本、时间和效果之间找到最佳平衡点，让分类模型真正跑起来，解决实际问题。

2. 核心思路拆解：为什么小数据集需要特殊对待？

在深入七种方法之前，我们必须先理解小数据集给文档分类带来的根本性挑战。这决定了我们后续所有技术选型的逻辑起点。

2.1 小数据集的三大核心挑战

首先，过拟合（Overfitting）是头号敌人。模型参数可能比训练样本还多，它很容易“死记硬背”住训练集中的每一个样本，包括其中的噪声和特例，导致在未见过的测试数据上表现极差。就像一个学生只背了几道例题的答案就去考试，题目稍作变化他就不会了。

其次，特征稀疏性与表征能力不足。文档分类依赖于从文本中提取有区分度的特征。在小数据集上，许多有价值的词汇或短语可能只出现寥寥几次，模型难以学习到它们与类别之间的稳定关联。例如，在医疗报告分类中，“非典型增生”这个关键术语可能只在少数几个样本中出现，传统词袋模型会将其视为一个弱信号。

最后，数据分布偏斜（Class Imbalance）问题会被放大。在大数据集中，少数类可能仍有成千上万个样本；但在小数据集中，少数类可能只有个位数。这会导致模型严重偏向多数类，几乎“放弃”学习少数类的特征。

2.2 七种方法的逻辑框架

面对这些挑战，标题中的“7 Pragmatic Approaches”并非随意罗列，它们构成了一个从“向内挖掘数据潜力”到“向外借助外部知识”，再到“改进模型学习方式”的立体防御体系。我们可以将其归纳为三个层面：

1. 数据层策略：核心思想是“精耕细作”，在有限的数据样本上做文章，通过增强、变换、利用外部知识等方式，创造出更多、更优质的训练信号。对应的方法可能包括数据增强、主动学习、利用预训练模型的特征等。
2. 特征工程层策略：核心思想是“提纯降维”，设计或选择更具信息量、更鲁棒的特征表示，降低模型学习的难度。对应的方法可能包括使用TF-IDF结合领域词典、句嵌入（Sentence Embeddings）等。
3. 模型与算法层策略：核心思想是“轻装简从”，选择或设计参数更少、结构更简单、自带正则化效果的模型，防止过拟合。对应的方法可能包括使用简单的经典模型（如朴素贝叶斯、SVM）、模型集成、以及迁移学习中的微调策略。

理解了这个框架，我们就能明白，这七种方法往往是组合使用的，而非单选。一个典型的小数据集文档分类流程，可能会同时用到数据增强、预训练句嵌入和简单的逻辑回归模型。

3. 七种务实方法深度解析与实操指南

下面，我将逐一拆解这七种务实方法。为了更直观，我会用一个具体的场景贯穿始终：假设我们需要为一个法律科技初创公司构建一个合同文档分类器，将合同自动分为“雇佣合同”、“租赁合同”、“采购合同”和“保密协议”四类。初始标注数据仅有每种类型约50份，总计200份合同。

3.1 方法一：数据增强（Data Augmentation）—— 创造性的“无中生有”

数据增强是计算机视觉领域的常规操作，但在NLP中更具挑战性，因为需要保持文本的语义不变。对于法律合同这类严谨文本，简单的同义词替换可能引入法律风险，因此需要更精细的操作。

核心原理：通过对原始文本进行语义保持的变换，生成新的、多样化的训练样本，从而增加数据量，提高模型的泛化能力。

实操步骤与技巧：

1. 回译（Back Translation）：将中文合同句子翻译成英文（或日文等），再翻译回中文。由于语言模型的差异，回译后的句子在措辞和句式上会有所变化，但核心语义不变。这是目前最安全、效果相对稳定的文本增强方法。

   # 示例：使用翻译API进行回译（伪代码） original_text = “本合同项下的任何争议，应通过友好协商解决。” # 中 -> 英 translated_en = translate(original_text, src='zh', tgt='en') # “Any dispute under this contract shall be resolved through friendly consultation.” # 英 -> 中 augmented_text = translate(translated_en, src='en', tgt='zh') # “本协议下的所有争端，均应通过友好协商方式处理。”

   注意：需选择高质量的翻译引擎（如Google Translate API），并检查回译结果是否在关键术语（如“合同”与“协议”）上产生了不可接受的偏差。对于法律文本，建议对增强后的样本进行人工抽检。

2. EDA（Easy Data Augmentation）：包括同义词替换、随机插入、随机交换、随机删除。对于合同文本，同义词替换需格外谨慎。建议使用领域特定的同义词库（如法律术语词典），并避免替换核心法律概念（如“不可抗力”、“对价”）。

   • 随机插入：随机选取句子中的一个非停用词的同义词，插入到句子的随机位置。这能模拟合同条款中补充说明的情况。
   • 随机交换：随机交换句子中两个词的位置。对于长句，可以轻微改变语序，但需确保不破坏法律条款的逻辑结构。

3. 上下文增强（Contextual Augmentation）：利用预训练语言模型（如BERT），随机mask掉文本中一些非关键token，让模型预测并生成新的词汇。这种方法生成的文本流畅度更高。

   from transformers import pipeline unmasker = pipeline('fill-mask', model='bert-base-chinese') text = “双方应于 [MASK] 个工作日内完成交付。” results = unmasker(text) # 可能生成：“双方应于 十五 个工作日内完成交付。” 或 “双方应于 十 个工作日内完成交付。”

   实操心得：对于小数据集，数据增强的倍率（即每个样本生成多少新样本）不宜过高，通常2-5倍为宜。过高的增强倍率可能让模型过度学习增强时引入的特定噪声模式。最佳倍率需要通过交叉验证来寻找。

3.2 方法二：利用预训练语言模型的特征 —— 站在巨人的肩膀上

与其从零开始学习文本特征，不如直接使用在大规模语料上预训练好的模型提取高质量的特征表示。这是处理小数据集最有效的方法之一。

核心原理：预训练语言模型（如BERT、RoBERTa、ERNIE）已经在大规模文本中学习了丰富的语言知识和世界知识。我们可以将其作为固定的“特征提取器”，将文档转化为一个稠密、语义丰富的向量（即句向量或文档向量），然后在这个向量空间上用简单的分类器（如逻辑回归、SVM）进行分类。

实操步骤：

1. 选择模型：对于中文合同，可以选择bert-base-chinese、hfl/chinese-roberta-wwm-ext或百度的ERNIE系列。它们对中文理解和法律领域都有较好的基础。
2. 特征提取：
   • CLS向量：取BERT模型输出中第一个[CLS]token对应的向量作为整个句子的表示。对于文档，可以先将文档分句，然后对每句的CLS向量求平均，或取最大值。
   • 均值池化：对文档中所有token（排除[CLS]和[SEP]）的最后一层隐藏状态取平均值。这种方法通常比单纯使用CLS向量更稳定。

   from transformers import AutoTokenizer, AutoModel import torch import numpy as np tokenizer = AutoTokenizer.from_pretrained('hfl/chinese-roberta-wwm-ext') model = AutoModel.from_pretrained('hfl/chinese-roberta-wwm-ext') def get_document_embedding(text, max_length=512): inputs = tokenizer(text, return_tensors='pt', truncation=True, padding='max_length', max_length=max_length) with torch.no_grad(): outputs = model(**inputs) # 使用均值池化 last_hidden_state = outputs.last_hidden_state # [1, seq_len, hidden_size] attention_mask = inputs['attention_mask'] # [1, seq_len] # 排除padding部分 input_mask_expanded = attention_mask.unsqueeze(-1).expand(last_hidden_state.size()).float() sum_embeddings = torch.sum(last_hidden_state * input_mask_expanded, 1) sum_mask = torch.clamp(input_mask_expanded.sum(1), min=1e-9) mean_embeddings = sum_embeddings / sum_mask return mean_embeddings.squeeze().numpy() doc_vec = get_document_embedding(“这是一份雇佣合同...”) # 得到768维向量

3. 训练分类器：将200份合同全部转化为768维的向量，组成一个200x768的特征矩阵。然后，使用这个特征矩阵和对应的标签，训练一个逻辑回归或支持向量机（SVM）。

   关键技巧：在训练SVM或逻辑回归时，务必进行特征缩放（如StandardScaler），因为预训练模型输出的向量各维度尺度可能不同。同时，强烈建议使用交叉验证来调整分类器的正则化参数（如逻辑回归的C，SVM的C和gamma），这是防止小数据集上过拟合的关键一步。

3.3 方法三：轻量级模型与强正则化 —— 选择简单的武器

当数据很少时，一个复杂的深度神经网络就像用高射炮打蚊子，不仅大材小用，还容易打偏（过拟合）。此时，参数少、解释性强的经典模型往往是更稳健的选择。

核心原理：限制模型容量，使其没有足够的能力去记忆训练数据中的噪声，从而迫使它学习更一般化的模式。

模型选型与实操：

1. 朴素贝叶斯（Naive Bayes）：特别适用于文本分类。它的“朴素”假设（特征条件独立）虽然不符合现实，但在小数据集、高维特征（如TF-IDF）下往往有惊人的好效果，且训练速度极快。

   from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.pipeline import make_pipeline # 构建管道：TF-IDF向量化 + 朴素贝叶斯分类 model = make_pipeline(TfidfVectorizer(max_features=1000, ngram_range=(1,2)), MultinomialNB()) model.fit(X_train, y_train)

   • 关键参数：TfidfVectorizer中的max_features可以限制特征数量，防止维度过高；ngram_range=(1,2)可以同时考虑单词和二元词组，捕捉像“解除合同”这样的关键短语。

2. 支持向量机（SVM）：对于小数据集，特别是特征维度较高时，SVM通过寻找最大间隔超平面来分类，泛化能力通常很强。当与上述预训练特征结合时，效果更佳。

   from sklearn.svm import LinearSVC from sklearn.calibration import CalibratedClassifierCV # 使用预训练特征 svm = LinearSVC(C=0.1, class_weight='balanced', max_iter=10000) # C是正则化强度，越小正则化越强 # 如果希望得到概率输出，可以进行校准 calibrated_svm = CalibratedClassifierCV(svm, cv=3) calibrated_svm.fit(X_train_features, y_train)

   • 避坑指南：SVM对特征缩放敏感，务必缩放。参数C控制模型对误分类的容忍度，C值越小，正则化越强，越能防止过拟合。对于类别不平衡的数据，设置class_weight='balanced'非常重要。

3. 强正则化的简单神经网络：如果仍想使用神经网络，可以设计一个极其简单的架构，并施加强正则化。

   • 架构示例：Embedding层（可用静态词向量） -> GlobalAveragePooling -> Dropout(rate=0.5) -> Dense(输出层)。
   • 正则化组合拳：除了Dropout，还可以使用L2权重正则化、Early Stopping（早停）和非常小的学习率。

   实操心得：在小数据集上，模型选择的标准不应是验证集准确率的绝对高低，而是其稳定性。多次随机划分训练/验证集，观察模型性能的方差。方差小的模型，其在新数据上的表现更可预测。

3.4 方法四：主动学习（Active Learning）—— 把好钢用在刀刃上

标注数据成本高昂，主动学习的核心思想是让模型自己“挑”出那些对它学习最有价值的样本，交给人类标注，从而以最少的标注成本获得最大的性能提升。

核心原理：通过一个迭代过程，模型在已标注数据上训练，然后对大量未标注数据进行预测，并基于某种“不确定性”度量，选择最不确定的样本进行标注，加入训练集，重新训练模型，如此循环。

实操流程：

1. 初始化：从200份标注合同中随机选取一个很小的子集（如每类5份，共20份）作为初始训练集L，其余180份作为未标注池U。
2. 循环迭代： a.训练模型：用当前L训练一个分类模型（如3.3中的轻量级模型）。 b.预测与选择：用模型预测U中所有样本。使用不确定性采样策略选择样本： -最小置信度：选择模型预测概率中，最高类别的概率值最低的样本。例如，模型对某份合同预测为四类的概率分别是[0.3, 0.25, 0.25, 0.2]，最高概率0.3很低，说明模型很“困惑”。 -边缘采样：选择模型预测的最高概率与第二高概率之差最小的样本。差值小意味着模型在两个类别间犹豫不决。 -熵：选择预测概率分布的熵最大的样本。熵越大，不确定性越高。 c.人工标注：将选出的最不确定的k个样本（如k=5）交给领域专家（法务）进行标注。 d.更新集合：将这k个新标注样本从U移到L中。
3. 终止：当标注预算耗尽，或模型性能在验证集上不再显著提升时停止。

注意事项：主动学习的效果高度依赖于初始模型的质量和采样策略。在最初几轮，模型可能很差，选出的样本可能只是噪声。一个技巧是，在初始阶段可以混合使用“不确定性采样”和“多样性采样”（例如，选择特征空间上距离已标注样本最远的点），以确保探索整个数据分布。

3.5 方法五：迁移学习与微调 —— 精细化的知识迁移

方法二是将预训练模型作为固定的特征提取器。而微调则更进一步，允许我们在小数据集上对预训练模型的全部或部分参数进行小幅调整，使其更适应我们的特定任务（合同分类）。

核心原理：预训练模型拥有通用的语言知识，微调是在此基础上，用我们的领域特定数据（200份合同）对其进行“精修”，让模型学会区分“雇佣合同”和“采购合同”这类具体概念。

实操步骤与策略：

1. 添加分类头：在预训练模型（如BERT）的顶部添加一个简单的分类层（如一个Dropout层接一个全连接层）。
2. 选择微调策略：
   • 分层渐进解冻：这是小数据集微调的核心技巧。一开始，冻结预训练模型的所有层，只训练顶部分类头。训练几轮后，逐步解冻模型的最后几层（如最后1-2个Transformer块），一起训练。最后，如果需要且数据允许，可以解冻更多层。这避免了因数据量小而导致底层通用语言知识被破坏。

   from transformers import AutoModelForSequenceClassification, TrainingArguments, Trainer model = AutoModelForSequenceClassification.from_pretrained('hfl/chinese-roberta-wwm-ext', num_labels=4) # 初始冻结所有预训练参数 for param in model.base_model.parameters(): param.requires_grad = False # 仅训练分类头 training_args = TrainingArguments(output_dir='./results', num_train_epochs=5, per_device_train_batch_size=8) trainer = Trainer(model=model, args=training_args, train_dataset=train_dataset) trainer.train() # 解冻最后两层，继续训练 for name, param in model.base_model.named_parameters(): if 'layer.11' in name or 'layer.10' in name: # 假设模型有12层 param.requires_grad = True # 重新配置优化器，使用更小的学习率 trainer.train()

   • 差分学习率：为模型的不同层设置不同的学习率。底层（靠近输入）的学习率设置得非常小（如1e-5），因为这些层捕捉的是通用语法特征；顶层（靠近输出）和分类头可以使用较大的学习率（如1e-4），因为它们需要更快地适应新任务。
3. 强正则化：微调时务必使用强正则化，包括：很小的学习率（如2e-5, 3e-5）、权重衰减、以及早停（Early Stopping）。监控验证集损失，一旦连续几轮不下降就停止训练。

踩坑实录：直接在小数据集上全参数微调BERT，很容易在1-2个epoch内就过拟合，验证集损失不降反升。分层渐进解冻和极小的学习率是避免这种情况的两个最关键手段。此外，由于数据少，训练过程可能不稳定，多次运行取平均结果是个好习惯。

3.6 方法六：集成学习（Ensemble Learning）—— 集体的智慧

集成学习通过结合多个基学习器的预测结果，来获得比单一模型更稳定、更准确的预测。对于小数据集，集成的核心价值在于降低方差，提高鲁棒性。

核心原理：不同的模型或同一模型在不同数据子集上的训练，会犯不同的错误。集成通过投票或平均，将这些错误“抵消”掉，保留正确的共识。

适用于小数据集的集成策略：

1. 同质模型集成：
   • Bagging (Bootstrap Aggregating)：从原始训练集中有放回地采样，生成多个不同的子训练集（每个子集大小可能与原集相同）。由于小数据集本身样本少，Bootstrap采样会产生大量重复样本，但每个子集的样本分布略有差异。在每个子集上训练同一个简单模型（如决策树桩、浅层神经网络），最后进行投票。
   • 模型平均：对于神经网络，由于训练过程的随机性（权重初始化、数据shuffle顺序），即使使用相同的数据和架构，多次独立训练也会得到不同的模型。将这些模型的预测概率进行平均，往往能提升性能。
2. 异质模型集成：结合原理完全不同的模型，例如将一个基于TF-IDF的朴素贝叶斯模型、一个基于预训练特征的SVM模型和一个微调过的轻量级BERT模型进行集成。由于它们的错误模式相关性更低，集成效果可能更好。

   from sklearn.ensemble import VotingClassifier # 定义多个不同的基分类器 clf1 = make_pipeline(TfidfVectorizer(), MultinomialNB()) clf2 = make_pipeline(TfidfVectorizer(), LinearSVC()) # 假设 clf3 是一个基于预训练特征的模型 ensemble = VotingClassifier(estimators=[('nb', clf1), ('svm', clf2)], voting='soft') # 使用软投票（平均概率） ensemble.fit(X_train, y_train)

重要提醒：集成虽然能提升性能，但会增加推理时的计算成本。对于小数据集，基模型本身必须足够简单，以防止每个基模型都过拟合。如果单个模型已经严重过拟合，那么集成只会得到一个稳定且一致的错误结果。

3.7 方法七：利用领域知识与规则 —— 人类智慧的锚点

当数据极其稀缺时，纯粹的统计模型可能完全失效。此时，融入领域专家知识或简单规则，可以提供一个强大的基线，或者与统计模型结合形成混合系统。

核心原理：将人类对问题的先验理解形式化为规则或特征，直接指导分类过程。

实操方法：

1. 关键词与规则列表：法务专家可以列出每类合同最具区分性的关键词或短语。
   • 雇佣合同：“劳动合同”、“薪资”、“五险一金”、“试用期”、“解除劳动关系”。
   • 采购合同：“采购订单”、“货物描述”、“交付条款”、“付款条件”、“验收标准”。
   • 租赁合同：“租赁物”、“租金”、“租期”、“押金”、“维修责任”。
   • 保密协议：“保密信息”、“披露方”、“接收方”、“保密期限”、“违约责任”。
   • 规则设计：可以设计如“文档中同时出现‘采购订单’和‘付款条件’则归类为采购合同”的简单规则。更复杂的可以使用正则表达式匹配关键条款结构。
2. 作为特征：不直接用规则分类，而是将规则匹配的结果（如是否包含某组关键词）作为新的布尔型特征，加入到机器学习模型的输入特征中。这相当于给模型提供了强提示。
3. 作为后处理或混合系统：先用规则系统过滤掉一部分高置信度的样本（例如，明确包含“劳动合同法”的文档直接判为雇佣合同），剩下的、规则无法判断的“困难样本”交给统计模型处理。或者，将规则系统的预测概率与统计模型的预测概率进行加权融合。

实操心得：规则系统不是“低级”的代名词。在小数据场景下，一个精心设计的规则系统，其准确率和稳定性可能远超初期不成熟的统计模型。它的最大优势是可解释、可控制。当模型做出错误分类时，你可以追溯到是哪条规则起了作用，并快速修正。这对于法律、金融等高风险领域尤为重要。规则与模型的结合，往往是落地应用中最务实的选择。

4. 组合策略与完整工作流设计

单一方法有其局限，在实际项目中，我们需要根据数据情况、计算资源和业务需求，灵活组合上述方法。以下是一个为“200份合同分类”设计的推荐组合工作流：

1. 阶段一：数据准备与探索

   • 对200份合同进行清洗（去除页眉页脚、无关字符）。
   • 进行简单的统计分析：文档平均长度、类别分布、高频词查看。
   • 实施方法七：与法务专家合作，提炼出每类合同的核心关键词列表，建立初步的规则词典。

2. 阶段二：构建基线模型

   • 实施方法三：使用TF-IDF（结合专家关键词扩展词典） + 朴素贝叶斯/线性SVM，建立一个快速基线模型。评估其性能。
   • 实施方法七（混合）：尝试将规则匹配结果作为特征加入基线模型，观察效果提升。

3. 阶段三：引入预训练知识

   • 实施方法二：用预训练模型（如RoBERTa）提取所有合同的句向量。
   • 在这些高质量特征上，训练一个逻辑回归或SVM模型。这通常会显著超越基线模型。

4. 阶段四：精细优化与迭代

   • 如果标注预算允许：启动方法四（主动学习）。以阶段三的模型为初始模型，挑选最不确定的合同请专家标注，迭代优化。
   • 如果追求极致性能且有过拟合风险：尝试方法五（分层渐进微调）。使用全部200份数据，小心地对预训练模型进行微调。务必使用早停和交叉验证。
   • 实施方法一（数据增强）：对训练数据进行回译增强（2-3倍），用于训练阶段三或阶段四的模型，观察是否有助于泛化。
   • 实施方法六（集成）：将TF-IDF SVM模型、预训练特征SVM模型和规则模型的预测进行软投票集成。

5. 阶段五：评估与部署

   • 在严格保留的测试集上评估最终模型。
   • 分析错误案例：是哪些合同分错了？是因为数据不足、特征不明显，还是存在歧义？这些分析将为下一轮数据标注或规则优化提供方向。

这个工作流体现了“由简入繁、逐步加强”的原则，每一步的投入都能看到相应的回报，并且风险可控。

5. 常见问题与避坑指南实录

在小数据集文档分类项目中，以下是我在实践中反复遇到的一些典型问题及其解决方案：

问题1：类别极度不平衡，某个类别只有3-5个样本。

• 排查：首先检查评估指标。准确率可能很高，但少数类的召回率（Recall）可能为0。必须使用精确率（Precision）、召回率（Recall）、F1-score以及宏平均（Macro-average）来全面评估。
• 解决：
  1. 数据层面：对少数类样本使用更激进的数据增强（如回译、上下文增强），但需人工校验质量。考虑人工合成：基于少数类样本的模板和关键词，人工编写或生成新的样本。
  2. 算法层面：使用class_weight='balanced'参数（在SVM、逻辑回归中），让模型更关注少数类。在损失函数中使用Focal Loss等。
  3. 评估层面：采用分层抽样（Stratified Sampling）进行交叉验证，确保每折中都有少数类样本。

问题2：模型在训练集上表现完美，但在验证集/测试集上很差（严重过拟合）。

• 排查：这是小数据集的典型症状。检查模型复杂度是否过高（如深度学习模型层数太多、参数过多）。
• 解决：
  1. 增强正则化：大幅增加Dropout比率（0.5以上）、加大L2正则化强度、使用更小的模型。
  2. 简化特征：减少TF-IDF的max_features，或使用特征选择方法（如卡方检验）筛选最重要的特征。
  3. 早停：这是最有效的武器之一。严密监控验证集损失，一旦连续3-5个epoch不下降就停止训练。
  4. 切换到更简单的模型：果断放弃复杂的神经网络，回到朴素贝叶斯或线性模型。

问题3：预训练模型提取的特征似乎“没用”，效果和TF-IDF差不多。

• 排查：
  1. 检查预处理：输入预训练模型的文本是否清洗干净？过长文本是否被正确截断或分段池化？
  2. 检查池化方法：尝试将CLS向量改为均值池化或最大值池化。
  3. 检查下游分类器：是否对提取的特征进行了标准化？是否调整了分类器的超参数（如SVM的C）？
• 解决：尝试不同的预训练模型（如从BERT换到RoBERTa或ERNIE）。对于专业领域（如法律），可以寻找领域内继续预训练过的模型（如Legal-BERT）。

问题4：主动学习挑选的样本，标注后模型性能提升不明显。

• 排查：采样策略可能陷入了“局部困惑”。模型总是在同一类难以区分的样本附近打转。
• 解决：引入多样性采样。在挑选不确定性高的样本时，同时考虑样本在特征空间中的分布。例如，可以聚类未标注样本，然后从每个聚类中挑选最不确定的样本，确保探索到整个数据空间。

问题5：规则与模型结合时，如何确定权重？

• 排查：简单地将规则预测和模型预测平均可能不是最优的。
• 解决：将规则系统的输出（如匹配到的关键词数量、规则置信度）作为特征，与模型提取的特征一起，送入一个最终的“元分类器”（如逻辑回归）进行训练。让数据自己学习如何结合两者。

处理小数据集文档分类，与其说是一门科学，不如说是一门艺术。它要求我们在数据、模型和先验知识之间精心权衡。没有放之四海而皆准的“最佳方法”，只有最适合当前场景的“最务实组合”。核心心法始终是：保持模型简单、充分利用先验知识、对数据精打细算、并通过严谨的验证流程来评估每一步的进展。从这个200份合同的项目出发，当你积累了500份、1000份数据后，就可以逐步转向更复杂的模型，但在这个过程中培养出的对数据敏感、对模型谨慎的态度，将是你在任何数据规模的项目中都受益无穷的财富。