别再死记硬背公式了！用PyTorch手把手实现一个前馈网络，搞定NLP文本分类
从零构建PyTorch前馈网络：实战NLP文本分类的五个关键步骤
当你第一次接触神经网络时，那些复杂的数学公式是否让你望而却步？作为过来人，我清楚地记得自己盯着满屏的矩阵运算却不知如何转化为代码的困惑。本文将用最直白的方式，带你用PyTorch一步步实现前馈网络，完成一个真实的新闻分类任务。我们会避开枯燥的理论推导，专注于可运行的代码和实际项目中的决策逻辑。
1. 环境准备与数据加载
在开始构建模型前，我们需要确保开发环境配置正确。推荐使用Python 3.8+和PyTorch 1.10+版本，这些组合经过广泛测试，兼容性最佳。
pip install torch==1.12.1 torchtext==0.13.1 scikit-learn==1.1.21.1 数据集选择与加载
我们使用经典的20 Newsgroups数据集，它包含约2万篇新闻文档，均匀分布在20个不同主题中。这个数据集足够复杂能体现真实场景，又不会太大导致实验时间过长。
from sklearn.datasets import fetch_20newsgroups # 只保留原始文本和对应的类别编号 categories = ['sci.space', 'rec.sport.baseball', 'comp.graphics'] newsgroups_train = fetch_20newsgroups(subset='train', categories=categories) newsgroups_test = fetch_20newsgroups(subset='test', categories=categories) print(f"训练集样本数: {len(newsgroups_train.data)}") print(f"测试集样本数: {len(newsgroups_test.data)}") print(f"示例类别: {newsgroups_train.target_names[0]}")提示：在实际项目中，建议始终先检查数据分布。类别不平衡会导致模型偏向多数类。
2. 文本向量化：从原始文本到数值特征
前馈网络无法直接处理文本数据，我们需要将其转换为数值表示。这里比较TF-IDF和词袋两种方法：
| 方法 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| 词袋 | 实现简单，计算快 | 忽略词序，无法体现词重要性 | 小规模数据快速原型 |
| TF-IDF | 降低高频词权重，突出特征词 | 仍然无法捕捉语义 | 中等规模分类任务 |
from sklearn.feature_extraction.text import TfidfVectorizer # 构建TF-IDF转换器，限制最大特征数为5000 vectorizer = TfidfVectorizer(max_features=5000, stop_words='english') X_train = vectorizer.fit_transform(newsgroups_train.data) X_test = vectorizer.transform(newsgroups_test.data) # 转换为PyTorch需要的张量格式 import torch X_train_tensor = torch.FloatTensor(X_train.toarray()) y_train_tensor = torch.LongTensor(newsgroups_train.target) X_test_tensor = torch.FloatTensor(X_test.toarray()) y_test_tensor = torch.LongTensor(newsgroups_test.target)3. 构建PyTorch前馈网络模型
现在进入核心环节——实现网络结构。我们将构建一个包含两个隐藏层的基本架构，使用ReLU激活函数和Dropout层防止过拟合。
import torch.nn as nn import torch.nn.functional as F class FeedForwardNN(nn.Module): def __init__(self, input_size, hidden_size1, hidden_size2, output_size, dropout_prob=0.2): super(FeedForwardNN, self).__init__() self.fc1 = nn.Linear(input_size, hidden_size1) self.fc2 = nn.Linear(hidden_size1, hidden_size2) self.fc3 = nn.Linear(hidden_size2, output_size) self.dropout = nn.Dropout(dropout_prob) def forward(self, x): x = F.relu(self.fc1(x)) x = self.dropout(x) x = F.relu(self.fc2(x)) x = self.dropout(x) x = self.fc3(x) return x # 初始化模型 input_size = X_train_tensor.shape[1] output_size = len(newsgroups_train.target_names) model = FeedForwardNN(input_size, 512, 256, output_size) print(model)关键设计选择：
- 隐藏层维度：采用递减结构（512→256），逐步压缩信息
- 激活函数：ReLU比sigmoid训练更快且缓解梯度消失
- Dropout：0.2的比率在多数文本任务中表现良好
4. 训练循环与优化技巧
有了模型结构后，我们需要定义训练过程。这里有几个容易踩坑的地方需要特别注意。
from torch.utils.data import TensorDataset, DataLoader # 创建DataLoader实现批量训练 train_dataset = TensorDataset(X_train_tensor, y_train_tensor) train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True) # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-5) # 训练循环 def train_model(model, train_loader, criterion, optimizer, epochs=10): model.train() for epoch in range(epochs): running_loss = 0.0 correct = 0 total = 0 for inputs, labels in train_loader: optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() epoch_loss = running_loss / len(train_loader) epoch_acc = 100 * correct / total print(f"Epoch {epoch+1}/{epochs} - Loss: {epoch_loss:.4f} - Acc: {epoch_acc:.2f}%") train_model(model, train_loader, criterion, optimizer, epochs=15)注意：如果发现训练准确率快速达到100%，很可能出现了数据泄露或模型过拟合。这时应该检查预处理流程，或增加正则化强度。
5. 模型评估与生产级改进
训练完成后，我们需要全面评估模型性能，并探讨如何将其提升到生产可用水平。
5.1 基础评估指标
def evaluate_model(model, X_test, y_test): model.eval() with torch.no_grad(): outputs = model(X_test) _, predicted = torch.max(outputs.data, 1) accuracy = (predicted == y_test).sum().item() / y_test.size(0) print(f"测试集准确率: {accuracy*100:.2f}%") evaluate_model(model, X_test_tensor, y_test_tensor)5.2 高级改进方案
当基础模型表现达到平台期后，可以考虑以下进阶技术：
学习率调度：在训练后期减小学习率
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=5, gamma=0.1)早停机制：当验证集损失不再下降时终止训练
if val_loss > best_loss: patience_counter += 1 if patience_counter >= patience: break模型集成：组合多个模型的预测结果
outputs = (model1(inputs) + model2(inputs)) / 2
在实际项目中，我通常会先运行一个基础版本，然后根据错误分析逐步引入这些技术。例如，如果发现模型在某些类别上表现特别差，可能会调整类别权重或收集更多该类别数据。