从零构建AG_NEWS新闻分类器：数据处理、模型搭建与实战评估
1. AG_NEWS数据集详解与预处理实战
第一次接触AG_NEWS数据集时，我被它简洁的结构惊艳到了。这个经典的新闻分类数据集包含4个文件，就像整理好的文件夹一样清晰：
- classes.txt：保存着4个新闻类别标签
- train.csv：12万条训练数据
- test.csv：7600条测试数据
实际处理时发现几个坑：pandas默认会把第一行当作表头，所以需要特别指定header=None；原始数据中标题和正文是分开的列，但我们需要合并它们作为完整文本。这里有个小技巧：直接使用字符串拼接row[1] + row[2]，比用concat函数快3倍。
文本预处理阶段我尝试过多种方案，最终确定这个高效流程：
- 用Tokenizer构建词汇表时，记得同时处理训练集和测试集，避免出现OOV词
- 填充序列长度cutlen设为64是个平衡点 - 太短会丢失信息，太长会增加计算负担
- 标签记得减1处理，因为原始类别是从1开始编号的
def load_data(csv_file): df = pd.read_csv(csv_file, header=None) data = [] for _, row in df.iterrows(): data.append((row[0]-1, str(row[1]) + " " + str(row[2]))) return data2. 词嵌入与模型架构设计心得
在模型设计上走过不少弯路。最初尝试直接用LSTM，发现训练速度慢且容易过拟合。后来改用简单的Embedding+线性层，反而取得了不错的效果。这里分享几个关键设计点：
Embedding层的初始化范围设置在[-0.5,0.5]效果最好，太大容易导致梯度爆炸。稀疏参数sparse=True能显著减少内存占用，特别是在词汇量超过10万时。
模型前向传播时有个容易踩的坑：当序列长度不是batch_size整数倍时，直接做平均池化会出错。我的解决方案是：
c = embedded.size(0) // BATCH_SIZE embedded = embedded[:BATCH_SIZE*c] # 截取整数倍部分实际测试发现，embed_dim=128是个甜点值。小于64时准确率下降明显，大于256时提升有限但计算量倍增。下面是模型结构的完整实现：
class TextClassifier(nn.Module): def __init__(self, vocab_size, embed_dim, num_class): super().__init__() self.embedding = nn.Embedding(vocab_size, embed_dim, sparse=True) self.fc = nn.Linear(embed_dim, num_class) def forward(self, text): embedded = self.embedding(text).mean(0) # 简化版平均池化 return self.fc(embedded)3. 训练过程中的优化技巧
训练阶段我总结出三个关键要素：学习率调度、批次处理和早停机制。原始代码使用StepLR调度器，实测发现当验证准确率连续3轮不提升时，将学习率减半效果更好。
批次处理函数generate_batch有个性能陷阱：直接使用torch.tensor会频繁申请内存。改进方案是预分配内存：
text = torch.empty(len(batch)*cutlen, dtype=torch.long) for i,item in enumerate(batch): text[i*cutlen:(i+1)*cutlen] = item[0]在划分训练/验证集时，原始random_split方法有个隐患：可能造成类别分布不均。我的改进方案是使用StratifiedShuffleSplit，确保每个类别比例一致。这在某些类别样本较少时特别重要。
优化器选择上，SGD虽然稳定但收敛慢。尝试改用AdamW后，训练轮数从20轮减少到12轮就能达到相同准确率。关键参数配置：
optimizer = AdamW(model.parameters(), lr=2e-3, weight_decay=1e-4) scheduler = ReduceLROnPlateau(optimizer, 'max', patience=2)4. 评估与结果分析
经过20轮训练后，模型在测试集上达到了89.7%的准确率。分析混淆矩阵发现，模型最容易混淆的是"科技"和"商业"类新闻，这可能是因为这两类都包含大量专业术语。
对比几种不同配置的效果：
| 配置方案 | 准确率 | 训练时间 |
|---|---|---|
| 基础模型 | 89.7% | 23分钟 |
| +BERT嵌入 | 91.2% | 2小时 |
| +双向LSTM | 90.1% | 45分钟 |
| +数据增强 | 90.3% | 28分钟 |
一个有趣的发现：当cutlen从64增加到128时，准确率仅提升0.3%，但训练时间几乎翻倍。这说明在工程实践中需要权衡精度和效率。
部署时遇到的实际问题：直接使用Tokenizer保存的词汇表会占用300MB内存。解决方案是改用HashingVectorizer，内存占用降至30MB，准确率只下降1.2%。对于生产环境，这个trade-off非常值得。