Kaggle房价预测实战：从数据清洗到模型训练，我用PyTorch踩过的那些坑

Kaggle房价预测实战：PyTorch工程化实践中的七个关键决策点

当第一次将PyTorch模型部署到Kaggle竞赛时，我原以为掌握了神经网络原理就万事俱备。直到面对79065条包含47个特征维度的真实房产数据时，才发现教科书式的代码在工程实践中处处碰壁。本文将分享从数据清洗到模型部署全流程中，那些真正影响结果的关键技术决策。

1. 高基数类别特征的处理艺术

处理房产数据中的"Parking features"字段时，发现这个分类特征竟有9695个唯一值。传统One-Hot编码会立即产生9695个新特征列，这对内存和计算都是灾难。

实践方案对比：

最终采用分层目标编码：

from category_encoders import TargetEncoder # 按地区分组计算目标均值 encoder = TargetEncoder(cols=['Parking_features'], smoothing=20, min_samples_leaf=5) train_encoded = encoder.fit_transform(train_data[['Parking_features']], train_data['Sold Price'])

注意：目标编码需在交叉验证循环内部进行，避免数据泄露

2. 动态学习率与梯度裁剪的协同策略

当模型在epoch 150左右出现损失值剧烈震荡时，传统的固定学习率方案明显失效。通过wandb的可视化分析，发现梯度范数存在间歇性爆发。

优化器配置代码：

optimizer = torch.optim.AdamW(model.parameters(), lr=5e-4) # 梯度裁剪阈值动态调整 scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, mode='min', factor=0.5, patience=10, threshold=0.001 ) for epoch in range(epochs): # ...训练步骤... torch.nn.utils.clip_grad_norm_( model.parameters(), max_norm=0.5 * (1 + math.cos(epoch / total_epochs * math.pi)) # 余弦衰减 ) scheduler.step(val_loss)

这种组合实现了：

• 训练初期允许较大梯度更新
• 中后期逐步收紧约束
• 损失平台期自动降低学习率

3. 内存高效的批量数据处理方案

当数据集无法一次性加载到GPU内存时，传统的DataLoader可能导致频繁的CPU-GPU数据传输。通过以下技巧提升10倍吞吐量：

内存优化技巧：

1. 使用pin_memory加速主机到设备传输
2. 采用torchdata的管道式加载
3. 对数值特征进行分块标准化

class ChunkedDataset(torch.utils.data.Dataset): def __init__(self, csv_path, chunk_size=10000): self.chunks = pd.read_csv(csv_path, chunksize=chunk_size) self.preprocessed_chunks = [] for chunk in self.chunks: # 在线预处理 chunk = preprocess(chunk) self.preprocessed_chunks.append(chunk) def __getitem__(self, idx): chunk_idx = idx // self.chunk_size return self.preprocessed_chunks[chunk_idx].iloc[idx % self.chunk_size]

4. 多尺度特征融合的模型架构

基础MLP在处理混合型房产数据时表现平平，改进后的多分支架构提升验证集RMSE达17%：

class HybridModel(nn.Module): def __init__(self, num_numeric, cat_dims): super().__init__() # 数值特征处理分支 self.num_branch = nn.Sequential( nn.BatchNorm1d(num_numeric), nn.Linear(num_numeric, 128), nn.GELU() ) # 分类特征嵌入层 self.embeddings = nn.ModuleList([ nn.Embedding(dim, min(50, (dim + 1) // 2)) for dim in cat_dims ]) # 特征融合层 self.fusion = nn.Linear(128 + sum( emb.embedding_dim for emb in self.embeddings ), 256) def forward(self, x_num, x_cat): num_feat = self.num_branch(x_num) cat_feat = torch.cat([ emb(x_cat[:,i]) for i, emb in enumerate(self.embeddings) ], dim=1) return self.fusion(torch.cat([num_feat, cat_feat], dim=1))

5. 对抗验证与数据分布对齐

发现训练集与测试集存在明显分布偏移时，采用对抗验证技术：

1. 训练二分类器区分训练/测试样本
2. 移除最容易被识别的训练样本
3. 重新调整样本权重

from sklearn.ensemble import GradientBoostingClassifier # 创建对抗验证数据集 X_adv = pd.concat([train_features, test_features]) y_adv = [0]*len(train_features) + [1]*len(test_features) adv_model = GradientBoostingClassifier().fit(X_adv, y_adv) train_weights = 1 - adv_model.predict_proba(train_features)[:, 1]

6. 不确定性估计与模型校准

在房价预测中，了解预测可信度比单一值更重要。采用MC Dropout实现：

class MCDropoutMLP(nn.Module): def __init__(self, input_dim): super().__init__() self.fc1 = nn.Linear(input_dim, 256) self.dropout = nn.Dropout(0.2) self.out = nn.Linear(256, 2) # 输出均值和方差 def forward(self, x, n_samples=10): outputs = [] for _ in range(n_samples): h = F.relu(self.fc1(x)) h = self.dropout(h) outputs.append(self.out(h)) return torch.stack(outputs)

使用时通过多次前向传播计算预测区间：

samples = model(x_test, n_samples=100) mean = samples[:, :, 0].mean(0) std = samples[:, :, 1].exp().mean(0).sqrt()

7. 模型解释性与业务洞察

使用SHAP值分析特征重要性时，发现三个反直觉现象：

1. "与市中心距离"呈U型影响
2. "卧室数量"在超过5间时呈负相关
3. "建造年份"存在明显的分段效应

关键特征交互分析：

这种分析帮助调整了特征工程策略：

• 创建"卧室面积比"新特征
• 对建造年份进行分段编码
• 添加学区与安全指标的交互项

在模型部署阶段，将PyTorch模型转换为ONNX格式时遇到算子兼容性问题。最终通过自定义符号函数解决：

torch.onnx.export( model, args=(x_num_sample, x_cat_sample), f="model.onnx", custom_opsets={ "aten::embedding_bag": 12 }, input_names=["numerical", "categorical"], dynamic_axes={ "numerical": {0: "batch"}, "categorical": {0: "batch"} } )

整个项目中最意外的收获是：简单的MLP模型经过精心调优后，性能竟超越了初始尝试的Transformer架构。这提醒我们，在结构化数据任务中，模型架构的选择不如特征工程和训练策略的优化重要。