XGBoost调参进阶：用特征权重(feature_weights)和样本权重(scale_pos_weight)搞定不平衡数据

XGBoost权重调参实战：用特征与样本双重加权破解不平衡分类难题

金融风控中1%的欺诈交易可能造成99%的损失，广告点击数据里正样本占比往往不足5%。面对这些典型的不平衡分类场景，仅靠调整阈值或过采样难以从根本上解决问题。XGBoost提供的feature_weights和scale_pos_weight参数就像精密的天平，让我们能同时调整特征和样本两个维度的权重分配。

1. 不平衡数据的双重挑战与加权原理

真实业务场景中的不平衡问题从来不是单一维度的。信用卡欺诈检测不仅要应对正负样本1:1000的悬殊比例，还需要特别关注"境外交易金额"这类高风险特征；医疗诊断数据中罕见病例占比可能不足3%，但某些关键指标如肿瘤标记物数值的预测价值远高于常规体检参数。

XGBoost的加权机制通过修改损失函数中的权重项来实现：

# 损失函数中的加权项示意（非实际公式） weighted_loss = Σ [sample_weight * loss(y_true, y_pred)] + Σ [feature_weight * regularization]

其中scale_pos_weight直接影响正样本在损失函数中的权重系数，而feature_weights则通过修改特征分裂时的增益计算来影响树结构生长方向。两者协同工作时，模型会：

1. 更频繁地使用高权重特征进行节点分裂
2. 对少数类样本预测错误施加更大惩罚
3. 在特征重要性计算中自动体现人工先验知识

注意：feature_weights需要与importance_type参数配合使用，当importance_type='gain'时效果最明显

2. 样本权重配置：从基础配比到动态调整

设置scale_pos_weight的经典方法是使用负样本数/正样本数的比值：

# 计算基础样本权重 neg_pos_ratio = np.sum(y==0) / np.sum(y==1) model = XGBClassifier(scale_pos_weight=neg_pos_ratio)

但在实际业务中，我们可能需要更精细的调整策略：

进阶技巧是使用样本动态加权，根据预测难度调整权重：

def dynamic_weight(y_true, y_pred): pred_prob = 1/(1+np.exp(-y_pred)) # 对难以预测的正样本增加权重 hard_pos_mask = (y_true==1) & (pred_prob<0.3) return np.where(hard_pos_mask, 3.0, 1.0) model.fit(X, y, sample_weight=dynamic_weight)

3. 特征权重实战：将业务知识注入模型

假设我们在金融风控场景中已通过业务分析确定以下特征重要性排序：

1. 最近1小时交易金额（权重0.4）
2. 设备指纹匹配度（权重0.3）
3. 地理位置风险评分（权重0.2）
4. 用户历史行为分（权重0.1）

通过feature_weights参数注入这些先验知识：

feature_weights = [0.4, 0.3, 0.2, 0.1] # 与特征顺序一致 model = XGBClassifier( feature_weights=feature_weights, importance_type='gain' )

验证特征权重效果的方法：

# 训练后对比人工权重与模型学到的特征重要性 plt.figure(figsize=(10,6)) plt.barh(features, model.feature_importances_) plt.title('实际特征重要性 vs 初始权重')

典型问题解决方案：

• 权重失效：检查是否设置了importance_type='gain'
• 过拟合：适当降低权重极差，如从[0.9,0.1]改为[0.6,0.4]
• 特征工程冲突：权重应用在原始特征而非衍生特征上

4. 评估指标选择与参数联合优化

不平衡分类需要特别设计的评估指标，XGBoost支持三种自定义方式：

1. 内置指标：'aucpr'(PR曲线下面积)比常规AUC更适合不平衡数据
2. Scikit-learn指标：通过make_scorer封装f1、召回率等
3. 完全自定义：实现返回(指标名, 数值)的函数

from sklearn.metrics import make_scorer def weighted_f1(y_true, y_pred): return f1_score(y_true, y_pred>0.5, sample_weight=dynamic_weight(y_true,y_pred)) custom_eval = make_scorer(weighted_f1, needs_proba=False) param_grid = { 'scale_pos_weight': [1, 3, 5, 7], 'feature_weights': [ None, [0.3,0.3,0.2,0.2], [0.5,0.3,0.1,0.1] ] } search = GridSearchCV(model, param_grid, scoring=custom_eval)

参数优化时的黄金组合：

• 先单独调scale_pos_weight找到baseline
• 固定样本权重后优化feature_weights
• 最后联合微调其他超参数

5. 实战案例：信用卡欺诈检测系统优化

某银行数据集特征：

• 正负样本比：1:584
• 关键特征：'hourly_amount'(每小时交易额), 'geo_risk'(地理位置风险分)

优化前后的性能对比：

实现代码关键片段：

# 双重加权配置 final_model = XGBClassifier( scale_pos_weight=584*1.2, # 增加20%惩罚权重 feature_weights=[0.5, 0.3, 0.2], # 对应三个关键特征 eval_metric='aucpr', early_stopping_rounds=20 ) # 自定义验证指标 eval_history = final_model.fit( X_train, y_train, eval_set=[(X_val, y_val)], verbose=True )

部署时的注意事项：

• 在线服务需要预计算特征权重向量
• 监控系统需特别关注少数类指标波动
• 定期重新校准权重系数（建议季度更新）