day23 常见特征筛选算法

1.方差筛选 是最基础的过滤法:计算特征的方差，剔除方差极低的特征(这类特征数值变化小，对样本区分度弱)。优点是计算极快，缺点是只看特征自身，不考虑和目标的关联。
2.皮尔逊相关系数筛选 属于过滤法:计算特征与目标变量的皮尔逊相关系数(衡量线性相关程度)，保留相关系数绝对值高的特征。
优点是直观易懂，缺点仅能捕捉线性关联，对非线性关系无效。
3.Lasso 筛选 属于嵌入法:在线性模型(如线性回归、逻辑回归)中加入L1正则化，迫使不重要的特征系数收缩至 0，最终保留系数非0的特征。既能完成特征筛选，也能同步训练模型，适合高维数据。
树模型重要性 属于嵌入法:基于决策树/随机森林/XGBoost等树模型，通过“特征对节点分裂的贡献度”计算重要性，保留重要4性高的特征。优点是能捕捉非线性关联，缺点是易受高基数特征干扰。
5.SHAP 重要性 是树模型重要性的进阶版:基于 SHAP 值(解释模型预测的统一框架)计算特征重要性，不仅能体现特征的整体影响程度，还能展示特征对预测结果的正负方向，解释性更强。
6.递归特征消除(RFE) 属于包裹法:反复训练指定模型，每次移除模型判定的“最不重要特征”，直到保留预设数量的特征。优点是直接以模型性能为筛选依据，精度较高;缺点是计算成本高(需多次训练模型)@浙大疏锦行