特征越多模型效果就越好？这个想法在实践中往往站不住脚，因为过多的特征反而会带来过拟合、训练时间过长、模型难以解释等一堆麻烦。递归特征消除(RFE)就是用来解决这类问题的，算是特征选择里面比较靠谱的方法之一。
本文会详细介绍RFE 的工作原理，然后用 scikit-learn 跑一个完整的例子。
RFE 是什么
递归特征消除本质上是个反向筛选过程。它会先用全部特征训练模型，然后根据模型给出的重要性评分把最不重要的特征踢掉，接着用剩下的特征重新训练，如此反复直到达到设定的特征数量。
这可以理解成雕刻的过程，一点点削掉不重要的部分，最后留下对预测真正有用的核心特征。
RFE 比单变量特征选择高明的地方在于，它考虑了特征之间的交互关系。每次删掉特征后都会重新训练，这样能捕捉到特征组合的效果。
RFE 适用范围比较广，只要模型能给出特征重要性就能用。它会自己考虑特征之间怎么配合，这点很关键。删掉无关特征后模型泛化能力会更好，不容易过拟合。特征少了模型自然更好理解，训练和预测的速度也快。
https://avoid.overfit.cn/post/2ef37f6acc184f2dbf8ae46fba3377bf