特征选择的几种方法
目录html
一、 过滤法（Filter）python
1.3 卡方检验网络
1.4 互信息法app
1.5 relief算法dom
二、包裹法（Wrapper）机器学习
一、 过滤法（Filter）
1.1 方差选择法
使用方差选择法，先要计算各个特征的方差，而后根据阈值，选择方差大于阈值的特征。使用feature_selection库的VarianceThreshold类来选择特征的代码以下：
from sklearn.feature_selection import VarianceThreshold #方差选择法，返回值为特征选择后的数据 #参数threshold为方差的阈值 VarianceThreshold(threshold=3).fit_transform(iris.data)
1.2 相关系数法
使用相关系数法，先要计算各个特征对目标值的相关系数以及相关系数的P值。用feature_selection库的SelectKBest类结合相关系数来选择特征的代码以下：
from sklearn.feature_selection import SelectKBest from scipy.stats import pearsonr #选择K个最好的特征，返回选择特征后的数据 #第一个参数为计算评估特征是否好的函数，该函数输入特征矩阵和目标向量，输出二元组（评分，P值）的数组，数组第i项为第i个特征的评分和P值。在此定义为计算相关系数 #参数k为选择的特征个数 SelectKBest(lambda X, Y: array(map(lambda x:pearsonr(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)
1.3 卡方检验
经典的卡方检验是检验定性自变量对定性因变量的相关性。假设自变量有N种取值，因变量有M种取值，考虑自变量等于i且因变量等于j的样本频数的观察值与指望的差距，构建统计量：
不难发现，这个统计量的含义简而言之就是自变量对因变量的相关性。用feature_selection库的SelectKBest类结合卡方检验来选择特征的代码以下：
from sklearn.feature_selection import SelectKBest from sklearn.feature_selection import chi2 #选择K个最好的特征，返回选择特征后的数据 SelectKBest(chi2, k=2).fit_transform(iris.data, iris.target)
1.4 互信息法
经典的互信息也是评价定性自变量对定性因变量的相关性的（例如决策树ID3算法），互信息计算公式以下：
为了处理定量数据，最大信息系数法被提出，使用feature_selection库的SelectKBest类结合最大信息系数法来选择特征的代码以下：
from sklearn.feature_selection import SelectKBest
from minepy import MINE
#因为MINE的设计不是函数式的，定义mic方法将其为函数式的，返回一个二元组，二元组的第2项设置成固定的P值0.5
def mic(x, y):
m = MINE()
m.compute_score(x, y)
return (m.mic(), 0.5)
#选择K个最好的特征，返回特征选择后的数据
SelectKBest(lambda X, Y: array(map(lambda x:mic(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)
1.5 relief算法
Relief算法最先由Kira提出. 基本内容：从训练集D中随机选择一个样本R, 而后从和R同类的样本中寻找k最近邻样本H，从和R不一样类的样本中寻找k最近邻样本M， 最后按照公式更新特征权重.
Relief算法python实现:https://blog.csdn.net/qq_40871363/article/details/86511843
二、包裹法（Wrapper）
2.1 递归特征消除法
递归消除特征法使用一个基模型来进行多轮训练，每轮训练后，消除若干权值系数的特征，再基于新的特征集进行下一轮训练。使用feature_selection库的RFE类来选择特征的代码以下：
from sklearn.feature_selection import RFE from sklearn.linear_model import LogisticRegression #递归特征消除法，返回特征选择后的数据 #参数estimator为基模型 #参数n_features_to_select为选择的特征个数 RFE(estimator=LogisticRegression(), n_features_to_select=2).fit_transform(iris.data, iris.target)
2.2 特征干扰法
特征选择原理：用加上噪声的特征和原特征下的偏差对比来评价特征重要性，偏差越大，说明特征越重要。以随机森林为例：
- 对随机森林中的每一颗决策树，用OOB（袋外数据）计算偏差errOOB1;
- 对OOB全部样本特征X加上噪声干扰，再次计算偏差errOOB2;
- N棵树，特征X的重要性=
- 若某个特征加上噪声后，袋外的准确率大幅度下降，说明此特征对于样本的分类结果影响很大，即重要程度越高。
sklearn中会对每一个特征赋予一个分数，分数越大，特征越重要，所以，能够根据特征重要性排序，而后选择最佳特征组合；
RandomForestClassifier(n_estimators=200,oob_score=True) oob_score : bool (default=False) Whether to use out-of-bag samples to estimate the generalization accuracy. oob_score: bool(默认=False) 是否使用袋外样品进行估算 泛化精度。
三、嵌入法（Embedded）
嵌入特征选择方法和算法自己紧密结合，在模型训练过程当中完成特征选择。例如，
决策树算法每次都选择分类能力最强的特征；
线性回归+L2正则化：某些信号比较弱的特征权重减少；
线性回归+L1正则化：某些信号比较弱的特征权重为0；
弹性网络：L1惩罚项降维的原理在于保留多个对目标值具备同等相关性的特征中的一个，因此没选到的特征不表明不重要。
3.1 基于惩罚项的特征选择法
使用带惩罚项的基模型，除了筛选出特征外，同时也进行了降维。使用feature_selection库的SelectFromModel类结合带L1惩罚项的逻辑回归模型，来选择特征的代码以下：
from sklearn.feature_selection import SelectFromModel from sklearn.linear_model import LogisticRegression #带L1惩罚项的逻辑回归做为基模型的特征选择 SelectFromModel(LogisticRegression(penalty="l1", C=0.1)).fit_transform(iris.data, iris.target)
3.2 基于树模型的特征选择法
树模型中GBDT也可用来做为基模型进行特征选择，使用feature_selection库的SelectFromModel类结合GBDT模型，来选择特征的代码以下：
from sklearn.feature_selection import SelectFromModel from sklearn.ensemble import GradientBoostingClassifier #GBDT做为基模型的特征选择 SelectFromModel(GradientBoostingClassifier()).fit_transform(iris.data, iris.target)
四、机器学习中的特征选择和优缺点
参考：http://www.noobyard.com/article/p-rtaylcnu-ky.html
——————————————————————
参考：