机器学习必会降维算法之特征选择（Feature Selection）

创作时间:

作者:

@小白创作中心

机器学习必会降维算法之特征选择（Feature Selection）

引用

51CTO

https://blog.51cto.com/u_15910936/11179066

特征选择是机器学习中重要的降维技术，通过从原始特征中选择最有价值的特征子集，可以提高模型的性能。本文将详细介绍特征选择的定义、应用场景以及三种主要实现方式：过滤法、包装法和嵌入法，并通过代码示例帮助读者更好地理解这一概念。

1、引言

在机器学习中，特征选择（Feature Selection）是一种降维技术，旨在从原始特征中选择出最有价值的特征子集，以提高模型的性能。

接下来，我们将深入了解特征选择。

2、特征选择（Feature Selection）

2.1 定义

特征选择是指在构建机器学习模型时，从给定的特征集合中选出对模型预测性能贡献最大的一部分特征，而不是使用全部特征。

这样做的目的是减少数据的维度，提高模型的训练效率，降低过拟合的风险，并可能提高模型的泛化能力。

2.2 应用场景

高维数据处理：当数据集具有大量特征时（如文本分类、基因数据分析），特征选择有助于降低计算复杂度。
提升模型性能：通过去除无关或冗余特征，提高模型的预测准确率。
数据可解释性：选出关键特征后，模型的决策过程更容易被理解。

2.3 实现方式

特征选择的实现方式主要分为三类：

过滤法（Filter Methods）
包装法（Wrapper Methods）
嵌入法（Embedded Methods）。

接下来详细聊一聊。

2.3.1 过滤法（Filter Methods）

过滤方法（Filter Methods）：这类方法先对数据集进行特征选择，然后再训练学习器。它们根据特征的统计性质来选择特征，如相关系数、卡方检验等。
常见的过滤法包括：
方差选择法：选择方差大于某阈值的特征。
相关系数法：计算特征与目标变量之间的相关系数，选择相关系数大于某阈值的特征。
卡方检验：用于分类任务，检验非负特征和输出之间的关系。
互信息法：计算特征与目标变量之间的互信息，选择互信息大于某阈值的特征。

2.3.2 包装法（Wrapper Methods）

包装方法（Wrapper Methods）：这类方法将特征选择过程和模型训练过程结合起来。它们通过选择一组特征并训练模型，根据模型的性能来评价这组特征的好坏。

2.3.3 过嵌入法（Embedded Methods）

嵌入方法（Embedded Methods）：这类方法在模型训练过程中进行特征选择，如Lasso回归。

2.4 代码示例

# -*- coding:utf-8 -*-
# @Time   : 2024-05-22
# @Author : Carl_DJ
from sklearn.feature_selection import VarianceThreshold  
from sklearn.datasets import load_iris  
import numpy as np  
  
# 加载数据集  
iris = load_iris()  
X = iris.data  
y = iris.target  
  
# 设定方差阈值  
threshold = 0.8 * (X.var().min())  
  
# 创建方差选择法对象  
sel = VarianceThreshold(threshold=(threshold ** 2))  
  
# 选择特征  
X_new = sel.fit_transform(X)  
  
# 输出选择后的特征数量  
print('原始特征数量:', X.shape[1])  
print('选择后的特征数量:', X_new.shape[1])  
  
# 查看被移除的特征索引  
print('被移除的特征索引:', np.where(sel.get_support(indices=False) == False)[0])