企业官网建设流程全解析

特征工程里有个很尴尬的现实：你手上可能有几十上百个特征，但真正对结果有影响的，可能就那么几个。剩下的要么是噪声，要么是冗余，要么干脆就是来捣乱的。SelectKBest 就是用来解决这个问题的——它帮你从一堆特征里挑出评分最高的 K 个，简单粗暴但极其好用。我第一次在真实项目里用它的时候，把 87 个特征砍到 12 个，模型准确率反而涨了 3 个百分点，训练时间直接少了一半。这篇文章就是把我这些年用 SelectKBest 踩过的坑、总结的经验、以及那些文档里不会写的细节，全部摊开来讲。不管你是刚接触特征工程的新手，还是已经用过但总觉得哪里不对劲的老手，应该都能找到点有用的东西。

1. 为什么特征选择值得你花时间

1.1 特征多了到底有什么问题

很多人刚入门机器学习的时候，总觉得特征越多越好，恨不得把能拿到的数据全塞进去。我早期也这么干过，结果就是模型训练慢得让人想砸键盘，效果还忽上忽下。后来才明白，特征多带来的问题远比想象中严重。

最直接的问题是维度灾难。当特征维度升高时，数据在空间里变得越来越稀疏，模型要找到有效的决策边界就需要指数级更多的样本。举个例子，一维空间里 10 个样本点就能覆盖得比较均匀，但到了十维空间，同样密度的覆盖需要 10 的十次方个样本，这根本不现实。所以特征一多，模型就容易过拟合，在训练集上表现很好，一到测试集就原形毕露。

第二个问题是噪声干扰。不是所有特征都和你的目标变量有关系。有些特征纯粹是随机波动，有些特征之间高度相关，提供的信息大量重叠。这些无用或冗余的特征会干扰模型的学习过程，让模型把注意力分散到不重要的模式上。我见过一个案例，某团队在做一个分类任务时，加入了一批和标签完全无关的特征，结果模型 AUC 从 0.85 掉到了 0.72，去掉那些噪声特征后才恢复。

第三个问题是计算成本。特征越多，训练时间越长，内存占用越大。在工业级应用里，这直接关系到能不能按时交付、能不能在有限资源下跑起来。尤其是深度学习模型，输入维度翻倍，参数量可能翻好几倍，训练成本不是线性增长而是指数增长。

1.2 SelectKBest 在特征选择方法里的位置

特征选择方法大致可以分成三大类：过滤法（Filter）、包裹法（Wrapper）和嵌入法（Embedded）。SelectKBest 属于过滤法，它的工作方式是：先对每个特征单独计算一个评分，然后按评分从高到低排序，保留前 K 个。

过滤法的优点是快。它不需要训练模型，只是对每个特征做统计计算，所以计算成本很低，特别适合高维数据集。缺点是它不考虑特征之间的组合效应，也不考虑特征与具体模型的交互。一个特征单独看可能评分不高，但和另一个特征组合起来可能非常有用，过滤法就会把它丢掉。

包裹法比如递归特征消除（RFE），它会用模型的实际表现来评估特征子集，效果通常更好，但计算成本高得多。嵌入法比如 Lasso 正则化，在模型训练过程中自动完成特征选择，兼顾了效果和效率，但需要特定的模型支持。

SelectKBest 的定位很明确：当你需要一个快速、可解释、不依赖具体模型的特征选择方案时，它是首选。尤其是在特征维度极高、你需要在建模之前先做一轮粗筛的场景下，SelectKBest 几乎是标配。

1.3 什么场景下优先考虑 SelectKBest

不是所有场景都适合用 SelectKBest。根据我的经验，以下几种情况用它最合适：

• 特征维度远大于样本量：比如基因表达数据，动辄几万个特征但只有几百个样本。这种情况下先用 SelectKBest 砍掉大部分无关特征，再用其他方法精细筛选，是标准流程。
• 需要快速建立基线模型：项目初期，你需要快速知道哪些特征可能有信号。SelectKBest 几分钟就能跑完，帮你快速定位方向。
• 模型训练成本高：如果你用的是深度学习或者集成模型，每次训练都要几个小时，那在训练之前用 SelectKBest 做一轮过滤，能省下大量时间和算力。
• 需要可解释性：SelectKBest 的评分是透明的，你能清楚看到每个特征的得分，方便向非技术人员解释为什么选了这些特征。

反过来，如果你的特征维度本来就不高（比如几十个），或者特征之间的交互效应非常重要，那 SelectKBest 可能不是最佳选择，可以考虑嵌入法或包裹法。

2. SelectKBest 的核心机制拆解

2.1 评分函数才是真正的核心

SelectKBest 本身其实是个很薄的封装，它的核心在于你传给它的评分函数（score_func）。这个函数决定了每个特征怎么打分，也就决定了最终选出来的特征质量。选错了评分函数，后面的一切都是白搭。

常用的评分函数分两大类：基于统计检验的和基于信息论的。

基于统计检验的评分函数包括：

• f_classif：用于分类任务，计算 ANOVA F 值。它检验的是每个特征在不同类别下的均值是否有显著差异。如果某个特征在不同类别下的均值差异很大，说明这个特征对分类有帮助。
• f_regression：用于回归任务，计算 F 值。它检验的是特征与目标变量之间的线性相关性。
• chi2：用于分类任务，计算卡方统计量。它适用于特征是非负值的情况，比如词频、计数等。

基于信息论的评分函数主要是mutual_info_classif和mutual_info_regression，它们计算特征与目标变量之间的互信息。互信息的好处是能捕捉非线性关系，不局限于线性相关。但计算成本比 F 检验高，而且需要更多样本才能得到稳定估计。

2.2 F 检验评分函数的数学原理

以f_classif为例，它的计算过程是这样的：

对于每个特征，计算组间方差和组内方差的比值。组间方差反映的是不同类别之间该特征的均值差异，组内方差反映的是同一类别内部该特征的波动。F 值越大，说明组间差异相对于组内波动越显著，这个特征就越有区分度。

具体公式是：

F = (组间均方) / (组内均方)

其中组间均方 = 组间平方和 / (类别数 - 1)，组内均方 = 组内平方和 / (样本数 - 类别数)。

这个计算过程本质上是在做单因素方差分析（One-Way ANOVA）。它假设每个特征在不同类别下服从正态分布，且方差相等。实际数据不一定满足这些假设，但 F 检验在大多数情况下仍然表现稳健。

2.3 互信息评分函数的优势与代价

互信息衡量的是两个随机变量之间的依赖程度。如果特征 X 和目标 Y 的互信息为 0，说明它们相互独立；互信息越大，说明 X 包含关于 Y 的信息越多。

互信息的优势在于它能捕捉任意形式的依赖关系，不限于线性。比如 X 和 Y 是二次函数关系，F 检验可能检测不到，但互信息能检测到。这在真实数据里很重要，因为很多特征和目标的关系并不是线性的。

但互信息有两个代价：一是计算成本高，尤其是连续变量需要做核密度估计或分箱处理；二是需要更多样本才能得到稳定估计，样本少的时候互信息估计偏差很大。所以我的建议是：样本量充足（比如几千以上）且怀疑存在非线性关系时，用互信息；否则用 F 检验就够了。

2.4 K 值的选择：没有标准答案但有方法

K 值选多少，这是用 SelectKBest 时最常被问到的问题。说实话，没有万能答案，但有几个实用的方法：

方法一：网格搜索。把 K 作为超参数，用交叉验证来选。比如 K 取 5、10、20、50、100，看哪个 K 下模型表现最好。这是最靠谱的方法，但计算成本也最高。

方法二：看评分曲线。把特征按评分排序，画出评分随排名变化的曲线。通常会发现曲线在某处有个明显的拐点，拐点之前的特征评分下降很快，之后趋于平缓。选拐点附近的 K 值通常不错。

方法三：基于领域知识。如果你对业务有理解，知道大概有多少特征是有意义的，可以直接定 K。比如做文本分类，你知道关键词大概几十个，那 K 就设几十。

方法四：逐步增加法。从 K=1 开始，每次增加几个特征，看模型表现。当增加特征不再带来明显提升时停止。这个方法比较直观，但比较耗时。

我个人的习惯是：先用方法二快速定位一个大致范围，然后用方法一在这个范围内精细搜索。这样既不会太慢，又能找到比较优的 K。

3. 完整实操流程与代码实现

3.1 环境准备与数据加载

先确保你装了必要的库：

pip install scikit-learn pandas numpy matplotlib

然后加载数据。这里我用一个模拟数据集来演示，实际项目中你换成自己的数据就行：

import numpy as np import pandas as pd from sklearn.datasets import make_classification from sklearn.feature_selection import SelectKBest, f_classif, mutual_info_classif, chi2 from sklearn.model_selection import cross_val_score, GridSearchCV from sklearn.ensemble import RandomForestClassifier from sklearn.pipeline import Pipeline from sklearn.preprocessing import MinMaxScaler import matplotlib.pyplot as plt # 生成模拟数据：1000个样本，50个特征，其中只有10个是真正有用的 X, y = make_classification( n_samples=1000, n_features=50, n_informative=10, n_redundant=5, n_repeated=5, n_classes=2, random_state=42 ) print(f"数据形状: {X.shape}") print(f"类别分布: {np.bincount(y)}")

这个模拟数据设置了 50 个特征，其中 10 个是 informative（真正有信息量的），5 个是 redundant（由 informative 特征线性组合而成），5 个是 repeated（重复特征），剩下 30 个是纯噪声。这样设计是为了模拟真实场景：有用特征只是一小部分。

3.2 用 SelectKBest 做初步特征筛选

先用 F 检验评分函数跑一遍：

# 使用 F 检验评分函数 selector_f = SelectKBest(score_func=f_classif, k=15) X_selected_f = selector_f.fit_transform(X, y) # 查看每个特征的评分 scores_f = selector_f.scores_ pvalues_f = selector_f.pvalues_ # 按评分排序 feature_ranking = pd.DataFrame({ 'feature_index': range(X.shape[1]), 'f_score': scores_f, 'p_value': pvalues_f }).sort_values('f_score', ascending=False) print("F 检验评分排名前 20 的特征:") print(feature_ranking.head(20))

跑完你会看到，真正 informative 的那 10 个特征评分明显高于噪声特征。但注意，redundant 特征因为和 informative 特征线性相关，评分也会比较高，这很正常。

3.3 不同评分函数的对比实验

光看一个评分函数不够，我们对比一下 F 检验、互信息和卡方：

# 对比不同评分函数 score_funcs = { 'f_classif': f_classif, 'mutual_info': mutual_info_classif, 'chi2': chi2 } results = {} for name, func in score_funcs.items(): if name == 'chi2': # 卡方要求特征非负，先做 MinMax 缩放 X_nonneg = MinMaxScaler().fit_transform(X) selector = SelectKBest(score_func=func, k=15) selector.fit(X_nonneg, y) else: selector = SelectKBest(score_func=func, k=15) selector.fit(X, y) # 记录被选中的特征索引 selected = selector.get_support(indices=True) results[name] = set(selected) print(f"{name} 选中的特征: {sorted(selected)}") # 看不同方法的重合度 print("\n重合度分析:") for name1 in results: for name2 in results: if name1 < name2: overlap = len(results[name1] & results[name2]) print(f"{name1} vs {name2}: 重合 {overlap} 个特征")

实测下来，F 检验和互信息选出的特征重合度通常在 60%-80% 之间，卡方因为对非负值敏感，结果可能差异更大。我的建议是：如果时间允许，用多个评分函数各跑一遍，取交集或并集，这样更稳健。

3.4 把 SelectKBest 嵌入完整建模流程

SelectKBest 单独用没意义，它必须嵌入到完整的建模流程里。用 Pipeline 可以避免数据泄露：

# 构建完整流程 pipeline = Pipeline([ ('selector', SelectKBest(score_func=f_classif, k=15)), ('classifier', RandomForestClassifier(n_estimators=100, random_state=42)) ]) # 交叉验证评估 cv_scores = cross_val_score(pipeline, X, y, cv=5, scoring='accuracy') print(f"交叉验证准确率: {cv_scores.mean():.4f} (+/- {cv_scores.std():.4f})") # 对比：不做特征选择 pipeline_full = Pipeline([ ('classifier', RandomForestClassifier(n_estimators=100, random_state=42)) ]) cv_scores_full = cross_val_score(pipeline_full, X, y, cv=5, scoring='accuracy') print(f"全特征准确率: {cv_scores_full.mean():.4f} (+/- {cv_scores_full.std():.4f})")

这里有个关键点：SelectKBest 必须放在 Pipeline 里面，不能在外面先做再交叉验证。因为如果在外面做，特征选择时用到了全部数据的信息，包括验证集的信息，这就造成了数据泄露，交叉验证的结果会偏乐观。

3.5 用网格搜索找最优 K 值

K 值到底选多少，用网格搜索来定：

# 网格搜索最优 K 值 param_grid = { 'selector__k': [5, 10, 15, 20, 30, 40, 50] } grid_search = GridSearchCV( pipeline, param_grid, cv=5, scoring='accuracy', n_jobs=-1 ) grid_search.fit(X, y) print(f"最优 K 值: {grid_search.best_params_['selector__k']}") print(f"最优准确率: {grid_search.best_score_:.4f}") # 画出 K 值与准确率的关系 k_values = param_grid['selector__k'] mean_scores = grid_search.cv_results_['mean_test_score'] std_scores = grid_search.cv_results_['std_test_score'] plt.figure(figsize=(10, 6)) plt.errorbar(k_values, mean_scores, yerr=std_scores, marker='o', capsize=5) plt.xlabel('K 值') plt.ylabel('交叉验证准确率') plt.title('K 值对模型表现的影响') plt.grid(True, alpha=0.3) plt.show()

跑完这个图，你通常能看到准确率随 K 先升后降或趋于平缓。最优 K 往往在曲线拐点附近。注意，如果最优 K 就是最大值 50，说明特征选择没带来提升，可能你的数据里噪声不多，或者评分函数没选对。

4. 那些文档里不会写的实战经验

4.1 数据泄露：最容易犯的致命错误

我见过太多人在这个问题上翻车，包括我自己早期也犯过。数据泄露的典型场景是这样的：

# 错误做法：先做特征选择，再交叉验证 selector = SelectKBest(score_func=f_classif, k=15) X_selected = selector.fit_transform(X, y) # 这里用了全部数据 scores = cross_val_score(model, X_selected, y, cv=5) # 结果偏乐观

这个错误为什么严重？因为fit_transform在全部数据上计算了特征评分，包括后面交叉验证中作为验证集的那部分数据。模型在训练时已经"偷看"了验证集的信息，所以交叉验证的结果会虚高。在实际部署时，新数据进来，特征选择的依据可能完全不同，表现就会大打折扣。

正确做法只有一种：把特征选择放进 Pipeline，让交叉验证的每一折都在训练集上独立做特征选择。这样虽然计算成本高一些，但结果才是可信的。

4.2 评分函数的假设条件不能忽略

每个评分函数都有自己的假设，违反了假设结果就不可靠：

• f_classif假设特征在各类别下服从正态分布且方差相等。如果你的特征严重偏态（比如收入数据），最好先做变换（对数变换、Box-Cox 变换）再用。
• chi2要求特征非负。如果你的特征有负值，必须先做 MinMax 缩放或取绝对值，否则会报错或结果无意义。
• mutual_info_classif对连续变量会做分箱或核密度估计，分箱数、核宽度这些参数会影响结果。样本少的时候估计偏差大，建议样本量至少几千再用。

我的一般流程是：先看数据分布，偏态严重就先变换；然后根据任务类型选评分函数；最后用多个评分函数交叉验证，看结果是否一致。

4.3 特征评分高不等于模型效果好

这是一个反直觉但非常重要的点。SelectKBest 是单变量筛选，它评估的是每个特征单独与目标的关系。但模型是多个特征一起工作的，特征之间的交互效应、冗余关系，单变量评分完全看不到。

我遇到过好几次这种情况：某个特征 F 检验评分很高，但加入模型后效果反而变差。原因是这个特征和另一个已选特征高度相关，提供了重复信息，反而增加了噪声。反过来，有些特征单独评分不高，但和其他特征组合起来很有用，SelectKBest 会把它丢掉。

所以我的经验是：SelectKBest 的结果只能作为参考，不能作为最终决策。选完之后一定要用模型实际验证，看效果是否真的提升了。如果没提升甚至下降了，说明评分函数或 K 值需要调整。

4.4 高维稀疏数据的特殊处理

文本数据、推荐系统数据往往是高维稀疏的，几万个特征但每个样本只有几十个非零值。这种情况下用 SelectKBest 有几个注意点：

第一，chi2在这种场景下通常比f_classif更合适，因为文本特征（词频、TF-IDF）天然非负，而且卡方对稀疏数据的处理更自然。

第二，K 值可以设大一些。因为稀疏数据里很多特征只是偶尔出现，单看评分可能不高，但组合起来有用。我一般会设 K 为特征总数的 5%-10%，而不是一个固定的小数字。

第三，考虑用SelectPercentile代替SelectKBest。它按百分比选特征，不用手动定 K，在特征维度变化时更灵活。

4.5 与后续特征工程的配合

SelectKBest 不是孤立的步骤，它和前后环节都有配合关系：

前面：特征缩放。虽然 SelectKBest 本身不要求缩放，但如果你后面要用需要缩放的模型（SVM、逻辑回归），或者用chi2评分函数，就需要先做缩放。建议把缩放也放进 Pipeline。

后面：如果 SelectKBest 之后还要做其他特征选择（比如 RFE），要注意顺序。一般先用 SelectKBest 粗筛，再用 RFE 精筛。反过来效果不好，因为 RFE 计算成本高，特征太多跑不动。

并行：SelectKBest 可以和 PCA、LDA 等降维方法结合。先用 SelectKBest 选特征，再用 PCA 降维，有时候效果比单独用其中一个好。但要注意 PCA 后的成分不再有原始特征的可解释性。

5. 常见问题排查速查表

5.1 报错与异常处理

5.2 效果不理想的排查思路

如果 SelectKBest 跑完模型效果没提升，按这个顺序排查：

第一步：确认基线。先跑一个不做特征选择的基线，看效果如何。如果基线本来就很差，那问题不在特征选择，而在数据质量或模型选择。

第二步：检查评分函数。换一个评分函数再跑，看结果是否一致。如果差异很大，说明数据里有非线性关系或分布问题。

第三步：调整 K 值。用网格搜索找最优 K。如果最优 K 接近特征总数，说明特征选择没起作用，可能你的特征本来质量就不错。

第四步：看被丢弃的特征。手动检查一下被 SelectKBest 丢掉的特征，看看有没有领域知识上应该保留的。如果有，说明评分函数没捕捉到这些特征的价值，需要考虑其他方法。

第五步：考虑交互效应。如果怀疑特征之间有强交互，SelectKBest 可能不适合，改用嵌入法或包裹法。

5.3 性能优化技巧

当特征维度极高时，SelectKBest 本身也可能变慢。几个优化技巧：

• 用n_jobs参数：部分评分函数支持并行计算，设置n_jobs=-1用满所有 CPU 核心。
• 先做方差过滤：用VarianceThreshold先删掉方差极低的特征，再跑 SelectKBest，能大幅减少计算量。
• 采样估计：如果样本量太大，可以先随机采样一部分数据来估计特征评分，再用全部数据做最终选择。但要注意采样偏差。
• 用SelectPercentile：按百分比选特征，避免手动调 K，在探索阶段更方便。

5.4 与其他特征选择方法的对比

我的实际工作流通常是：方差过滤 → SelectKBest 粗筛 → 嵌入法精筛 → 模型验证。这样层层递进，既保证了效率，又保证了效果。

6. 进阶用法与扩展思路

6.1 自定义评分函数

SelectKBest 支持传入自定义评分函数，只要函数接收(X, y)返回(scores, pvalues)即可。这给了很大的灵活性。比如你可以写一个基于领域知识的评分函数：

from sklearn.feature_selection import SelectKBest def custom_score(X, y): """自定义评分：结合统计检验和领域权重""" from scipy import stats scores = [] pvalues = [] for i in range(X.shape[1]): # 基础 F 检验 groups = [X[y == c, i] for c in np.unique(y)] f_val, p_val = stats.f_oneway(*groups) # 加入领域权重（这里假设某些特征索引有更高优先级） domain_weight = 1.5 if i < 10 else 1.0 scores.append(f_val * domain_weight) pvalues.append(p_val) return np.array(scores), np.array(pvalues) selector = SelectKBest(score_func=custom_score, k=15) X_selected = selector.fit_transform(X, y)

自定义评分函数的好处是能把领域知识编码进去，但要注意不要过度拟合，最好在验证集上确认效果。

6.2 稳定性选择：让结果更可靠

单次 SelectKBest 的结果可能受数据波动影响。稳定性选择（Stability Selection）的思路是：多次对数据做子采样，每次跑一遍 SelectKBest，统计每个特征被选中的频率，最后选频率高的特征。

def stability_selection(X, y, k=15, n_iterations=50, subsample_ratio=0.8): """稳定性选择""" n_samples = X.shape[0] n_subsample = int(n_samples * subsample_ratio) selection_counts = np.zeros(X.shape[1]) for i in range(n_iterations): # 随机子采样 indices = np.random.choice(n_samples, n_subsample, replace=False) X_sub = X[indices] y_sub = y[indices] # 跑 SelectKBest selector = SelectKBest(score_func=f_classif, k=k) selector.fit(X_sub, y_sub) # 统计被选中的特征 selected = selector.get_support() selection_counts += selected # 计算选中频率 selection_freq = selection_counts / n_iterations return selection_freq # 使用 freq = stability_selection(X, y, k=15, n_iterations=50) stable_features = np.where(freq > 0.6)[0] # 选中频率超过 60% 的特征 print(f"稳定特征: {sorted(stable_features)}") print(f"稳定特征数量: {len(stable_features)}")

稳定性选择能有效过滤掉那些"偶然"被选中的特征，留下的特征更可靠。代价是计算时间成倍增加，但在关键项目里值得。

6.3 结合交叉验证的特征选择

更严谨的做法是在交叉验证的每一折里独立做特征选择，然后统计每个特征被选中的频率。这比稳定性选择更严格，因为它同时考虑了数据划分的随机性：

from sklearn.model_selection import StratifiedKFold def cv_feature_selection(X, y, k=15, n_splits=5): """交叉验证特征选择""" skf = StratifiedKFold(n_splits=n_splits, shuffle=True, random_state=42) selection_counts = np.zeros(X.shape[1]) for train_idx, _ in skf.split(X, y): X_train = X[train_idx] y_train = y[train_idx] selector = SelectKBest(score_func=f_classif, k=k) selector.fit(X_train, y_train) selection_counts += selector.get_support() selection_freq = selection_counts / n_splits return selection_freq freq = cv_feature_selection(X, y, k=15, n_splits=5) print("各特征被选中频率:") for i, f in enumerate(freq): if f > 0: print(f"特征 {i}: {f:.2f}")

这个方法的好处是，你能清楚看到哪些特征在所有折里都被选中（频率=1.0），哪些只在部分折里被选中。前者是真正稳定的特征，后者可能需要进一步考察。

6.4 在深度学习流程中的使用

虽然 SelectKBest 是传统机器学习工具，但在深度学习流程里也能用。常见做法是在数据预处理阶段用 SelectKBest 做一轮筛选，减少输入维度，然后送入神经网络。

但要注意：深度学习模型本身有很强的特征学习能力，过度筛选可能损失有用信息。我的建议是：如果数据量充足，让神经网络自己学；如果数据量有限或训练成本高，用 SelectKBest 做适度筛选。筛选时 K 值可以设大一些，保留更多特征，让网络有更多选择空间。

另外，对于图像、文本这类结构化数据，SelectKBest 直接用在原始像素或词向量上效果通常不好，因为单个像素或单词的信息量太低。这种情况下应该先用卷积、嵌入等方法提取特征，再对提取后的特征做选择。

7. 我的实战心得与建议

7.1 不要迷信任何单一方法

SelectKBest 是个好工具，但不是万能药。我见过太多人把它当成黑盒，调个参数就跑，结果不理想就换方法，从来不深究为什么。我的建议是：理解每个评分函数的原理和假设，理解你的数据特点，然后选择匹配的方案。如果 F 检验效果不好，试试互信息；如果互信息也不理想，可能是特征和目标的关系太复杂，需要考虑嵌入法或包裹法。

7.2 特征选择是迭代过程

特征选择不是一次性的步骤，而是需要反复迭代的。我的典型流程是：

1. 先跑一遍 SelectKBest，看评分分布，确定大致范围
2. 用网格搜索找最优 K
3. 看被选中的特征，结合领域知识判断是否合理
4. 用模型验证效果
5. 如果效果不理想，回到第 1 步，换评分函数或调整预处理

这个循环可能要走好几轮，但每轮都能让你对数据有更深的理解。

7.3 记录和对比很重要

每次实验都要记录：用了什么评分函数、K 值多少、选了哪些特征、模型效果如何。这些记录在后续调优时非常有用。我习惯用表格记录：

有了这样的记录，你就能清楚看到趋势，做出更明智的决策。

7.4 别忘了业务理解

最后也是最重要的一点：特征选择不能脱离业务理解。SelectKBest 是统计工具，它不知道哪个特征在业务上重要。有时候一个特征统计评分不高，但业务上非常关键，这时候就需要人工干预，把它保留下来。

我的一般做法是：SelectKBest 选完之后，把被丢弃的特征列表拿给业务方看，问他们有没有哪个特征是不能丢的。这个步骤花不了多少时间，但能避免很多低级错误。

特征选择这件事，说到底是在信息和噪声之间找平衡。SelectKBest 提供了一种简单有效的平衡方式，但最终决策还是要结合数据、模型和业务三方面来判断。多试、多记录、多思考，慢慢你就能形成自己的直觉，知道什么场景该用什么方法、K 值大概设多少。这种直觉，才是真正值钱的东西。