企业官网建设流程全解析

简介：这份资源是《机器学习实战》的配套学习包，面向希望用Python动手实践机器学习的初学者与开发者，帮助读者在阅读理论的同时完成代码复现与项目练习。压缩包共79个文件，约32MB，以74个py源码为主体，覆盖决策树、朴素贝叶斯、KNN、逻辑回归、SVM、AdaBoost、回归与回归树等章节实现，另含2个pdf电子书、2个md说明文档及1个数据集压缩包，便于对照章节逐步运行与调试。目前已有2949人学习下载，说明其在入门群体中具有较高参考价值。读者可借助源码理解算法实现细节，利用数据集在分类、回归、聚类等真实场景中训练与评估模型，并通过修改代码探索参数与效果变化，从而把Scikit-Learn、Numpy、Pandas等工具的使用落到具体案例中，为后续独立完成机器学习项目打下基础。

1. 从《机器学习实战》PDF 到能跑的 Python：先搞清楚这本书到底该怎么用

很多人搜「机器学习实战 pdf」和「Python」，下载完 PDF 之后翻了两章就卡住了——不是数学看不懂，而是书里的代码跑不起来。这本书的定位从来不是理论教材，它是一本「照着敲就能出结果」的实战手册，覆盖 kNN、决策树、朴素贝叶斯、Logistic 回归、SVM、AdaBoost、线性回归、K 均值、Apriori、FP-Growth、PCA、SVD 等经典算法，每个算法都配了可运行的数据集和 Python 代码。问题在于，书中的代码基于 Python 2 和早期 NumPy 写法，直接复制到 Python 3.8 以上的环境里，print语句、dict.has_key()、map返回类型这些地方会批量报错。所以正确的用法是：把 PDF 当算法流程和参数解释的参考，把代码当需要移植的骨架，而不是逐字照抄的成品。这篇文章面向的是已经装了 Python、配好了 NumPy，但被书里代码卡住的读者，也面向想用这本书系统过一遍经典算法但不想在环境问题上浪费时间的从业者。接下来我会按「环境准备 → 代码移植 → 算法调试 → 避坑 → 进阶验证」的顺序，把这本书真正跑起来。

2. 把书里的 Python 2 代码迁到 Python 3.8+：环境、依赖与最小改动清单

2.1 先确认你的 Python 环境和 NumPy 版本

书里所有算法都依赖 NumPy 做矩阵运算，所以第一步不是打开 PDF，而是确认python --version和numpy.__version__。我一般用 Python 3.8 到 3.11 之间的版本，太新的 3.12+ 在某些科学计算库上还会有兼容性摩擦。安装 NumPy 最稳的方式是pip install numpy，如果你用的是 Anaconda，conda install numpy也可以。验证代码如下：

python --version pip show numpy

如果pip show numpy没有输出，说明没装成功，先解决安装问题再往下走。书里第二章 kNN 用到的numpy.array、numpy.tile、numpy.argsort在 Python 3 下行为一致，不需要改。真正要改的是 Python 2 的print语句和字典方法。

2.2 书里代码在 Python 3 下最常见的 5 处报错与改法

第一处是print "xxx"，Python 3 必须写成print("xxx")。第二处是dict.has_key(key)，改成key in dict。第三处是map()返回迭代器而不是列表，书里如果直接对map结果做索引会报TypeError，外面套一层list()即可。第四处是raw_input()，改成input()。第五处是整数除法，Python 2 里3/2得 1，Python 3 得 1.5，书里做索引计算的地方要改成3//2。下面是一个批量替换的脚本，可以帮你先过一遍：

import re, pathlib def port_file(path): text = pathlib.Path(path).read_text(encoding='utf-8') # print 语句转函数 text = re.sub(r'print\s+([^(\n].*)', r'print(\1)', text) # has_key 替换 text = re.sub(r'(\w+)\.has_key\(([^)]+)\)', r'\2 in \1', text) # raw_input 替换 text = text.replace('raw_input(', 'input(') pathlib.Path(path).write_text(text, encoding='utf-8') port_file('kNN.py')

这段脚本只做最基础的语法替换，map和整数除法需要你手动检查。参数上，re.sub的第一个参数是匹配模式，第二个是替换模板，第三个是原文本。注意print那一条正则在遇到print后面直接换行时会漏掉，所以替换完要人工扫一遍。

2.3 数据集加载：从书里的file2matrix到可复用的load_dataset

书里用file2matrix把文本文件转成矩阵和标签向量，这个函数本身在 Python 3 下能跑，但文件路径经常写死。我一般会改成接受路径参数，并加上异常处理：

import numpy as np def load_dataset(filename): try: with open(filename, encoding='utf-8') as f: lines = f.readlines() except FileNotFoundError: raise SystemExit(f'数据集文件不存在: {filename}') n = len(lines) data = np.zeros((n, 3)) labels = [] for i, line in enumerate(lines): parts = line.strip().split('\t') data[i, :] = [float(x) for x in parts[:3]] labels.append(parts[-1]) return data, labels

np.zeros((n, 3))里的 3 对应书里约会数据集的三个特征，如果你换数据集要同步改。labels用列表而不是 NumPy 数组，是因为书里后续做分类时用字符串标签更方便。这个函数跑通之后，kNN、决策树、朴素贝叶斯的数据加载都可以复用同一套逻辑。

3. 按书里章节跑通三个核心算法：kNN、决策树、朴素贝叶斯的参数与调试

3.1 kNN 的 k 值怎么选：从 3 到 20 的实测对比

书里 kNN 部分给的classify0函数可以直接用，但k取 3 只是示例。实际数据上，k 太小会过拟合，k 太大会欠拟合。我一般会写一个循环，把 k 从 3 试到 20，看错误率曲线：

def test_k(data, labels, test_ratio=0.1, k_range=range(3, 21)): n = len(data) n_test = int(n * test_ratio) error_rates = {} for k in k_range: errors = 0 for i in range(n_test): pred = classify0(data[i], data[n_test:], labels[n_test:], k) if pred != labels[i]: errors += 1 error_rates[k] = errors / n_test return error_rates

test_ratio控制测试集比例，书里用的是 10%。classify0的第四个参数就是 k。跑完你会看到错误率随 k 先降后升，选最低点对应的 k。注意书里归一化函数autoNorm要在划分测试集之前做，否则测试集信息会泄漏到训练集。

3.2 决策树：信息增益计算里log2的底数不能改

书里用calcShannonEnt算香农熵，公式是-p * log2(p)。有人图省事用np.log代替np.log2，结果熵值整体偏小，信息增益排序全乱。Python 的math.log2和numpy.log2都可以，但必须统一。另外书里递归建树的splitDataSet在 Python 3 下要注意axis参数是列索引，不是行索引。我踩过一次坑：把axis=0当成行，结果整个数据集被切错，树深度爆炸。正确写法是reduced = data[:, :axis]和data[:, axis+1:]拼接。决策树还有一个容易翻车的地方是majorityCnt在标签完全一致时返回None，书里没写这个边界，实际数据里如果某个子集只有一个类别，要提前返回。

3.3 朴素贝叶斯：拉普拉斯平滑的alpha设多少

书里朴素贝叶斯用trainNB0训练，计算条件概率时如果某个词没出现，概率为 0，整个乘积为 0。解决办法是拉普拉斯平滑，书里用alpha=1.0。实际文本分类任务里，alpha取 0.1 到 1.0 之间都常见，我一般先用 1.0 跑基线，再试 0.5 和 0.1。代码上就是把分子加alpha，分母加alpha * n：

p1_num = np.ones(vocab_size) # 初始化为 1 而不是 0 p1_denom = 2.0 + vocab_size # 分母加 vocab_size

vocab_size是词表大小。注意书里trainNB0返回的是取对数后的概率，预测时用sum而不是prod，这一点在 Python 3 下不变。如果换用sklearn的MultinomialNB，alpha参数含义一致，但输入要求是词频矩阵而不是词集，别混用。

4. 避坑与排查：书里代码跑不通时先看这 5 条

4.1 现象：ModuleNotFoundError: No module named 'numpy'，原因：环境没装或装到了另一个 Python 下，解决：用python -m pip install numpy确保装到当前解释器

很多人电脑上有多个 Python，pip install numpy装到了系统 Python，但 VSCode 里选的是另一个解释器。先which python或where python确认路径，再用python -m pip install numpy。如果还不行，检查pip --version对应的 Python 版本是否和python --version一致。

4.2 现象：ValueError: could not broadcast input array，原因：file2matrix里特征列数和np.zeros的列数不匹配，解决：先打印一行数据看实际列数

书里约会数据集是 3 列特征，但如果你换了别的数据集，列数可能不同。在load_dataset里加一行print(parts)看实际分割结果，然后改np.zeros((n, 3))里的 3。另外注意分隔符是\t还是逗号，书里用制表符，CSV 文件要用split(',')。

4.3 现象：决策树递归深度超过 Python 默认限制，原因：数据集噪声大或splitDataSet切分错误，解决：先检查axis和value参数，再考虑sys.setrecursionlimit

Python 默认递归深度 1000，一般决策树不会超，但如果splitDataSet写错导致子集没变小，就会无限递归。先打印每次递归的data形状，确认在缩小。如果确实需要更深，import sys; sys.setrecursionlimit(5000)，但这是后悔药，优先修逻辑。

4.4 现象：朴素贝叶斯预测结果全是同一类，原因：某个特征概率为 0 导致对数运算出现-inf，解决：确认拉普拉斯平滑已生效

检查p1_num和p0_num初始化是不是np.ones，分母有没有加vocab_size。如果用了np.log，概率为 0 时得到-inf，求和后仍然是-inf，比较大小就失效。平滑之后所有概率大于 0，对数才有意义。

4.5 现象：kNN 在归一化后错误率反而升高，原因：归一化范围用了全体数据而不是训练集，解决：先划分训练集再算min和max

书里autoNorm对全体数据做归一化，如果后面再划分测试集，测试集的极值会影响训练集的缩放。正确顺序是：先按比例切分，用训练集的min和max去缩放测试集。这个坑在数据量小的时候特别明显，错误率能差 5 个百分点以上。

5. 进阶验证：用交叉验证和混淆矩阵判断书里的算法到底学没学到东西

5.1 把书里的单次划分改成 5 折交叉验证

书里大部分算法用一次训练/测试划分，结果波动大。我一般会写一个简单的 K 折函数，把数据打乱后切成 5 份，每次用 4 份训练、1 份测试：

import numpy as np def k_fold_indices(n, k=5, seed=42): rng = np.random.default_rng(seed) idx = rng.permutation(n) folds = np.array_split(idx, k) for i in range(k): test_idx = folds[i] train_idx = np.concatenate([folds[j] for j in range(k) if j != i]) yield train_idx, test_idx

seed固定后每次划分一致，方便对比不同算法的结果。np.array_split在不能整除时会自动调整每折大小。用这个函数包住 kNN 或朴素贝叶斯，跑 5 次取平均错误率，比单次划分可信得多。

5.2 混淆矩阵：比准确率更能看出书里算法偏在哪

准确率在类别不平衡时会骗人。书里约会数据集三类样本大致均衡，但换成垃圾邮件分类，正常邮件远多于垃圾邮件，全预测为正常也有很高准确率。用混淆矩阵看每一类的召回率：

def confusion_matrix(y_true, y_pred, labels): n = len(labels) idx = {label: i for i, label in enumerate(labels)} matrix = np.zeros((n, n), dtype=int) for t, p in zip(y_true, y_pred): matrix[idx[t], idx[p]] += 1 return matrix

labels是类别列表，比如['didntLike', 'smallDoses', 'largeDoses']。矩阵第 i 行第 j 列表示真实为 i、预测为 j 的样本数。对角线越大越好，如果某一列特别大，说明模型偏向预测那一类。这个工具在调 kNN 的 k 值和朴素贝叶斯的alpha时比准确率敏感得多。

5.3 一个我常用来收尾的习惯：把每次实验的参数和结果写进 CSV

跑完一轮参数对比后，我会把k、alpha、错误率、混淆矩阵对角线写进一个 CSV 文件，下次换数据集时直接翻记录，不用重新试。这个习惯帮我省了很多重复劳动，也让我在换 Python 版本或 NumPy 版本时能快速定位是不是环境变化导致结果漂移。书里的算法是死的，但参数和验证流程是活的，把这两样固定下来，这本《机器学习实战》才算真正跑通了。希望帮到你。

本文还有配套的精品资源，点击获取