企业官网建设流程全解析

我刚开始接触这几个方向的时候，完全没有意识到机器学习、深度学习、CUDA编程和凸优化之间会有什么交集。当时只是单纯地把课上听到的、看书看到的、跑实验时踩坑得来的东西一股脑塞进笔记里，标签也打得随意。直到后来某次需要从头实现一个训练流程，从损失函数设计、梯度推导，到CUDA算子优化，再到验证收敛性，我才发现自己那堆碎片化笔记居然拼成了一条完整的链路。这篇合集里的内容就是这么来的，它不是什么系统教材，而是我在实践里反复翻看、反复修正过的四块核心笔记，适合那些正在自学、希望从理论到代码把模型训练这条路走通的人参考。

1. 我为什么把这四块内容锁进同一份笔记

先说个我在学习过程中反复出现的困惑：机器学习、深度学习、CUDA编程、凸优化，看起来是四个独立的领域，但真正动手做项目时，它们其实是同一件事的不同切面。

机器学习笔记解决的是"怎么从数据里提取规律"的方法论问题，比如模型怎么设计、特征怎么处理、评估指标怎么定。而深度学习算是机器学习的一个子集，但它把特征工程这件事交给了网络本身，于是问题就转移到了"网络结构怎么搭、训练怎么收敛"上。CUDA编程解决的是"算力"问题——模型越大、数据越多，CPU的瓶颈就越明显，你得让GPU把矩阵运算跑起来，才能把想法变成结果。至于凸优化，它更像是底层的地基：训练模型本质上是在解一个优化问题，损失函数怎么设计、梯度下降为什么有效、学习率为什么不能乱调，追根溯源都指向优化理论。

我自己是把这四块笔记按"理论——方法——实现——优化"的顺序组织的。机器学习笔记里放模型原理和经典算法推导，深度学习笔记里放网络结构和训练细节，CUDA笔记里放线程模型、内存布局和算子优化案例，凸优化笔记则集中记录收敛性分析、对偶理论和各类算法的手写推导。这种组织方式的好处是，不管从哪个方向切入，都能在笔记里找到上下游的关联。比如看深度学习里的BatchNorm，会联想到凸优化笔记里的梯度流分析；看CUDA的共享内存优化，又会联想到机器学习笔记里的矩阵乘法浮点运算量。

这份笔记的定位也很明确：它不是给考试背的教材，也不是API手册，而是一份"工作笔记"——记录我实际开发中反复用到的推导、配置和排错过程。如果你是正在自学机器学习或深度学习的开发者，想搞懂底层原理而不是停留在调用层面，或者正在被训练速度、显存占用这类性能问题困扰，这份笔记的思路应该能给你一些参考。

2. 机器学习笔记：不仅仅是调包，模型评估与特征工程的硬核细节

2.1 从线性回归到广义模型：我记下的推导关键

机器学习部分，我最初是从线性回归入手的，但笔记里并没有只写公式和推导过程，而是记录了一些容易被忽略的细节。

比如正规方程（Normal Equation）的推导：线性回归最小化平方损失，写成矩阵形式是 min ||Xw - y||²，对 w 求导并令梯度为零，得到正规方程 X^T X w = X^T y，解出 w = (X^T X)^(-1) X^T y。笔记里我重点标注了一个问题：X^T X 可逆的条件是特征之间不能完全共线，否则无法得到唯一解。这个看似简单的结论，在实际处理高维稀疏数据时非常关键——当特征维度远大于样本数时，X^T X 必然奇异，直接求逆会出问题。这也就是为什么实际工程里很少直接用正规方程，而是用梯度下降或加上正则项的原因。

我在笔记里画了一张对比表，记录不同求解方式的适用场景：

实际使用中还有一个细节：特征缩放。梯度下降对特征的量纲非常敏感，如果某个特征取值在几百、几千的量级，另一个特征在0到1之间，那等高线图会变成狭长的椭圆形，梯度下降迭代时容易来回震荡。我在笔记里写道："任何梯度类算法，先用标准化或Min-Max缩放处理特征，这一步能省掉后续80%的调参痛苦。"

2.2 特征工程笔记：从原始数据到有效输入的"行活"

特征工程在笔记里占了不小的篇幅，因为它的重要性经常被低估。模型再强，喂进去的是垃圾，输出也不会好到哪里去。我把它拆成了三个维度：

第一是清洗与补缺。真实数据里缺失值几乎不可避免，处理方式不是简单地填充均值就完事。笔记里我记录了一个对比实验：某预测数据集，用0填充、均值填充、中位数填充、以及用模型预测填充，得到的模型效果差异最大能到5%左右。关键结论是：填充方式要和特征的业务含义结合。比如某传感器数据缺失，如果它是连续值且分布接近正态，用均值填充可以；如果是计数型数据，用中位数更稳健；如果缺失量超过30%，不如干脆设一个"是否缺失"标志位，让模型自己去学。

第二是特征构造。这部分我记了一些经验法则：时间序列数据里，滞后特征和滚动统计特征往往比原始数值更有效；文本类数据先做TF-IDF再进线性模型，比直接丢词向量在某些中小数据场景下更可控；类别特征用目标编码（Target Encoding）时要小心过拟合，最好配合交叉验证来做。

第三是特征选择。我在笔记里写了一句总结："先加后减，越减越准。"初始阶段可以广泛地构造特征，然后用基于模型的重要性排序（比如随机森林或L1正则）筛选，重点观察的是加入某特征后验证集上的增益，而不是训练集上的表现。如果某个特征在交叉验证中一直无法带来提升，就果断去掉，特征数量少一点，模型的泛化能力反而好。

2.3 模型评估：不只看准确率，更要看混淆矩阵和AUC曲线

模型评估的部分，我看过太多人只盯着accuracy一个指标，这在正负样本分布不均衡的时候特别容易出问题。比如某二分类任务的正样本只占1%，哪怕模型把所有样本都预测为负类，准确率也有99%，但这样的模型毫无意义。

我的笔记里完整记录了要用到的几个指标，以及它们之间的关联：

• 精确率（Precision）：预测为正类的样本中，真正为正类的比例
• 召回率（Recall）：真正的正类样本中，被找出来的比例
• F1值：精确率和召回率的调和平均
• AUC值：ROC曲线下的面积，衡量模型对正负样本的排序能力

我当时记的结论是：AUC不依赖分类阈值，适合用来做模型对比；精确率和召回率依赖阈值，适合结合业务场景来确定最终的判定边界。不同的业务对精确率和召回率的偏好是不同的。比如某个故障检测场景，漏掉一次故障可能造成巨大损失，这时优先级是召回率；而营销场景里，误判用户会造成骚扰，这时优先级是精确率。

我还记了模型评估时的常见坑：一定要用分层采样做训练集/测试集划分，确保正负样本比例和原始数据一致；时间序列数据不能用随机划分，必须按时间顺序切分，否则会把未来信息泄露给模型；交叉验证时数据洗牌（Shuffle）的方向也需要注意，先切分再洗牌和先洗牌再切分结果完全不同。

3. 深度学习笔记：网络结构、训练技巧与那些让我抓狂的踩坑记录

3.1 从感知机到卷积网络的笔记脉络

深度学习部分的笔记，我是沿着"为什么需要这样设计"的思路记录的。

感知机是单层结构，只能解决线性可分问题，连异或（XOR）这种简单映射都搞不定。多层的神经网络引入非线性激活函数之后，表达能力有了质的飞跃，这背后涉及到通用近似定理——包含至少一个隐藏层的前馈网络，在激活函数满足条件时，理论上可以逼近任意连续函数。但理论归理论，实际训练时梯度消失、梯度爆炸、局部最优这些问题接踵而来。

卷积神经网络（CNN）里，我记录了局部连接和权重共享两个核心思想。局部连接对应图像的空间局部性，一个特征往往只和邻近像素相关；权重共享让同一组卷积核在整个输入上滑动，大幅度减少参数量。笔记里有我自己画过的简单例子：输入是 5×5 的单通道图像，用 3×3 的卷积核，步长为1，不填充，输出尺寸算出来是 (5 - 3)/1 + 1 = 3，即得到 3×3 的特征图。这个计算看似简单，但到实际搭网络时，输出尺寸算错一步，后面的全连接层维度就对不上，这种错误排查起来很费时间。

3.2 激活函数、BatchNorm和Dropout：我的选型实验记录

深度学习笔记里，关于激活函数的部分我做了很多对比实验。Sigmoid函数在中间区间的梯度尚可，但到了两端梯度几乎为0，反向传播时多层累积会导致梯度消失。ReLU解决了正区间梯度消失的问题，但可能出现Dead ReLU，即某个神经元在更新后对所有输入都输出0，梯度永远为0，再也无法激活。Leaky ReLU和Parametric ReLU（PReLU）是针对这个问题设计的变体，给负数区间一个小的斜率，让梯度能继续流动。

我笔记里写了一句经验："ReLU是默认选项，但如果你发现网络训练时大量神经元的激活值卡在0，而且loss长时间不动，把激活函数换成Leaky ReLU或ELU试试。"

BatchNorm（批量归一化）是我深度学习中受益最大的一项技术。它的核心思想不是为了让输入符合某个分布，而是把每层网络的输出，在mini-batch维度上做归一化，再通过可学习的缩放和平移参数重新分布。训练时它在batch上进行统计，推理时使用全局统计量。这里有个容易踩坑的地方是：训练和推理的模式切换别搞混淆。如果模型里包含BatchNorm层，推理时必须用评估模式，否则使用的batch统计量和训练时的全局统计量不一致，推理结果会莫名其妙地变差。

Dropout是另一个常规武器，它在训练时随机丢掉一部分神经元的输出，迫使网络不依赖单一特征路径，起到正则化的作用。但有两个注意点：一是只在训练时启用，推理时关闭；二是Dropout概率不是越大越好，我试过0.5在某些任务上精度反而下降，0.2到0.3通常更稳。

3.3 训练过程的排错集：loss不下降、震荡、过拟合的排查链路

训练时的排错，是最能体现经验价值的部分。我把常见的现象整理成了问题树，记录在笔记里：

Loss不下降时，从简单的开始排查。首先看数据是不是正确加载了，标签和数据是否对齐；然后看损失函数是否写对，可以先用一个极小的batch跑一遍，观察loss是否能按照预期变化（比如过拟合到单个样本，loss降到接近0）；再看学习率是否太大或者太小，太大的话loss会震荡甚至发散，太小的话loss下降得非常缓慢；最后检查梯度是否正常，在PyTorch里可以打印每个参数的梯度范数，如果梯度近乎为零，可能是梯度消失；如果梯度异常大，则要留意梯度爆炸。

Loss震荡时，一个直接手段是把batch size调大，让梯度估计更稳定，或者降低学习率。另一个手段是学习率预热（Warmup），先从一个很小的学习率开始，线性升到目标学习率，再做衰减。我笔记里专门记录了这个设置，一个简单示例如下：

# 学习率预热 + 余弦退火示意代码 warmup_steps = 1000 total_steps = 50000 for step in range(total_steps): if step < warmup_steps: lr = base_lr * (step / warmup_steps) else: progress = (step - warmup_steps) / (total_steps - warmup_steps) lr = min_lr + 0.5 * (base_lr - min_lr) * (1 + cos(pi * progress))

过拟合出现过的一方，在训练集上loss不断下降、验证集loss先降后升，这是最容易观察到的信号。笔记里记录的应对方式，按优先级排列：增加数据增强；降低模型复杂度（减少层数或通道数）；增加Dropout概率或权重衰减系数；早停（Early Stopping）。

我印象最深的一次排错，是写某个图像分类网络时，验证集准确率卡在某个固定值再也不动，而训练集准确率已经接近100%，典型过拟合。当时我加了dropout和更多数据增强之后，验证集立刻有了明显提升。这类经验未必在教材上会写，但实际开发中意义很大。

4. CUDA编程笔记：从线程模型到性能调优的第一手经验

4.1 CUDA的线程模型：为什么Grid和Block的配置要这么调

CUDA编程笔记是从线程模型开始记录的。GPU之所以适合大规模并行计算，是因为它用大量轻量级线程的并发执行来换取吞吐量。在CUDA里，线程的层级是：Grid（网格）里包含若干Block（线程块），每个Block里包含若干Thread（线程）。运行时，多个线程被组织成Warp执行，NVIDIA GPU上一个Warp是32个线程，这是硬件层面的调度单位。

写CUDA内核函数时，每个线程需要通过内置变量知道自己是谁、在哪里。比如线程ID的计算方式，笔记里我记了一个最常用的例子：

__global__ void vec_add(float *a, float *b, float *c, int n) { int idx = blockIdx.x * blockDim.x + threadIdx.x; if (idx < n) { c[idx] = a[idx] + b[idx]; } }

Grid和Block的尺寸选择，需要结合数据规模和硬件限制。Block的线程总数最大通常是1024，Grid维度也有上限。比较常见的配置是让Block大小为256或512，然后根据总线程数算出Grid的大小。但这不是死规矩，实际要根据内核的复杂度、寄存器使用量、以及数据访问模式来调整。

简单说来有两个原则：一是尽可能让总线程数覆盖所有数据，不要有浪费；二是让每个线程做合适量的工作，不是线程越多越快。比如有100万个元素需要处理，可以开4096个Block，每个Block256个线程，总线程数是1,048,576，稍大于100万，内核里用边界判断防止越界。我试过把Block大小从64调到128、256、512、1024，在向量加法和矩阵乘法上性能表现都略有不同，最终发现在我的实验环境里256或512比较合适。

4.2 内存管理笔记：全局内存、共享内存与寄存器的取舍

CUDA的内存模型是性能的关键，笔记里我把各部分内存整理成了一张表：

我第一次写矩阵乘法时，直接让每个线程读全局内存里两个矩阵的元素，性能不理想。后来改成每个Block先用协同方式把矩阵分块加载到共享内存，再做计算，性能提升了接近一个数量级。共享内存的典型用法是分块矩阵乘法，每个Block负责输出一个子矩阵，Block内的线程协同把需要的输入块搬进共享内存，计算时直接从共享内存读，显著减少对全局内存的重复访问。

另外还要注意访问模式。全局内存的合并访问规则是：同一个Warp里32个线程访问的地址应该尽量连续，这样硬件能用一个事务完成访问；如果线程访问的地址是跨步的，比如每个线程隔4个元素取一个，内存事务会成倍增加，带宽利用率严重下降。

4.3 性能调优实战：从访存受限到算力受限的判断方法

CUDA性能调优笔记里，我记录了一个基本判断方法：先看内核是访存受限（Memory-Bound）还是算力受限（Compute-Bound）。判断方式是分别统计内核中访存指令和计算指令的耗时占比。

访存受限的典型特征是：计算量不大，但数据吞吐量很大，比如向量加法、数据拷贝、规约操作。这类内核的优化重点放在减少访存次数、使用向量化加载（如float4同时加载4个float）和保证合并访问。我的一个实际经验是，在向量加法的内核中使用float4来加载和存储，性能可以提升接近2到3倍，因为一条指令同时处理了4个浮点数，指令数减少，内存吞吐被更有效地利用。

算力受限的典型特征是：计算密度高，访存量相对小，比如矩阵乘法、卷积运算的密集计算部分。这类内核除了优化数据复用（用共享内存或寄存器缓存输入数据），还要注意指令调度，尽量避免分支发散和过多的整数运算。

我笔记里记录了一个实际案例：某次做矩阵乘法优化，从朴素版本开始，先后做了共享内存分块、寄存器缓存、向量化加载、循环展开这几个优化步骤，耗时从3.2毫秒降到0.5毫秒左右。每一步都记录了对耗时的影响，回看时特别有参考价值。如果你也在做类似的性能调优，强烈建议按步骤记录数据，别等到最后才对比，因为内存带宽、GPU型号和驱动版本都会影响测试结果。

4.4 调试与检查：CUDA编程中最容易踩到的坑

CUDA的调试比CPU代码更麻烦，因为出了问题往往不是程序直接崩溃，而是计算结果错误，或者干脆是非法内存访问。

笔记里记录的常见问题，我把它们列在这里，算是一份"查错清单"：

• 越界访问：线程索引计算错误，访问了分配范围之外的地址。尤其是当总线程数略大于数据规模时，忘记加边界判断就会越界。
• 未同步的共享内存读写：Block内多个线程同时读写共享内存的不同位置，但缺少同步，可能在一个线程还没写完时另一个线程就去读了。
• 内存分配失败：显存不足时调用cudaMalloc返回错误，但没有检查返回值。在实际项目里，显存不足通常发生在并发场景，正确做法是每次CUDA API调用后都检查错误码。
• 主机端和设备端数据不同步：在主机端修改了数据但没有调用cudaMemcpy拷贝到设备端，设备端拿到的仍然是旧数据。
• 过大的Block或寄存器数超过硬件限制：内核启动失败。

排查时，最基础的工具是CUDA的边界检查机制，它能定位到具体越界的线程位置。另外，养成一个好习惯：每次CUDA API调用后检查返回值，开发阶段可以包裹一个简单的错误检查宏。

cudaError_t err = cudaMemcpy(d_a, h_a, n * sizeof(float), cudaMemcpyHostToDevice); if (err != cudaSuccess) { printf("CUDA error: %s\n", cudaGetErrorString(err)); exit(-1); }

这样的检查逻辑虽然看着啰嗦，但在真实项目里能省下大把排错时间。

5. 凸优化笔记：从几何直觉到算法本质的推导摘要

5.1 凸集、凸函数与山脊判断：优化理论里最直观的部分

凸优化笔记的开篇，是凸集和凸函数这两个基础概念，因为它们决定了优化问题的"友好程度"。

凸集的定义是：集合中任意两点的连线段上的所有点仍然属于该集合。直观地想象，圆形、矩形、球体都是凸集，而一个凹陷的月牙形就不是。凸函数的特点是：函数图像上的任意两点之间的连线，都在函数图像之上，或者说f(λx + (1-λ)y) ≤ λf(x) + (1-λ)f(y)。这个性质使得凸函数只有一个全局最优点，不存在局部最优的困扰。

判断一个函数是否为凸，常用的方法是二阶条件：如果函数是二阶可微的，其Hessian矩阵（二阶偏导数构成的矩阵）在整个定义域内是半正定的，那么函数是凸函数。比如最小二乘损失函数 f(w) = ||Xw - y||² 的Hessian是 2X^T X，而 X^T X 总是半正定的，这个结论在笔记里被我反复标注。正是这个性质，让线性回归的优化问题"好解"，也让逻辑回归这类广义线性模型可以通过梯度类算法稳定求解。

对于非凸问题，比如带有隐藏层的神经网络，理论性质就复杂多了。神经网络损失函数关于参数不是凸的，存在大量局部最优点和鞍点。但在实际训练中，梯度下降及其变体仍然有效，这背后的原因在笔记里我也做了记录：一是高维空间中鞍点远比局部最优常见，而梯度下降可以逃离鞍点；二是随机梯度下降的噪声有助于跳出不利区域；三是深度网络的损失面在高维空间里比想象中"平坦"得多。

5.2 梯度下降家族：学习率选择的数学直觉

梯度下降是凸优化里最核心的迭代算法，笔记里从最基础的"沿负梯度方向走一步"开始记录：

w_{t+1} = w_t - η ∇f(w_t)

其中η是学习率。它的收敛性分析里有一个关键条件：当函数是L-Lipschitz光滑的（即梯度变化率有界）时，固定学习率η < 1/L可以保证收敛。这个结论在实际中很难精确使用，因为L往往未知，但它至少给出了一个直觉——学习率不能随便设，它和损失面"陡峭程度"直接相关。

笔记里我重点对比了几种梯度下降变体：

Momentum的迭代公式我记录为：

v_{t+1} = β v_t + (1-β) ∇f(w_t) w_{t+1} = w_t - η v_{t+1}

β一般取0.9或0.99。Momentum相当于给更新过程加入了"惯性"，能抑制梯度方向的剧烈变化。Adam则结合了动量和自适应学习率，在大量深度学习任务里表现稳定，因此成为了很多人的默认选择，但它也有缺点，比如可能收敛不到与SGD同样好的泛化极值点。笔记里我写了一句总结："SGD配上合适的学习率调度，在很多任务上最终泛化表现优于Adam；Adam胜在前期不需要太精细调参。你可以先用Adam快速探索，确定模型结构后再换成SGD进行仔细调优。"

5.3 对偶理论笔记：从拉格朗日函数到KKT条件的推导

对偶理论是凸优化里比较抽象的部分，我当时花了挺长时间才消化，笔记里保留了完整推导。

对于一个带约束的优化问题：

min f(x) s.t. g_i(x) ≤ 0, i = 1, ..., m h_j(x) = 0, j = 1, ..., p

可以构造拉格朗日函数：

L(x, λ, ν) = f(x) + Σ λ_i g_i(x) + Σ ν_j h_j(x)

其中λ_i ≥ 0，ν_j无约束。然后定义拉格朗日对偶函数：

g(λ, ν) = inf_x L(x, λ, ν)

对偶函数是凹函数，且g(λ, ν) ≤ f(x)对于所有可行x成立。因此最大化对偶函数，就得到了原始问题最优值的一个下界。当强对偶成立时，原始问题的最优值和对偶问题的最优值相等。

KKT条件则是强对偶成立时，最优解必须满足的必要条件：

• 原始可行性：g_i(x) ≤ 0, h_j(x) = 0
• 对偶可行性：λ_i ≥ 0
• 互补松弛：λ_i g_i(x) = 0（即要么约束激活，要么对应的对偶变量为0）
• 梯度为零：拉格朗日函数对x的梯度为零

互补松弛条件实际中很有用——支持向量机（SVM）里，支持向量对应的λ_i非零，非支持向量对应的λ_i为0，这个结论直接来自KKT条件。我在笔记里记录了SVM的对偶推导，从拉格朗日函数出发，通过对w和b求导并代入，得到只关于λ的二次规划问题，然后引出支持向量的概念。这个过程把几个看似不相关的知识点串在了一起，是理解SVM原理的最佳路径。

5.4 实践中的优化问题分类：什么场景用哪种算法最优

凸优化笔记不只是纯理论，我还花了不少篇幅整理"什么场景用什么算法"这个问题。处理一个实际的优化问题时，需要先判断问题的类型，再选择解法。

• 线性规划（LP）：目标函数和约束都是线性的，可以用单纯形法或内点法。
• 二次规划（QP）：目标函数是二次的，约束是线性的，比如带L2正则的线性回归（岭回归）就是典型的QP问题，可以用闭式解或者专门求解器来解。
• 半定规划（SDP）：约束中包含矩阵半正定条件，常见于矩阵恢复、某些控制问题，工程上一般用内点法求解器来处理。
• 非光滑优化：目标函数含有L1范数这类不可导项时，直接用梯度下降会有问题，需要用到近端梯度法（Proximal Gradient Method）或者交替方向乘子法（ADMM）。

笔记里记录了一个近端梯度的简单例子：LASSO问题 min ||Aw - b||² + λ||w||₁。前者是光滑项，后者是非光滑项，近端梯度法的更新公式是：

w_{k+1} = prox_{tλ||·||₁}(w_k - t ∇f(w_k))

其中近端算子对于L1正则来说，就是软阈值操作：

prox_{tλ}(x)_i = sign(x_i) * max(|x_i| - tλ, 0)

这个公式看起来简单，实际编程实现也就是几行代码的事：

def soft_threshold(x, threshold): return np.sign(x) * np.maximum(np.abs(x) - threshold, 0.0)

我笔记里对这个方法标注的结论是：当特征维度很大，但稀疏性明显时，近端梯度法远比朴素梯度下降有效，它天然地产生稀疏解，特征选择也顺手解决了。

6. 把四块知识串成一条实践路径的工作笔记

6.1 一条贯穿笔记的完整流程：从优化问题定义到CUDA算子实现

如果说前面四部分是四个独立的地图，那这条实践路径就是把它们拼成一张完整的导航图。

我举个例子，某次需要手写一个简化版的逻辑回归训练器，用来处理一个大规模二分类问题。样本量大约在千万级，特征维度大约是100维。我试着带着笔记从头走一遍：先看凸优化部分，确定这个问题的损失函数是凸的，因此理论上梯度下降类算法能收敛到全局最优；再看机器学习部分，确认模型评估指标和特征处理方案；然后到深度学习笔记里找优化器选择和mini-batch切分的经验；最后用CUDA写一个高效的内核来做前向计算和梯度计算。

在CUDA实现逻辑回归时，核心的计算是矩阵乘法和逐元素操作。朴素版本每个线程处理一个样本的特征和标签，计算预测值p = σ(w^T x)，然后累加梯度。这里有竞态条件问题的——多个线程同时更新同一个参数向量，结果是未定义的。解决方法一是原子操作原子加（atomicAdd），二是每个Block先在共享内存里做局部累加，最后再原子加到全局参数。我用的是第二种方法，性能明显更好，因为共享内存里的原子操作冲突远少于全局内存。

这个流程让我更加确认了一点：这四块知识不是平行的四条线，而是有严格的前后依赖关系。先要能写出损失函数并判断其性质，才谈得上选择优化算法；有了优化算法的理论支撑，才谈得上在深度网络里做梯度下降的变体设计；而网络大了之后，才需要考虑用CUDA去加速计算。笔记的排序恰好映射了这条依赖链。

6.2 笔记的维护习惯：为什么我坚持手工推导和错误截屏

这份笔记能留下来，很大程度上得益于我的维护习惯。

第一，坚持手工推导关键公式。看别人的博客和自己动手推一遍，记忆的牢固程度完全不同。比如感知机的收敛性证明、SVM的对偶推导、软阈值近端算子的推导，每一步我都工工整整写在笔记里，有些前后推了三遍才觉得真正理解。

第二，记录错误的现场。每次遇到报错或者训练异常，我都会在笔记里记下完整的报错信息、当时的运行环境、排查过程中试过的每一个方案，以及最终问题出在哪里。有一段时间，我翻笔记最多的不是原理部分，反而是错误记录部分——因为很多问题是重复出现的，比如某个密度的浮点数在CUDA里输出的精度问题，或者某些参数的梯度在特定网络结构下确实不稳定。

第三，定期整理和交叉引用。笔记不能是死的。我会在CUDA的内存访问模式旁边，标记一条指向机器学习特征工程部分的关联："如果特征是稀疏的，操作时要避免大量不规则的访存模式，这时考虑先用稠密化或分块预处理。"类似这样的交叉引用，在之后重新翻找笔记时经常带来新的启发。

6.3 学习顺序建议：从哪个方向切入最不容易中途放弃

最后说一下我给后来人的路径建议。如果你刚准备开始学这些内容，不建议四个方向同时铺开，容易顾此失彼。

我的建议路线是这样：先花一段时间学机器学习的经典模型和评估方法，重点是掌握"从数据到模型再到评估"的闭环。然后在机器学习基础之上进入深度学习，但不要一头扎进网络结构的各种变体里，而是先把反向传播的数学原理和训练流程搞懂。CUDA编程可以在深度学习有基础后再开始，因为你已经知道瓶颈在哪，学起来更有针对性。凸优化可以穿插在机器学习和深度学习中间，当你开始好奇"为什么梯度下降能收敛"的时候，就是学凸优化最好的时机。

实操上的建议是：先跑通一个小型项目，比任何教材都重要。我当时是把一个公开的示例数据集，用最朴素的模型和写法跑通了全流程，再回过头来逐步加复杂度：先加特征处理，再加更复杂的模型，然后尝试优化训练速度，最后从优化理论的角度验证为什么每一步的做法是合理的。这种小步迭代的路线，能让每个知识点都落在实处，笔记也会越记越厚。

如果你也打算整理一份自己的学习笔记，可以参考这个思路：按"理论推导、代码实现、踩坑记录、交叉参考"四个维度来组织。这样一份笔记，在你过几个月回头看的时候，会有一种"原来零散的知识在这里拼上了"的清晰感。希望我的这份合集笔记，也能给你整理自己的知识体系提供一点灵感。