企业官网建设流程全解析

1. 从无约束到带约束：为什么这一步是道分水岭

很多人学最优化理论，前面无约束部分学得挺顺——梯度下降、牛顿法、拟牛顿法，公式推一推，代码跑一跑，看着损失函数曲线往下掉，心里挺踏实。然后翻到"带约束最优化"这一章，突然就懵了。拉格朗日乘子法、KKT条件、对偶问题、罚函数、内点法……一堆新概念砸过来，感觉像是换了一门课。

我当初也是这个感受。后来做项目多了才慢慢明白：无约束优化是理想世界，带约束优化才是真实世界。现实里的问题几乎都带约束——资源有限、预算封顶、物理规律不可违背、安全边界不能突破。你设计一个控制器，输入电压不能超过额定值；你训练一个模型，推理延迟不能超过阈值；你排一个生产计划，机器产能就那么多。这些"不能超过""必须满足"就是约束。

所以这一节不是"多学一个技巧"，而是从会算到会用的分水岭。无约束的时候你只需要关心"往哪走能下降"，带约束的时候你还要关心"走的方向会不会撞墙""撞墙了怎么贴着墙走""有没有可能绕到墙后面找到更好的解"。这几个问题，对应了带约束最优化的几套核心方法论。

这篇文章我打算按自己的理解重新梳理一遍。不照搬教材的推导顺序，而是按"遇到问题—为什么难—怎么解决—实际怎么选"的逻辑来组织。适合已经学过无约束优化基础、正在啃带约束部分的朋友，也适合工作中需要用到优化但没系统学过理论的工程师。我会尽量把几何直觉讲清楚，因为这块内容如果只记公式，换个问题就不会用了。

提示：本文默认读者了解梯度、海森矩阵、凸集、凸函数这些基本概念。如果这些还不熟，建议先补一下再回来看，否则后面很多"为什么"会接不上。

2. 约束到底给优化问题带来了什么本质困难

2.1 可行域的形状决定了问题的难度等级

带约束优化问题的一般形式长这样：

minimize f(x) subject to g_i(x) <= 0, i = 1, ..., m h_j(x) = 0, j = 1, ..., p

其中 f 是目标函数，g 是不等式约束，h 是等式约束。所有满足约束的 x 组成的集合叫可行域。

关键洞察在这里：可行域的形状，直接决定了这个问题好不好解。

如果可行域是一个凸集，目标函数又是凸函数，那这就是凸优化问题，局部最优就是全局最优，理论上很好处理。但如果可行域是非凸的——比如有几个分散的"岛屿"——那问题就麻烦了，你找到的最优解可能只是某个岛上的最高点，旁边那个更高的岛你根本没看到。

我打个比方。无约束优化就像在一片开阔平原上找最低点，你闭着眼睛往下走总能走到某个谷底。带约束优化呢？像是把你扔进一个围栏里找最低点。围栏可能是圆的（凸的），也可能是奇形怪状的（非凸的）。圆围栏里你往下走就行，奇形怪状的围栏里你可能被卡在某个角落，以为到底了，其实翻过那道坎后面还有更低的坑。

2.2 最优解的位置：内部解还是边界解

这是带约束优化最核心的一个分类，理解了它，后面很多方法的存在意义就清楚了。

情况一：无约束最优解落在可行域内部。这时候约束根本没起作用，你直接按无约束的方法求解就行，约束是"冗余"的。这种情况叫内部解，对应的约束叫非活跃约束。

情况二：无约束最优解落在可行域外面。这时候约束"顶住"了，最优解一定在可行域的边界上。这叫边界解，对应的约束叫活跃约束。

为什么这个区分重要？因为边界上的最优解，梯度不一定为零。在无约束问题里，最优解的必要条件是梯度等于零。但在带约束问题里，如果最优解在边界上，目标函数的负梯度方向可能指向可行域外面——你想继续下降，但墙不让你走。这时候真正起作用的不是"梯度为零"，而是"梯度方向和约束边界的法方向满足某种关系"。

这个关系，就是拉格朗日乘子法和KKT条件要刻画的东西。

2.3 一个几何直觉：等高线与约束边界的相切

想象二维平面上的问题。目标函数 f(x,y) 的等高线是一圈一圈的曲线，约束 g(x,y) <= 0 是一个区域。

如果最优解在边界上，那么在最优解那个点，目标函数的等高线一定和约束边界相切。为什么？因为如果不相切，等高线就会穿过边界，那就意味着沿着边界还能找到让 f 更小的点，当前点就不是最优的。

相切意味着什么？意味着在切点处，目标函数的梯度方向和约束函数的梯度方向是平行的（共线）。用公式写就是：

∇f(x*) = λ · ∇g(x*), λ >= 0

这个 λ 就是拉格朗日乘子。它的大小有实际含义——表示约束"松一点"能让目标函数改善多少，也就是影子价格。这个解释在经济学和工程里非常有用，后面会展开。

对于等式约束 h(x) = 0，几何上是一条曲线或曲面，最优解处目标函数梯度也垂直于约束曲面，同样得到梯度共线的条件，只是乘子符号没有限制。

2.4 多个约束同时活跃时的复杂性

单个约束的情况还算直观。但实际问题是多个约束可能同时活跃。比如你设计一个结构，应力约束、位移约束、尺寸约束可能同时顶到边界。这时候最优解处有多个约束的梯度参与"平衡"，KKT条件要把它们都考虑进去。

更麻烦的是，你事先不知道哪些约束会活跃。m 个不等式约束，理论上活跃约束的组合有 2^m 种可能。暴力枚举在 m 大的时候完全不可行。这就是为什么需要一套系统的理论（KKT）和算法（积极集法、内点法）来处理。

3. 拉格朗日乘子法：把约束"吸收"进目标函数

3.1 核心思想：用乘子给约束定价

拉格朗日乘子法的思路很巧妙：既然约束让问题难解，那我能不能把约束"揉"进目标函数里，变成一个无约束问题？

对于等式约束 h(x) = 0，构造拉格朗日函数：

L(x, λ) = f(x) + λ · h(x)

然后对 x 和 λ 分别求偏导令其为零：

∂L/∂x = ∇f(x) + λ · ∇h(x) = 0 ∂L/∂λ = h(x) = 0

第二个方程正好还原了约束条件，第一个方程就是前面说的梯度共线条件。所以拉格朗日乘子法把"带等式约束的优化"转化成了"无约束的方程组求解"。

这个转化的意义在于：无约束方程组求解有成熟的数值方法（牛顿法、拟牛顿法），我们可以直接拿来用。不用再去专门设计处理约束的算法。

3.2 乘子的实际含义：影子价格

λ 不只是一个数学符号，它有明确的物理/经济含义。

考虑把约束从 h(x) = 0 放松到 h(x) = ε，最优目标值会变成 f* + λ·ε（一阶近似）。也就是说，λ 衡量的是约束放松一个单位，目标函数能改善多少。

举个例子。你有一个生产计划问题，约束是"总工时不超过 100 小时"，目标是最小化成本。如果算出来对应的 λ = 5，意思是：如果我能多获得 1 小时工时，总成本能降低 5 元。那这 1 小时工时值不值 5 元？如果加班费低于 5 元，那就值得加班；如果高于 5 元，那就不划算。

这种"影子价格"思维在实际决策中极其有用。它把"约束该不该放松"这个模糊问题，变成了一个可以算的账。

3.3 等式约束的求解流程与实操细节

具体怎么操作？我按自己的习惯梳理一下：

1. 写出拉格朗日函数。把目标函数和所有等式约束按 L = f + Σλ_j·h_j 组合起来。

2. 对所有变量求偏导，令其为零。包括原始变量 x 和乘子 λ。

3. 解这个方程组。变量个数 = n + p（n 个原始变量，p 个乘子），方程个数也是 n + p，理论上可解。

4. 验证解的性质。对于凸问题，这个解就是全局最优；对于非凸问题，还需要比较多个驻点。

实操中第 3 步往往是难点。方程组通常是非线性的，解析解很难求，需要数值方法。我一般会先用符号计算工具（比如 Python 的 sympy）尝试解析求解，如果不行再上数值方法。

注意：拉格朗日乘子法只处理等式约束。如果问题里还有不等式约束，需要先判断哪些不等式会活跃，把它们当作等式处理，其余忽略。但"哪些会活跃"本身就需要判断，这就是下一节 KKT 条件要解决的。

3.4 一个容易踩的坑：乘子符号与约束方向

等式约束的乘子 λ 符号没有限制，可正可负。但不等式约束的乘子有符号要求（后面 KKT 会讲）。我见过不少人把等式约束的乘子符号习惯带到不等式约束里，结果条件写错。

还有一个坑：约束写成 h(x) = 0 还是 -h(x) = 0，会导致乘子符号相反。虽然最终解 x* 不变，但乘子的解释会变。所以在报告结果时，一定要说清楚约束是怎么写的，否则别人看你的影子价格会一头雾水。

4. KKT条件：不等式约束的完整刻画

4.1 从拉格朗日到KKT：补上不等式这块拼图

等式约束用拉格朗日乘子法就搞定了。但现实问题里大量是不等式约束——"不超过""至少""在范围内"。这些怎么处理？

KKT条件（Karush-Kuhn-Tucker条件）就是带不等式约束优化问题的一阶必要条件。它把拉格朗日乘子法推广到了不等式情形。

对于问题：

minimize f(x) subject to g_i(x) <= 0, i = 1, ..., m h_j(x) = 0, j = 1, ..., p

构造拉格朗日函数：

L(x, μ, λ) = f(x) + Σ μ_i · g_i(x) + Σ λ_j · h_j(x)

KKT条件包含四组：

1. 平稳性条件：∇L = 0，即 ∇f + Σμ_i·∇g_i + Σλ_j·∇h_j = 0
2. 原始可行性：g_i(x) <= 0，h_j(x) = 0
3. 对偶可行性：μ_i >= 0
4. 互补松弛条件：μ_i · g_i(x) = 0

4.2 互补松弛：最优雅也最容易记错的条件

互补松弛条件 μ_i · g_i(x) = 0 是KKT的灵魂。它说的是：对每个不等式约束，要么约束活跃（g_i = 0），要么乘子为零（μ_i = 0），两者必居其一（或都为零）。

翻译成人话：如果一个约束没顶到边界（g_i < 0，非活跃），那它就不影响最优解，对应的乘子为零，不用管它。如果一个约束顶到边界了（g_i = 0，活跃），那它可能对最优解有影响，乘子可以非零。

这个条件把"哪些约束活跃"这个组合爆炸问题，变成了一个可以用算法处理的条件。积极集法就是基于这个思路：先猜一组活跃约束，求解，然后检查互补松弛是否满足，不满足就调整活跃集，迭代直到收敛。

我当初记这个条件的时候老是搞混方向。后来用一句话记住："不活跃的约束不配拥有乘子"。约束都没起作用，凭什么给它定价？这样一想就不会记反了。

4.3 对偶可行性：为什么不等式乘子必须非负

μ_i >= 0 这个条件也有几何直觉。

不等式约束 g_i(x) <= 0 的梯度 ∇g_i 指向"约束变紧"的方向（g 增大的方向）。在最优解处，目标函数的负梯度方向（下降方向）必须被约束"挡住"，也就是说，∇f 必须能表示成活跃约束梯度的非负组合。

如果 μ_i 可以是负的，那意味着约束的梯度在"帮倒忙"——它把下降方向往可行域外面推。这显然不对。所以 μ_i 必须非负。

这个条件在经济学里的解释是：约束放松不能让目标变差。如果放松约束反而让目标变差，那这个约束就不该存在（或者说问题建模有问题）。

4.4 KKT是必要条件，什么时候也是充分条件

必须强调：KKT条件一般只是必要条件，不是充分条件。满足KKT条件的点叫KKT点，它可能是局部最优，也可能是鞍点，甚至可能什么都不是。

但有一个重要例外：如果问题是凸优化问题（f 和 g_i 是凸函数，h_j 是仿射函数），那么KKT条件就是充要条件。满足KKT的点一定是全局最优。

这个结论极其有用。实际中很多问题可以建模成凸问题，一旦确认是凸的，找到KKT点就大功告成，不用再担心局部最优的坑。

我判断一个问题是不是凸的，一般看三点：目标函数是不是凸的（海森矩阵半正定）、不等式约束是不是凸的（g_i 是凸函数，<=0 定义凸集）、等式约束是不是线性的。三个都满足，就是凸问题，放心用KKT。

4.5 手算KKT的完整案例拆解

光说理论太干，走一个具体例子。

问题：

minimize f(x1, x2) = x1^2 + x2^2 subject to x1 + x2 >= 1

先把约束写成标准形式 g(x) = 1 - x1 - x2 <= 0。

拉格朗日函数：L = x1^2 + x2^2 + μ(1 - x1 - x2)

平稳性：

∂L/∂x1 = 2x1 - μ = 0 => x1 = μ/2 ∂L/∂x2 = 2x2 - μ = 0 => x2 = μ/2

互补松弛：μ(1 - x1 - x2) = 0

分两种情况：

情况A：μ = 0。则 x1 = x2 = 0。检查约束：1 - 0 - 0 = 1 > 0，违反 g <= 0。不可行，排除。

情况B：1 - x1 - x2 = 0。即 x1 + x2 = 1。代入 x1 = x2 = μ/2，得 μ/2 + μ/2 = 1，所以 μ = 1，x1 = x2 = 0.5。

检查对偶可行性：μ = 1 >= 0，满足。

所以最优解是 (0.5, 0.5)，最优值 0.5。

这个例子很基础，但完整展示了KKT的使用流程：写拉格朗日、列条件、分情况讨论、验证可行性。实际问题的区别只是变量更多、约束更多、方程更难解，但逻辑是一样的。

5. 对偶理论：换个角度看问题，有时豁然开朗

5.1 原始问题与对偶问题的构造

对偶理论是带约束优化里最漂亮的部分之一。它的核心思想是：同一个问题，可以从两个角度去看，有时候换个角度反而更好解。

原始问题（Primal）：

minimize f(x) subject to g_i(x) <= 0 h_j(x) = 0

构造拉格朗日函数 L(x, μ, λ)，然后定义对偶函数：

d(μ, λ) = inf_x L(x, μ, λ)

对偶问题就是：

maximize d(μ, λ) subject to μ >= 0

注意：对偶问题永远是一个凸优化问题（因为 d 是仿射函数的下确界，一定是凹函数，最大化凹函数就是凸问题），不管原始问题是不是凸的。这是对偶理论最强大的地方。

5.2 弱对偶与强对偶：什么时候两个问题等价

弱对偶定理：对偶问题的最优值 d* 永远不超过原始问题的最优值 p*。即 d* <= p*。这个差距叫对偶间隙。

强对偶定理：在一定条件下，d* = p*，对偶间隙为零。这时候解对偶问题就等于解原始问题。

强对偶成立的条件叫约束资格条件。最常用的是Slater条件：如果原始问题是凸的，且存在一个严格可行点（所有不等式约束严格满足），那么强对偶成立。

Slater条件在实际中通常容易满足。所以对于凸问题，我们基本可以放心地用对偶方法。

5.3 对偶的实际价值：什么时候该用它

对偶不只是理论玩具，它有实实在在的用处：

用处一：降维。有时候原始问题变量多约束少，对偶问题变量少（变量个数等于约束个数），解对偶更省事。支持向量机（SVM）就是典型例子——原始问题在高维空间，对偶问题在样本数量维度，通常样本数远小于特征维度，对偶形式更高效。

用处二：处理复杂约束。有些约束很难直接处理，但对偶问题里它们变成了简单的变量约束（μ >= 0）。内点法就是基于对偶思想设计的。

用处三：分布式优化。对偶分解可以把一个大问题拆成多个子问题并行求解，这在多智能体、大规模网络中很有用。

用处四：敏感性分析。对偶变量就是影子价格，直接告诉你哪个约束最"值钱"，该优先放松哪个。

我个人的经验是：如果原始问题约束数量远小于变量数量，或者约束结构有特殊分解性，优先考虑对偶方法。否则直接用原始方法可能更直观。

5.4 对偶间隙不为零时怎么办

如果强对偶不成立，对偶间隙大于零，那对偶问题的解只能给原始问题一个下界，不能直接当最优解用。

这时候有几个选择：

• 检查问题是否真的非凸，能否通过变量替换、松弛等手段转化成凸问题。
• 使用分支定界等全局优化方法，对偶下界可以作为剪枝依据。
• 接受近似解，用对偶解作为初始点，再用局部方法精化。

实际工程中，如果对偶间隙不大，有时候直接用对偶解也能接受。但如果是安全攸关的场景，必须谨慎，不能拿一个下界当最优解用。

6. 罚函数与障碍函数：把约束变成"软"的

6.1 外点罚函数：违反约束就罚你

罚函数法的思路很直接：既然约束不好处理，那我把它变成目标函数里的一个惩罚项。你违反约束，我就给你的目标函数加一个大惩罚，逼你回到可行域。

外点罚函数的构造：

P(x, σ) = f(x) + σ · Σ [max(0, g_i(x))]^2 + σ · Σ h_j(x)^2

其中 σ 是罚参数，越大惩罚越重。当 σ → ∞ 时，P 的最优解趋近于原始问题的最优解。

外点法的特点是：迭代点从可行域外面逐渐逼近边界。初始点可以不可行，这是它的优点。缺点是 σ 要取得很大才能保证约束满足，而 σ 太大又会导致数值病态（海森矩阵条件数爆炸）。

实操中我一般用逐步增大 σ的策略：先用小 σ 求一个粗略解，然后增大 σ 以当前解为初始点继续求，反复几次。这样比一上来就用巨大 σ 要稳定得多。

6.2 内点罚函数（障碍函数）：不让你靠近边界

内点法（也叫障碍函数法）的思路相反：它要求迭代点始终在可行域内部，然后在边界附近设一道"障碍"，越靠近边界惩罚越大，让你不敢靠近。

常用的障碍函数是对数障碍：

B(x, τ) = f(x) - τ · Σ log(-g_i(x))

当 x 靠近边界（g_i → 0^-）时，-log(-g_i) → +∞，形成一道无限高的墙。τ 是障碍参数，越小障碍越弱，解越接近真实边界。

内点法的特点是：迭代点始终可行，这对很多工程问题很重要（比如你不能让中间设计违反安全约束）。缺点是必须从严格可行点出发，找初始点本身可能就是个问题。

6.3 罚参数的选择：太大太小都是坑

罚参数（或障碍参数）的选择是这类方法的命门。

σ 太小：约束违反严重，解不可行，没有实际意义。σ 太大：数值病态，收敛慢，甚至不收敛。

我的经验是：初始 σ 取 1 到 10 之间，然后每次乘以 2 到 10 倍逐步增大。同时监控约束违反量和目标函数值的变化，如果约束违反量下降很慢，说明 σ 增得不够快；如果目标函数值剧烈震荡，说明 σ 增得太快。

对于内点法，τ 的初始值一般取 1 左右，然后逐步减小（比如乘以 0.1）。τ 减小的速度也要控制，太快会导致数值不稳定。

注意：罚函数法和障碍函数法得到的都是近似解，不是精确解。要得到高精度解，需要让参数趋于极限，但这在数值上很难做到。实际中通常结合KKT条件做后处理，或者用序列二次规划（SQP）等方法精化。

6.4 增广拉格朗日法：罚函数与乘子法的结合

纯罚函数法有个问题：要得到精确解，σ 必须趋于无穷，数值上不可行。增广拉格朗日法（也叫乘子法）解决了这个问题。

它的构造是：

L_A(x, λ, σ) = f(x) + Σ λ_j h_j(x) + (σ/2) Σ h_j(x)^2

注意它比普通拉格朗日函数多了一个二次罚项。这个二次项让方法在 σ 有限时就能收敛到精确解，同时乘子 λ 通过迭代更新。

更新公式：

λ_j^{k+1} = λ_j^k + σ · h_j(x^k)

这个方法的收敛性比纯罚函数好得多，σ 不需要趋于无穷，只需要大于某个阈值。实际中我用增广拉格朗日法比用纯罚函数法多，因为它在精度和稳定性之间平衡得更好。

7. 算法选型：不同场景该用哪把刀

7.1 问题规模与结构决定算法选择

带约束优化的算法很多，但没有一个"万能最优"的。选算法主要看几个维度：

7.2 积极集法：小规模问题的利器

积极集法的思路是：维护一个"活跃约束集合"，在每次迭代中求解一个等式约束子问题，然后检查是否有约束需要加入或移出活跃集。

优点是对中小规模问题非常高效，尤其是活跃约束数量不多的时候。缺点是活跃集变化时计算量可能较大，大规模问题下效率下降。

我一般在变量数几百以内、约束结构清晰的问题上用积极集法。MATLAB的fmincon默认算法之一就是积极集法，Python的scipy.optimize也有实现。

7.3 内点法：大规模凸问题的首选

内点法从可行域内部出发，沿着"中心路径"逼近最优解。它的优点是多项式时间复杂度，大规模问题上表现稳定。缺点是每步需要求解一个牛顿方程组，计算量大，且需要严格可行初始点。

对于大规模凸问题（比如线性规划、二次规划、二阶锥规划），内点法基本是首选。很多商业求解器（如某些线性规划求解器）的核心就是内点法。

7.4 序列二次规划（SQP）：非凸问题的通用武器

SQP的思路是：在当前点把问题近似成一个二次规划（目标函数二次近似，约束线性近似），求解这个QP得到搜索方向，然后做线搜索或信赖域更新。

它的优点是收敛速度快（超线性），能处理非凸问题，对中小规模问题非常有效。缺点是每步要解一个QP子问题，计算量不小，且需要好的初始点。

我在做轨迹优化、参数辨识这类非凸问题时，SQP是默认选择。它的收敛性和鲁棒性在非凸场景下比较均衡。

7.5 一阶方法：大规模、低精度、实时场景

如果问题规模特别大（比如深度学习里的约束优化），或者要求实时求解，二阶方法就太慢了。这时候用一阶方法，比如投影梯度法、近端梯度法、ADMM（交替方向乘子法）。

这些方法每步计算量小，适合大规模问题，但收敛速度慢（线性甚至次线性），精度也不如二阶方法。不过在机器学习、信号处理这些领域，中等精度往往就够了，一阶方法反而更实用。

ADMM特别值得提一下，它把大问题拆成多个小问题交替求解，天然适合分布式和并行计算。我在做大规模网络优化时经常用它。

8. 实操中的经验与避坑指南

8.1 约束缩放：最容易被忽视但影响巨大

这是我踩过的最大的坑之一。不同约束的量级差异很大时，必须做缩放。

比如一个约束是"电压不超过 1000 伏"，另一个是"误差不超过 0.001"。如果不缩放，求解器会把注意力全放在电压约束上（因为数值大），误差约束基本被忽略。结果就是电压约束满足得很好，误差约束烂得一塌糊涂。

解决办法：把每个约束除以其典型量级，让所有约束都在 1 附近。比如电压约束除以 1000，误差约束除以 0.001。这样求解器对所有约束一视同仁。

这个操作看起来简单，但不做的话，很多求解器会给你莫名其妙的结果。我现在养成的习惯是：建模完成后第一件事就是检查所有约束和目标函数的量级，差异超过两个数量级就缩放。

8.2 初始点的选择：可行还是不可行

不同算法对初始点的要求不同：

• 内点法、障碍函数法：必须严格可行。找初始点本身可能就需要解一个辅助优化问题。
• 罚函数法、增广拉格朗日法：可以不可行，但不可行程度太大也会影响收敛。
• 积极集法、SQP：通常要求可行或接近可行。

我的经验是：如果问题有明显的物理意义，用物理直觉给一个初始点往往比随机生成的好。比如做轨迹优化，用直线轨迹作为初始猜测，比随机点靠谱得多。

如果实在找不到可行点，可以先解一个"最小约束违反"问题：

minimize Σ [max(0, g_i(x))]^2 + Σ h_j(x)^2

这个无约束问题的最优解如果违反量为零，就是可行点；如果不为零，说明原问题可能不可行（约束矛盾）。

8.3 收敛判据：不能只看目标函数

很多人判断收敛只看目标函数值变化，这不够。带约束问题的收敛判据应该包括：

1. 目标函数变化量小于阈值
2. 约束违反量小于阈值
3. KKT残差（平稳性条件、互补松弛条件的违反程度）小于阈值
4. 步长小于阈值

我一般设三个判据同时满足才算收敛：目标变化 < 1e-6，约束违反 < 1e-6，KKT残差 < 1e-6。具体阈值根据问题精度要求调整。

只看目标函数变化的危险在于：可能目标函数不怎么变了，但约束违反还很严重，这时候的解根本不能用。

8.4 数值病态：识别与处理

带约束问题容易数值病态，表现为：求解器报错、迭代震荡、结果对初始点极度敏感。

常见原因和对策：

• 约束线性相关：两个约束实际上等价，导致KKT矩阵奇异。对策是预处理，去掉冗余约束。
• 约束梯度接近零：在某些点约束梯度消失，导致乘子无法确定。对策是检查约束建模是否合理。
• 罚参数过大：导致海森矩阵条件数爆炸。对策是逐步增大罚参数，不要一步到位。
• 变量量级差异大：和约束缩放类似，变量也需要缩放。对策是对变量做归一化。

我遇到数值病态时，第一步永远是检查缩放，第二步检查约束是否冗余，第三步检查梯度计算是否正确（解析梯度和数值梯度对比）。这三步能解决大部分问题。

8.5 从求解结果反推问题建模

求解器给出的结果不理想时，不要急着换算法，先检查建模。

我遇到过好几次：求解器说"不可行"，查了半天发现是约束写错了符号；求解器说"无界"，发现是漏了一个约束；求解器收敛到奇怪的点，发现目标函数写错了。

求解结果是对建模的反馈。不可行说明约束可能矛盾；无界说明约束不够；收敛慢说明问题可能病态或非凸。学会读求解器的输出，比盲目调参有用得多。

9. 写在最后：我在这块内容上的一些体会

带约束最优化这块，我学了不止一遍。第一遍学的时候满脑子公式，考完就忘。第二遍做项目用到，才慢慢把公式和实际问题对应起来。第三遍给别人讲，才发现自己之前有些理解是错的。

最大的体会是：几何直觉比公式重要。KKT条件那一堆式子，如果只记公式，换个问题就不知道怎么写。但如果理解了"梯度共线""互补松弛""对偶间隙"这些概念的几何含义，遇到新问题就能自己推出来。

另一个体会是：没有最好的算法，只有最合适的算法。小问题用SQP，大问题用内点法或一阶方法，凸问题用对偶，非凸问题用增广拉格朗日。选算法之前先分析问题结构，比上来就调库要高效得多。

最后说一个实用建议：养成验证解的习惯。求出解之后，代回原始约束检查可行性，用数值方法验证KKT条件，和已知的边界情况对比。这些检查花不了几分钟，但能避免很多低级错误。我见过太多人拿着一个违反约束的"最优解"去做决策，问题就出在没做验证。

这块内容后续还可以往很多方向扩展——二阶充分条件、灵敏度分析、随机优化、鲁棒优化、分布式优化。每一个方向都够写好几篇。但核心的这套框架（拉格朗日、KKT、对偶、罚函数）是基础，把这些吃透了，后面的扩展都是在这个框架上做文章。