---
tags: [AI, 数学基础, 微积分]
阶段: 01-数学基础
难度: ★★☆
created: 2026-10-18
related: "[[线性代数]], [[反向传播详解]], [[优化算法-梯度下降与Adam]]"
---

# 微积分与梯度

## 定义

若一元函数 $f$ 在 $x$ 处的差商极限

$$
f'(x)=\lim_{h\to 0}\frac{f(x+h)-f(x)}{h}
$$

存在，则称 $f$ 在 $x$ 处可导，该极限称为导数。多元情形把「存在一个数」替换为「存在一个线性映射」：若存在矩阵 $\mathbf{J}$ 使 $\mathbf{f}(\mathbf{x}+\mathbf{h})=\mathbf{f}(\mathbf{x})+\mathbf{J}\mathbf{h}+o(\lVert\mathbf{h}\rVert)$，则称 $\mathbf{f}$ 在 $\mathbf{x}$ 处可微，$\mathbf{J}$ 称为雅可比矩阵；当 $\mathbf{f}$ 为标量函数时，$\mathbf{J}$ 退化为行向量，其转置称为**梯度**。

本篇符号约定如下。

| 符号 | 含义 |
|---|---|
| $\mathbf{x}\in\mathbb{R}^{n}$ | 自变量向量 |
| $f:\mathbb{R}^{n}\to\mathbb{R}$ | 标量函数，通常是损失函数 |
| $\partial f/\partial x_{i}$ | 对第 $i$ 个分量的偏导数 |
| $\nabla f(\mathbf{x})$ | 梯度，全部一阶偏导数组成的列向量 |
| $D_{\mathbf{u}}f(\mathbf{x})$ | 沿单位方向 $\mathbf{u}$ 的方向导数 |
| $\mathbf{J}\in\mathbb{R}^{m\times n}$ | 向量值函数的雅可比矩阵 |
| $\mathbf{H}\in\mathbb{R}^{n\times n}$ | Hessian，二阶偏导数矩阵 |
| $\lambda$ | 拉格朗日乘子；Hessian 的特征值，按上下文区分 |
| $\eta$ | 学习率 |

**偏导数**指固定其余分量后的一元导数；**方向导数**指沿指定方向的瞬时变化率；**凸函数**指图像上任意两点间的弦不低于图像、即满足 $f(t\mathbf{x}+(1-t)\mathbf{y})\le tf(\mathbf{x})+(1-t)f(\mathbf{y})$ 的函数。可微的等价刻画是函数在局部可由线性映射逼近，误差为 $o(\lVert\mathbf{h}\rVert)$，该形式在多元与向量值情形下统一适用。

## 为什么重要

训练模型即求解 $\boldsymbol{\theta}^{*}=\arg\min_{\boldsymbol{\theta}}L(\boldsymbol{\theta})$。在 $n$ 维参数空间中，梯度是能以 $O(n)$ 次标量运算获得的局部方向信息：算出全部 $n$ 个偏导数后，任意方向的导数都可由内积 $\nabla L^{\top}\mathbf{u}$ 给出，无需重复求导。若没有梯度，只能使用零阶方法，其误差随维数增长迅速恶化，因为随机扰动在 $n$ 维中命中下降方向的概率随 $n$ 增大而衰减。

具体因果链如下。其一，链式法则使复合函数的导数可由各层局部导数相乘得到，[[反向传播详解]] 正是该法则在计算图上的系统化调度，一次反向遍历即可得到全部参数的梯度。其二，梯度的反方向是局部下降最快的方向，这给出 [[优化算法-梯度下降与Adam]] 的更新式，而 Hessian 的最大特征值给出发散阈值，最小与最大特征值之比给出收敛速度。其三，凸性把局部最优提升为全局最优，是逻辑回归与 SVM 可解性的依据；等式约束下最优点的梯度必须落在约束梯度的张成空间内，该结论导出 [[支持向量机SVM]] 的对偶问题。其四，梯度数值检验是排查实现错误的标准手段，误差量级可直接暴露链式法则漏项或转置错误。

在本库中，本篇承接 [[线性代数]] 的内积与二次型语言，是 01 阶段的第二块基石，为 04 阶段的全部推导提供前置工具。

## 原理与推导

### 1 导数、可微性与连续性

一元导数的等价形式是线性主部 $f(x+h)=f(x)+f'(x)h+o(h)$，即函数在局部可由斜率 $f'(x)$ 的直线逼近，误差比 $h$ 高阶。多元情形把 $f'(x)h$ 换成 $\mathbf{J}\mathbf{h}$，这就是「定义」一节的可微定义。

可微蕴含连续：由定义 $f(\mathbf{x}+\mathbf{h})-f(\mathbf{x})=\mathbf{J}\mathbf{h}+o(\lVert\mathbf{h}\rVert)$，当 $\mathbf{h}\to\mathbf{0}$ 时右端趋于零。逆命题不成立：$f(x)=|x|$ 在 $x=0$ 连续，但左右差商分别为 $-1$ 与 $1$，导数不存在。

偏导数存在也不足以推出可微。以

$$
f(x,y)=\begin{cases}\dfrac{xy}{x^{2}+y^{2}}, & (x,y)\neq(0,0)\\[2pt] 0, & (x,y)=(0,0)\end{cases}
$$

为例，沿坐标轴趋于原点时 $f$ 恒为零，故两个偏导数在原点存在且等于零；但沿 $y=x$ 趋于原点时 $f=1/2$，不连续，因而不可微。充分条件是偏导数连续：若全部一阶偏导数在 $\mathbf{x}$ 的某邻域内存在且在 $\mathbf{x}$ 处连续，则 $f$ 在该点可微。常用导数如下表。

| $f(x)$ | $f'(x)$ | 备注 |
|---|---|---|
| $x^{n}$ | $nx^{n-1}$ | $n\neq0$ |
| $e^{x}$ | $e^{x}$ | |
| $\ln x$ | $1/x$ | $x>0$ |
| $\sin x$ | $\cos x$ | |
| $\cos x$ | $-\sin x$ | |
| $\sigma(x)=\dfrac{1}{1+e^{-x}}$ | $\sigma(x)\big(1-\sigma(x)\big)$ | 由 $\sigma'=\dfrac{e^{-x}}{(1+e^{-x})^{2}}=\sigma(1-\sigma)$ 得到 |
| $\tanh x$ | $1-\tanh^{2}x$ | |
| $\operatorname{ReLU}(x)=\max(0,x)$ | $\mathbf{1}[x>0]$ | $x=0$ 处不可导，实现中取次梯度 |

### 2 链式法则

一元链式法则：若 $y=g(x)$，$z=f(y)$，则 $\dfrac{dz}{dx}=f'(g(x))\,g'(x)$。推导：把差商写成 $\dfrac{f(g(x+h))-f(g(x))}{g(x+h)-g(x)}\cdot\dfrac{g(x+h)-g(x)}{h}$，当 $h\to0$ 时两因子分别趋于 $f'(g(x))$ 与 $g'(x)$；$g(x+h)=g(x)$ 的退化情形由可微的线性主部形式处理。

多元情形有两条常用形式。其一为复合映射的雅可比相乘：若 $\mathbf{y}=\mathbf{g}(\mathbf{x})$，$\mathbf{z}=\mathbf{f}(\mathbf{y})$，则

$$
\mathbf{J}_{\mathbf{z}\circ\mathbf{g}}=\mathbf{J}_{\mathbf{f}}\mathbf{J}_{\mathbf{g}} .
$$

推导：$\Delta\mathbf{y}=\mathbf{J}_{\mathbf{g}}\Delta\mathbf{x}+o(\lVert\Delta\mathbf{x}\rVert)$，代入 $\Delta\mathbf{z}=\mathbf{J}_{\mathbf{f}}\Delta\mathbf{y}+o(\lVert\Delta\mathbf{y}\rVert)$ 得 $\Delta\mathbf{z}=\mathbf{J}_{\mathbf{f}}\mathbf{J}_{\mathbf{g}}\Delta\mathbf{x}+o(\lVert\Delta\mathbf{x}\rVert)$，由可微定义即得。其二为标量损失对中间变量的梯度形式：

$$
\nabla_{\mathbf{x}}L=\mathbf{J}_{\mathbf{g}}^{\top}\nabla_{\mathbf{y}}L .
$$

转置不可省略：$\nabla_{\mathbf{y}}L$ 是 $m$ 维列向量，$\mathbf{J}_{\mathbf{g}}$ 是 $m\times n$，只有左乘转置才得到与 $\mathbf{x}$ 同形状的 $n$ 维结果。该式就是反向传播的单层形式，见 [[反向传播详解]]。若参数沿曲线 $\mathbf{x}(t)$ 变化，全导数为 $\dfrac{d}{dt}f(\mathbf{x}(t))=\sum_{i}\dfrac{\partial f}{\partial x_{i}}\dfrac{dx_{i}}{dt}=\nabla f^{\top}\dot{\mathbf{x}}$。

### 3 偏导数、梯度与方向导数

偏导数定义为

$$
\frac{\partial f}{\partial x_{i}}(\mathbf{x})=\lim_{h\to0}\frac{f(\mathbf{x}+h\mathbf{e}_{i})-f(\mathbf{x})}{h},
$$

其中 $\mathbf{e}_{i}$ 为第 $i$ 个标准基向量。梯度是全部偏导数组成的列向量 $\nabla f(\mathbf{x})=\left(\partial f/\partial x_{1},\dots,\partial f/\partial x_{n}\right)^{\top}$，方向导数为 $D_{\mathbf{u}}f(\mathbf{x})=\lim_{t\to0}\big(f(\mathbf{x}+t\mathbf{u})-f(\mathbf{x})\big)/t$，其中 $\lVert\mathbf{u}\rVert_{2}=1$。

**命题**：若 $f$ 在 $\mathbf{x}$ 处可微，则 $D_{\mathbf{u}}f(\mathbf{x})=\nabla f(\mathbf{x})^{\top}\mathbf{u}$。

证明：令 $\varphi(t)=f(\mathbf{x}+t\mathbf{u})$，则 $D_{\mathbf{u}}f(\mathbf{x})=\varphi'(0)$，而由链式法则 $\varphi'(t)=\sum_{i}\dfrac{\partial f}{\partial x_{i}}(\mathbf{x}+t\mathbf{u})u_{i}$，取 $t=0$ 即得。

**最速上升方向**：在约束 $\lVert\mathbf{u}\rVert_{2}=1$ 下最大化 $\nabla f^{\top}\mathbf{u}$。由 Cauchy–Schwarz 不等式

$$
\nabla f^{\top}\mathbf{u}\le\lVert\nabla f\rVert_{2}\lVert\mathbf{u}\rVert_{2}=\lVert\nabla f\rVert_{2},
$$

等号成立当且仅当 $\mathbf{u}$ 与 $\nabla f$ 同向，即 $\mathbf{u}=\nabla f/\lVert\nabla f\rVert$，此时方向导数取最大值 $\lVert\nabla f\rVert_{2}$。同理 $\mathbf{u}=-\nabla f/\lVert\nabla f\rVert$ 给出最小值 $-\lVert\nabla f\rVert_{2}$，故负梯度为局部最速下降方向；$\nabla f=\mathbf{0}$ 时所有方向导数为零，该点称为驻点。

由此得到一条几何结论：梯度正交于过该点的等值面。若 $\mathbf{x}(t)$ 位于等值面 $f(\mathbf{x})=c$ 上，两边求导得 $\nabla f^{\top}\dot{\mathbf{x}}=0$。这一正交性是拉格朗日乘子法的几何基础。

### 4 雅可比矩阵与 Hessian

对 $\mathbf{f}:\mathbb{R}^{n}\to\mathbb{R}^{m}$，雅可比矩阵 $\mathbf{J}(\mathbf{x})\in\mathbb{R}^{m\times n}$ 的第 $i$ 行是第 $i$ 个输出分量的梯度转置，即 $J_{ij}=\partial f_{i}/\partial x_{j}$；$n$ 个输入、$m$ 个输出对应 $m\times n$。对 $f:\mathbb{R}^{n}\to\mathbb{R}$，**Hessian** 为二阶偏导数矩阵 $H_{ij}=\partial^{2}f/\partial x_{i}\partial x_{j}$，形状 $n\times n$。若二阶偏导数连续，则混合偏导数可交换次序，$\mathbf{H}$ 对称，此即 Clairaut 定理（文献中也称 Schwarz 定理）。

二阶泰勒展开可由一元泰勒定理沿直线得到。令 $\mathbf{x}(t)=\mathbf{x}+t\boldsymbol{\Delta}$，$g(t)=f(\mathbf{x}(t))$，则 $g(0)=f(\mathbf{x})$，$g'(0)=\nabla f^{\top}\boldsymbol{\Delta}$，$g''(0)=\boldsymbol{\Delta}^{\top}\mathbf{H}\boldsymbol{\Delta}$，代入 $g(1)=g(0)+g'(0)+\tfrac{1}{2}g''(0)+o(\lVert\boldsymbol{\Delta}\rVert^{2})$ 得

$$
f(\mathbf{x}+\boldsymbol{\Delta})=f(\mathbf{x})+\nabla f(\mathbf{x})^{\top}\boldsymbol{\Delta}
+\tfrac{1}{2}\boldsymbol{\Delta}^{\top}\mathbf{H}(\mathbf{x})\boldsymbol{\Delta}+o(\lVert\boldsymbol{\Delta}\rVert^{2}).
$$

结合二次型的定性，得到驻点分类判据。设 $\nabla f(\mathbf{x}^{*})=\mathbf{0}$：

| $\mathbf{H}(\mathbf{x}^{*})$ 的定性 | 结论 |
|---|---|
| 正定，特征值全为正 | 严格局部极小点 |
| 负定，特征值全为负 | 严格局部极大点 |
| 不定，特征值有正有负 | 鞍点 |
| 半正定或半负定，含零特征值 | 判据失效，需检查更高阶项 |

证明思路：在驻点处 $f(\mathbf{x}^{*}+\boldsymbol{\Delta})-f(\mathbf{x}^{*})=\tfrac{1}{2}\boldsymbol{\Delta}^{\top}\mathbf{H}\boldsymbol{\Delta}+o(\lVert\boldsymbol{\Delta}\rVert^{2})$。由谱定理 $\mathbf{H}=\mathbf{Q}\boldsymbol{\Lambda}\mathbf{Q}^{\top}$，令 $\mathbf{z}=\mathbf{Q}^{\top}\boldsymbol{\Delta}$，二次项化为 $\sum_{i}\lambda_{i}z_{i}^{2}$；若全部 $\lambda_{i}>0$，则存在 $c>0$ 使二次项 $\ge c\lVert\boldsymbol{\Delta}\rVert^{2}$，$\lVert\boldsymbol{\Delta}\rVert$ 足够小时余项被吸收，函数值上升；不定时沿正特征向量方向上升、沿负特征向量方向下降。

Hessian 的条件数 $\kappa=\lambda_{\max}/\lambda_{\min}$ 决定优化难度：二次型等高线在特征向量方向上被拉伸 $\kappa$ 倍，梯度下降在 $\kappa$ 大时呈锯齿式进展，这解释了特征标准化与预条件的作用。

### 5 计算图与反向模式

计算图把复合函数表示为有向无环图：叶节点是输入与参数，内部节点是基本运算，边表示数据依赖，前向传播按拓扑序计算每个节点的值。反向模式对每个节点 $v$ 定义伴随量 $\bar v=\partial L/\partial v$，按拓扑逆序累加：

$$
\bar v=\sum_{u\in\operatorname{consumers}(v)}\bar u\,\frac{\partial u}{\partial v}.
$$

对 $\mathbf{u}=\mathbf{W}\mathbf{v}$，具体形式为 $\bar{\mathbf{v}}=\mathbf{W}^{\top}\bar{\mathbf{u}}$ 与 $\bar{\mathbf{W}}=\bar{\mathbf{u}}\,\mathbf{v}^{\top}$，均为「雅可比转置乘以上游梯度」的特例。三种求梯度方法的代价对比如下，$n$ 为输入或参数维数。

| 方法 | 计算量 | 精度 | 典型用途 |
|---|---|---|---|
| 有限差分 | $O(n)$ 次前向 | 有截断与舍入误差 | 调试与检验 |
| 前向模式 | $O(n)$ 倍前向 | 精确到机器精度 | 输入维数小、输出维数大 |
| 反向模式 | 约 2 至 4 倍前向，与 $n$ 无关 | 精确到机器精度 | 标量损失、参数众多 |

反向模式对参数数量不敏感，这是神经网络训练可行的根本原因；代价是需保存前向中间结果，显存占用随图规模增长，检查点技术即在时间与显存之间取舍。完整的两层网络推导见 [[反向传播详解]]，前向结构见 [[神经网络与前向传播]]。

### 6 凸函数与凸优化

设 $D$ 为凸集，即对任意 $\mathbf{x},\mathbf{y}\in D$ 与 $t\in[0,1]$ 有 $t\mathbf{x}+(1-t)\mathbf{y}\in D$。若 $f$ 满足

$$
f\big(t\mathbf{x}+(1-t)\mathbf{y}\big)\le t f(\mathbf{x})+(1-t)f(\mathbf{y}),
$$

则称 $f$ 为**凸函数**；不等式对 $\mathbf{x}\neq\mathbf{y}$、$t\in(0,1)$ 严格成立时称严格凸。

**一阶条件**：可微函数 $f$ 凸，当且仅当对任意 $\mathbf{x},\mathbf{y}\in D$ 有 $f(\mathbf{y})\ge f(\mathbf{x})+\nabla f(\mathbf{x})^{\top}(\mathbf{y}-\mathbf{x})$。必要性证明：由凸性，对 $t\in(0,1]$ 有 $f(\mathbf{x}+t(\mathbf{y}-\mathbf{x}))\le(1-t)f(\mathbf{x})+tf(\mathbf{y})$，移项除以 $t$ 得 $f(\mathbf{y})\ge f(\mathbf{x})+\big(f(\mathbf{x}+t(\mathbf{y}-\mathbf{x}))-f(\mathbf{x})\big)/t$，令 $t\to0^{+}$ 即得；充分性由沿线段积分得到。该条件的含义是：凸函数的一阶泰勒近似是全局下界，故沿负梯度方向总能保证下降。

**二阶条件**：二阶可微的 $f$ 在凸集上凸，当且仅当 $\mathbf{H}(\mathbf{x})$ 处处半正定；处处正定时严格凸。

凸优化的重要性来自三条结论。其一，局部极小点即全局极小点：若 $\mathbf{x}^{*}$ 局部极小但存在 $\mathbf{y}$ 使 $f(\mathbf{y})<f(\mathbf{x}^{*})$，则线段上靠近 $\mathbf{x}^{*}$ 的点同时满足「邻近」与「函数值更小」，矛盾。其二，对可微凸函数，$\nabla f(\mathbf{x}^{*})=\mathbf{0}$ 是全局最优的充要条件。其三，收敛率可证：若 $f$ 为 $L$-光滑凸函数，步长 $\eta\le1/L$ 的梯度下降满足 $f(\mathbf{x}_{k})-f^{*}\le L\lVert\mathbf{x}_{0}-\mathbf{x}^{*}\rVert^{2}/(2k)$；若进一步为 $\mu$-强凸，误差以 $(1-\mu/L)^{k}$ 线性衰减，条件数 $\kappa=L/\mu$ 决定迭代次数。

深度学习的损失一般非凸，上述保证不成立，只能得到收敛到驻点的较弱结论；工程上通过初始化、学习率调度与批量噪声缓解鞍点与平坦区域的影响，见 [[优化算法-梯度下降与Adam]]。

### 7 等式约束与拉格朗日乘子

考虑 $\min_{\mathbf{x}}f(\mathbf{x})$，约束为 $g_{i}(\mathbf{x})=0$，$i=1,\dots,m$。设 $\mathbf{x}^{*}$ 为局部极小点，且 $\nabla g_{1}(\mathbf{x}^{*}),\dots,\nabla g_{m}(\mathbf{x}^{*})$ 线性无关。任一满足约束的曲线 $\mathbf{x}(t)$，$\mathbf{x}(0)=\mathbf{x}^{*}$，求导得 $\nabla g_{i}(\mathbf{x}^{*})^{\top}\dot{\mathbf{x}}(0)=0$，故可行方向 $\mathbf{d}=\dot{\mathbf{x}}(0)$ 属于切空间 $T=\{\mathbf{d}:\nabla g_{i}^{\top}\mathbf{d}=0,\ \forall i\}=\big(\operatorname{span}\{\nabla g_{i}\}\big)^{\perp}$。

一阶最优性要求 $\nabla f(\mathbf{x}^{*})^{\top}\mathbf{d}=0$ 对一切 $\mathbf{d}\in T$ 成立：若某可行方向上导数非零，沿该方向或其反方向移动即可降低函数值，与局部极小矛盾。于是 $\nabla f(\mathbf{x}^{*})$ 正交于 $T$，即属于 $T^{\perp}=\operatorname{span}\{\nabla g_{1},\dots,\nabla g_{m}\}$，故存在乘子使

$$
\nabla f(\mathbf{x}^{*})+\sum_{i=1}^{m}\lambda_{i}\nabla g_{i}(\mathbf{x}^{*})=\mathbf{0}.
$$

定义拉格朗日函数 $\mathcal{L}(\mathbf{x},\boldsymbol{\lambda})=f(\mathbf{x})+\sum_{i}\lambda_{i}g_{i}(\mathbf{x})$，则上述条件等价于 $\nabla_{\mathbf{x}}\mathcal{L}=\mathbf{0}$ 加约束 $g_{i}=0$，合称一阶必要条件。乘子可解释为约束右端的灵敏度：把约束改为 $g_{i}=\epsilon$ 时最优值的变化率等于 $-\lambda_{i}$。

以 $\min x^{2}+y^{2}$ s.t. $x+y=1$ 为例。$\mathcal{L}=x^{2}+y^{2}+\lambda(x+y-1)$，驻点条件为 $2x+\lambda=0$、$2y+\lambda=0$、$x+y=1$，解得 $x=y=1/2$，$\lambda=-1$，最优值 $1/2$。几何上 $(2x,2y)$ 与 $(1,1)$ 共线，$\mathbf{x}^{*}$ 是原点到直线 $x+y=1$ 的垂足。不等式约束把条件扩充为 KKT 条件，含原始可行性、对偶可行性 $\lambda_{i}\ge0$、互补松弛 $\lambda_{i}g_{i}=0$ 与稳定性；[[支持向量机SVM]] 的对偶推导即在 KKT 框架下把最大间隔问题化为只依赖内积的形式。

## 关键直觉

> [!tip] 梯度是函数在一点处最优线性近似的系数向量：$f(\mathbf{x}+\boldsymbol{\Delta})\approx f(\mathbf{x})+\nabla f^{\top}\boldsymbol{\Delta}$。在所有单位方向中，与梯度同向的方向使该线性近似增加最多，反向减小最多，取等条件由 Cauchy–Schwarz 不等式给出。反向传播是链式法则在计算图上的调度：每个节点把上游伴随量乘以其局部雅可比的转置并累加，因此一次反向遍历即可获得标量损失对全部参数的偏导。

与严格定义的关系：最速方向的结论由 $D_{\mathbf{u}}f=\nabla f^{\top}\mathbf{u}$ 与 $\lVert\mathbf{u}\rVert_{2}=1$ 下的等式条件推出；「一次反向遍历」的结论来自每个节点只被访问一次且伴随量按拓扑逆序累加，代价与边数成正比，与参数个数无关。该结论只对「多输入、单输出」成立，输出为向量时需对每个分量各做一次反向模式，或改用前向模式。

## 例子与代码

### 例 1：手算梯度、方向导数与 Hessian

取 $f(x,y)=x^{2}y+\sin x$，在 $\mathbf{p}=(1,0)$ 处计算。一阶偏导数为 $\partial f/\partial x=2xy+\cos x$，$\partial f/\partial y=x^{2}$，代入得

$$
\nabla f(\mathbf{p})=(0+\cos1,\ 1)^{\top}\approx(0.5403,\ 1.0000)^{\top},\qquad f(\mathbf{p})=\sin1\approx0.8415 .
$$

梯度范数 $\lVert\nabla f\rVert_{2}=\sqrt{0.5403^{2}+1^{2}}\approx1.1366$，故最速上升方向为单位向量 $\mathbf{u}^{*}\approx(0.4754,0.8798)^{\top}$，沿该方向的方向导数为 $1.1366$，沿 $-\mathbf{u}^{*}$ 为 $-1.1366$。沿 $\mathbf{u}=(1,1)^{\top}/\sqrt{2}$ 的方向导数为 $(0.5403+1)/\sqrt{2}\approx1.0892$，小于 $1.1366$，与最速方向的结论一致。

二阶偏导数为 $\partial^{2}f/\partial x^{2}=2y-\sin x$，$\partial^{2}f/\partial x\partial y=2x$，$\partial^{2}f/\partial y^{2}=0$，故

$$
\mathbf{H}(\mathbf{p})=\begin{bmatrix}-\sin1 & 2\\ 2 & 0\end{bmatrix}\approx\begin{bmatrix}-0.8415 & 2\\ 2 & 0\end{bmatrix}.
$$

特征多项式为 $\lambda^{2}+0.8415\lambda-4=0$，判别式 $16.7081$，特征值 $\lambda_{1,2}=(-0.8415\pm4.0876)/2\approx1.6230,\ -2.4645$。一正一负，Hessian 不定，故 $f$ 在 $\mathbf{p}$ 附近既非凸也非凹。需注意 $\nabla f(\mathbf{p})\neq\mathbf{0}$，$\mathbf{p}$ 并非驻点，此处只能得到曲率信息，不能做极值判定；它说明沿 $\lambda_{2}$ 对应的特征方向函数下降，沿 $\lambda_{1}$ 对应方向上升。

作为临界点分类的对照，取 $g(x,y)=x^{2}-y^{2}$，$\nabla g=(2x,-2y)$ 在原点为零，$\mathbf{H}=\operatorname{diag}(2,-2)$ 不定，故原点为鞍点：沿 $x$ 轴函数增大，沿 $y$ 轴函数减小。

### 例 2：梯度检验与 Hessian 数值差分

中心差分公式为

$$
\frac{\partial f}{\partial x_{i}}\approx\frac{f(\mathbf{x}+h\mathbf{e}_{i})-f(\mathbf{x}-h\mathbf{e}_{i})}{2h},
$$

截断误差为 $O(h^{2})$，前向差分为 $O(h)$，故检验时优先使用中心差分。以下代码在 Python 3.12 与 NumPy 2.3.5 下运行通过。

```python
import numpy as np

np.set_printoptions(precision=4, suppress=True)


def f(v):
    x, y = v
    return x**2 * y + np.sin(x)


def grad_analytic(v):
    x, y = v
    return np.array([2.0 * x * y + np.cos(x), x**2])


def grad_numeric(fn, v, h=1e-5):
    g = np.zeros_like(v)
    for i in range(v.size):                      # 逐分量扰动，其余分量固定
        e = np.zeros_like(v)
        e[i] = h
        g[i] = (fn(v + e) - fn(v - e)) / (2.0 * h)
    return g


x0 = np.array([1.0, 0.0])
ga, gn = grad_analytic(x0), grad_numeric(f, x0)
print("解析梯度 =", ga)
print("中心差分 =", gn)
print(f"相对误差 = {np.linalg.norm(ga - gn) / np.linalg.norm(ga):.2e}")

# 步长扫描：截断误差随 h 减小，舍入误差随 h 减小而放大
print("\n步长扫描：")
for h in [1e-2, 1e-4, 1e-5, 1e-6, 1e-8, 1e-10]:
    err = np.max(np.abs(grad_numeric(f, x0, h) - ga))
    print(f"h={h:.0e}  最大绝对误差={err:.2e}")


def hessian_numeric(fn, v, h=1e-4):
    n = v.size
    H = np.zeros((n, n))
    for i in range(n):
        for j in range(n):
            ei, ej = np.zeros(n), np.zeros(n)    # 第 i、j 个方向的扰动
            ei[i], ej[j] = h, h
            H[i, j] = (fn(v + ei + ej) - fn(v + ei - ej)
                       - fn(v - ei + ej) + fn(v - ei - ej)) / (4.0 * h * h)
    return H


print("\n数值 Hessian =\n", hessian_numeric(f, x0))
print("特征值 =", np.linalg.eigvalsh(hessian_numeric(f, x0)))

# 凸性检查：凸函数要求 Hessian 在整个定义域上半正定，单点正定不构成证明
for p in [np.array([0.0, 0.0]), np.array([2.0, 3.0])]:
    ev = np.linalg.eigvalsh(hessian_numeric(f, p))
    print("点", p, "Hessian 特征值 =", ev, " 半正定:", np.all(ev >= -1e-8))
```

预期输出：

```
解析梯度 = [0.5403 1.    ]
中心差分 = [0.5403 1.    ]
相对误差 = 1.06e-11

步长扫描：
h=1e-02  最大绝对误差=9.00e-06
h=1e-04  最大绝对误差=9.00e-10
h=1e-05  最大绝对误差=1.11e-11
h=1e-06  最大绝对误差=2.88e-11
h=1e-08  最大绝对误差=5.02e-09
h=1e-10  最大绝对误差=8.27e-08

数值 Hessian =
 [[-0.8415  2.    ]
 [ 2.      0.    ]]
特征值 = [-2.4645  1.623 ]
点 [0. 0.] Hessian 特征值 = [0. 0.]  半正定: True
点 [2. 3.] Hessian 特征值 = [-2.1958  7.2865]  半正定: False
```

要点说明。逐分量扰动是必需步骤：若对全部分量同时加 $h$，得到的是方向导数而非偏导数，两者仅在 $f$ 为线性时相同。步长扫描显示误差在 $h\approx10^{-5}$ 时最小：$h$ 偏大时截断误差 $O(h^{2})$ 主导，$h$ 偏小时两个相近函数值相减的有效位损失按 $\epsilon/h$ 放大，故不应取到 $10^{-10}$ 以下。Hessian 差分含四个函数值，误差项为 $O(h^{2})$，舍入项为 $\epsilon/h^{2}$，故步长应比一阶大，本例取 $10^{-4}$。凸性检查遍历两个点：$(0,0)$ 处特征值为零，判据失效；$(2,3)$ 处出现负特征值，直接否定全局凸性，删去该循环会得到「某点 Hessian 半正定即凸」的错误结论。

### 例 3：拉格朗日乘子的一阶条件验证

把第 7 小节的驻点方程组写成线性系统，可直接求解并检验梯度条件：

```python
import numpy as np

# 未知量为 (x, y, lambda)，方程为 2x + lambda = 0, 2y + lambda = 0, x + y = 1
M = np.array([[2.0, 0.0, 1.0],
              [0.0, 2.0, 1.0],
              [1.0, 1.0, 0.0]])
x, y, lam = np.linalg.solve(M, np.array([0.0, 0.0, 1.0]))
print("x, y, lambda =", x, y, lam)
print("约束残差 =", x + y - 1.0)
print("目标值 =", x**2 + y**2)
print("grad L =", np.array([2 * x + lam, 2 * y + lam, x + y - 1.0]))
```

预期输出：

```
x, y, lambda = 0.5 0.5 -1.0
约束残差 = 0.0
目标值 = 0.5
grad L = [0. 0. 0.]
```

该验证只检查必要条件。本例目标函数严格凸且约束线性，KKT 条件充分，故 $(0.5,0.5)$ 确为全局最优；若目标非凸，同样的计算只能给出候选点，需结合二阶条件或直接比较目标值。

## 易错点

> [!warning] 以下错误在实现中不易暴露，需逐项核对。
> 1. 把梯度当作标量或与函数值混淆：$\nabla f$ 是与 $\mathbf{x}$ 同形状的向量，$\partial f/\partial x_{i}$ 是其第 $i$ 个分量；对数组调用 `np.gradient` 得到的是网格差分，与解析梯度含义不同。
> 2. 链式法则漏掉内层导数或转置：$\dfrac{d}{dx}\sin(x^{2})=2x\cos(x^{2})$，漏掉 $2x$ 是最常见错误；多元情形 $\nabla_{\mathbf{x}}L=\mathbf{J}^{\top}\nabla_{\mathbf{y}}L$ 漏掉转置时，只有 $\mathbf{J}$ 为方阵才可能不报错，属于静默错误。
> 3. Hessian 非对角项写错：$f(\mathbf{x})=\mathbf{x}^{\top}\mathbf{A}\mathbf{x}$ 的 Hessian 是 $\mathbf{A}+\mathbf{A}^{\top}$，对称时等于 $2\mathbf{A}$；只写对角块会低估曲率，把鞍点误判为极小点。
> 4. 数值差分步长选取不当：$h=10^{-3}$ 时截断误差约 $10^{-6}$，$h=10^{-12}$ 时舍入误差约 $10^{-4}$，都使检验失去意义；应在 $10^{-5}$ 附近扫描并用相对误差判定，同时对 ReLU 等分段线性函数避开折点。
> 5. 由 $\nabla f=\mathbf{0}$ 直接断言极小：需检查 Hessian 定性，不定时为鞍点；此外 $\nabla f\neq\mathbf{0}$ 的点也可能出现负曲率，曲率信息与极值判定是两件事。
> 6. 用单点 Hessian 正定证明凸性：凸性要求 Hessian 在整个凸定义域上半正定，单点检查只能否定凸性，不能肯定。

## 关联笔记

- [[线性代数]]（前置）：内积、范数、二次型与特征分解提供梯度的几何语言与 Hessian 的定性判据。
- [[神经网络与前向传播]]（前置）：计算图的节点与张量形状在前向阶段确定，本篇的链式法则在其上执行。
- [[反向传播详解]]（后续）：把本篇第 2、5 小节的链式法则与计算图推广到多层网络，给出完整的两层网络手推过程。
- [[优化算法-梯度下降与Adam]]（后续）：负梯度方向与学习率上界 $2/L$ 来自本篇的最速下降结论与 Hessian 谱分析。
- [[支持向量机SVM]]（后续）：最大间隔问题在 KKT 条件下转化为对偶问题，其推导以本篇第 7 小节的乘子法为前提。

## 达标检测

- [ ] 用差商极限写出 $f(x)=x^{2}$ 在 $x=3$ 处的导数，证明可微蕴含连续，并给出一个连续但不可微的函数及不可微点。
- [ ] 由方向导数定义与链式法则证明 $D_{\mathbf{u}}f=\nabla f^{\top}\mathbf{u}$，并用 Cauchy–Schwarz 不等式写出取等条件与最速上升方向。
- [ ] 手算 $f(x,y)=x^{2}y+\sin x$ 在 $(1,0)$ 处的梯度、梯度范数、沿 $(1,1)/\sqrt{2}$ 的方向导数与 Hessian 特征值，并判断该点能否作为极值点。
- [ ] 写出二阶泰勒展开，说明 Hessian 正定、负定、不定、半正定分别对应何种结论，并各举一个二元函数的例子。
- [ ] 用拉格朗日乘子法求解 $\min x^{2}+y^{2}$ s.t. $x+y=1$，写出三个驻点方程、乘子取值与最优值，并说明该点为何是全局最优。
- [ ] 运行本篇中心差分代码，解释步长从 $10^{-2}$ 变到 $10^{-10}$ 时最大绝对误差先降后升的原因，并说明 Hessian 差分取 $10^{-4}$、梯度差分取 $10^{-5}$ 的理由。

## 参考来源

- Goodfellow, Bengio, Courville, *Deep Learning*, 2016, 第 4 章 —— 对应本篇梯度、雅可比与 Hessian、二阶泰勒展开、约束优化与 KKT 条件。
- d2l.ai《动手学深度学习》，第 2 章 2.4 节「微分」与 2.5 节「自动求导」—— 对应本篇差商定义、链式法则与计算图视角。
- Stanford CS229 课程讲义（监督学习与优化部分）—— 对应本篇梯度下降、凸性与拉格朗日乘子的课堂推导。
- Hastie, Tibshirani, Friedman, *The Elements of Statistical Learning*, 第 4 章 —— 对应本篇凸优化与一阶、二阶最优性条件的统计学习背景。
