w wyl123ly 的博客
MD

微积分与梯度

27 KB 2026.10.18 原文件

微积分与梯度

定义

若一元函数 在 处的差商极限

存在,则称 在 处可导,该极限称为导数。多元情形把「存在一个数」替换为「存在一个线性映射」:若存在矩阵 使 ,则称 在 处可微, 称为雅可比矩阵;当 为标量函数时, 退化为行向量,其转置称为梯度。

本篇符号约定如下。

符号含义
自变量向量
标量函数,通常是损失函数
对第 个分量的偏导数
梯度,全部一阶偏导数组成的列向量
沿单位方向 的方向导数
向量值函数的雅可比矩阵
Hessian,二阶偏导数矩阵
拉格朗日乘子;Hessian 的特征值,按上下文区分
学习率

偏导数指固定其余分量后的一元导数;方向导数指沿指定方向的瞬时变化率;凸函数指图像上任意两点间的弦不低于图像、即满足 的函数。可微的等价刻画是函数在局部可由线性映射逼近,误差为 ,该形式在多元与向量值情形下统一适用。

为什么重要

训练模型即求解 。在 维参数空间中,梯度是能以 次标量运算获得的局部方向信息:算出全部 个偏导数后,任意方向的导数都可由内积 给出,无需重复求导。若没有梯度,只能使用零阶方法,其误差随维数增长迅速恶化,因为随机扰动在 维中命中下降方向的概率随 增大而衰减。

具体因果链如下。其一,链式法则使复合函数的导数可由各层局部导数相乘得到,反向传播详解 正是该法则在计算图上的系统化调度,一次反向遍历即可得到全部参数的梯度。其二,梯度的反方向是局部下降最快的方向,这给出 优化算法-梯度下降与Adam 的更新式,而 Hessian 的最大特征值给出发散阈值,最小与最大特征值之比给出收敛速度。其三,凸性把局部最优提升为全局最优,是逻辑回归与 SVM 可解性的依据;等式约束下最优点的梯度必须落在约束梯度的张成空间内,该结论导出 支持向量机SVM 的对偶问题。其四,梯度数值检验是排查实现错误的标准手段,误差量级可直接暴露链式法则漏项或转置错误。

在本库中,本篇承接 线性代数 的内积与二次型语言,是 01 阶段的第二块基石,为 04 阶段的全部推导提供前置工具。

原理与推导

1 导数、可微性与连续性

一元导数的等价形式是线性主部 ,即函数在局部可由斜率 的直线逼近,误差比 高阶。多元情形把 换成 ,这就是「定义」一节的可微定义。

可微蕴含连续:由定义 ,当 时右端趋于零。逆命题不成立: 在 连续,但左右差商分别为 与 ,导数不存在。

偏导数存在也不足以推出可微。以

为例,沿坐标轴趋于原点时 恒为零,故两个偏导数在原点存在且等于零;但沿 趋于原点时 ,不连续,因而不可微。充分条件是偏导数连续:若全部一阶偏导数在 的某邻域内存在且在 处连续,则 在该点可微。常用导数如下表。

备注
由 得到
处不可导,实现中取次梯度

2 链式法则

一元链式法则:若 ,,则 。推导:把差商写成 ,当 时两因子分别趋于 与 ; 的退化情形由可微的线性主部形式处理。

多元情形有两条常用形式。其一为复合映射的雅可比相乘:若 ,,则

推导:,代入 得 ,由可微定义即得。其二为标量损失对中间变量的梯度形式:

转置不可省略: 是 维列向量, 是 ,只有左乘转置才得到与 同形状的 维结果。该式就是反向传播的单层形式,见 反向传播详解。若参数沿曲线 变化,全导数为 。

3 偏导数、梯度与方向导数

偏导数定义为

其中 为第 个标准基向量。梯度是全部偏导数组成的列向量 ,方向导数为 ,其中 。

命题:若 在 处可微,则 。

证明:令 ,则 ,而由链式法则 ,取 即得。

最速上升方向:在约束 下最大化 。由 Cauchy–Schwarz 不等式

等号成立当且仅当 与 同向,即 ,此时方向导数取最大值 。同理 给出最小值 ,故负梯度为局部最速下降方向; 时所有方向导数为零,该点称为驻点。

由此得到一条几何结论:梯度正交于过该点的等值面。若 位于等值面 上,两边求导得 。这一正交性是拉格朗日乘子法的几何基础。

4 雅可比矩阵与 Hessian

对 ,雅可比矩阵 的第 行是第 个输出分量的梯度转置,即 ; 个输入、 个输出对应 。对 ,Hessian 为二阶偏导数矩阵 ,形状 。若二阶偏导数连续,则混合偏导数可交换次序, 对称,此即 Clairaut 定理(文献中也称 Schwarz 定理)。

二阶泰勒展开可由一元泰勒定理沿直线得到。令 ,,则 ,,,代入 得

结合二次型的定性,得到驻点分类判据。设 :

的定性结论
正定,特征值全为正严格局部极小点
负定,特征值全为负严格局部极大点
不定,特征值有正有负鞍点
半正定或半负定,含零特征值判据失效,需检查更高阶项

证明思路:在驻点处 。由谱定理 ,令 ,二次项化为 ;若全部 ,则存在 使二次项 , 足够小时余项被吸收,函数值上升;不定时沿正特征向量方向上升、沿负特征向量方向下降。

Hessian 的条件数 决定优化难度:二次型等高线在特征向量方向上被拉伸 倍,梯度下降在 大时呈锯齿式进展,这解释了特征标准化与预条件的作用。

5 计算图与反向模式

计算图把复合函数表示为有向无环图:叶节点是输入与参数,内部节点是基本运算,边表示数据依赖,前向传播按拓扑序计算每个节点的值。反向模式对每个节点 定义伴随量 ,按拓扑逆序累加:

对 ,具体形式为 与 ,均为「雅可比转置乘以上游梯度」的特例。三种求梯度方法的代价对比如下, 为输入或参数维数。

方法计算量精度典型用途
有限差分 次前向有截断与舍入误差调试与检验
前向模式 倍前向精确到机器精度输入维数小、输出维数大
反向模式约 2 至 4 倍前向,与 无关精确到机器精度标量损失、参数众多

反向模式对参数数量不敏感,这是神经网络训练可行的根本原因;代价是需保存前向中间结果,显存占用随图规模增长,检查点技术即在时间与显存之间取舍。完整的两层网络推导见 反向传播详解,前向结构见 神经网络与前向传播。

6 凸函数与凸优化

设 为凸集,即对任意 与 有 。若 满足

则称 为凸函数;不等式对 、 严格成立时称严格凸。

一阶条件:可微函数 凸,当且仅当对任意 有 。必要性证明:由凸性,对 有 ,移项除以 得 ,令 即得;充分性由沿线段积分得到。该条件的含义是:凸函数的一阶泰勒近似是全局下界,故沿负梯度方向总能保证下降。

二阶条件:二阶可微的 在凸集上凸,当且仅当 处处半正定;处处正定时严格凸。

凸优化的重要性来自三条结论。其一,局部极小点即全局极小点:若 局部极小但存在 使 ,则线段上靠近 的点同时满足「邻近」与「函数值更小」,矛盾。其二,对可微凸函数, 是全局最优的充要条件。其三,收敛率可证:若 为 -光滑凸函数,步长 的梯度下降满足 ;若进一步为 -强凸,误差以 线性衰减,条件数 决定迭代次数。

深度学习的损失一般非凸,上述保证不成立,只能得到收敛到驻点的较弱结论;工程上通过初始化、学习率调度与批量噪声缓解鞍点与平坦区域的影响,见 优化算法-梯度下降与Adam。

7 等式约束与拉格朗日乘子

考虑 ,约束为 ,。设 为局部极小点,且 线性无关。任一满足约束的曲线 ,,求导得 ,故可行方向 属于切空间 。

一阶最优性要求 对一切 成立:若某可行方向上导数非零,沿该方向或其反方向移动即可降低函数值,与局部极小矛盾。于是 正交于 ,即属于 ,故存在乘子使

定义拉格朗日函数 ,则上述条件等价于 加约束 ,合称一阶必要条件。乘子可解释为约束右端的灵敏度:把约束改为 时最优值的变化率等于 。

以 s.t. 为例。,驻点条件为 、、,解得 ,,最优值 。几何上 与 共线, 是原点到直线 的垂足。不等式约束把条件扩充为 KKT 条件,含原始可行性、对偶可行性 、互补松弛 与稳定性;支持向量机SVM 的对偶推导即在 KKT 框架下把最大间隔问题化为只依赖内积的形式。

关键直觉

梯度是函数在一点处最优线性近似的系数向量:。在所有单位方向中,与梯度同向的方向使该线性近似增加最多,反向减小最多,取等条件由 Cauchy–Schwarz 不等式给出。反向传播是链式法则在计算图上的调度:每个节点把上游伴随量乘以其局部雅可比的转置并累加,因此一次反向遍历即可获得标量损失对全部参数的偏导。

与严格定义的关系:最速方向的结论由 与 下的等式条件推出;「一次反向遍历」的结论来自每个节点只被访问一次且伴随量按拓扑逆序累加,代价与边数成正比,与参数个数无关。该结论只对「多输入、单输出」成立,输出为向量时需对每个分量各做一次反向模式,或改用前向模式。

例子与代码

例 1:手算梯度、方向导数与 Hessian

取 ,在 处计算。一阶偏导数为 ,,代入得

梯度范数 ,故最速上升方向为单位向量 ,沿该方向的方向导数为 ,沿 为 。沿 的方向导数为 ,小于 ,与最速方向的结论一致。

二阶偏导数为 ,,,故

特征多项式为 ,判别式 ,特征值 。一正一负,Hessian 不定,故 在 附近既非凸也非凹。需注意 , 并非驻点,此处只能得到曲率信息,不能做极值判定;它说明沿 对应的特征方向函数下降,沿 对应方向上升。

作为临界点分类的对照,取 , 在原点为零, 不定,故原点为鞍点:沿 轴函数增大,沿 轴函数减小。

例 2:梯度检验与 Hessian 数值差分

中心差分公式为

截断误差为 ,前向差分为 ,故检验时优先使用中心差分。以下代码在 Python 3.12 与 NumPy 2.3.5 下运行通过。

import numpy as np

np.set_printoptions(precision=4, suppress=True)


def f(v):
    x, y = v
    return x**2 * y + np.sin(x)


def grad_analytic(v):
    x, y = v
    return np.array([2.0 * x * y + np.cos(x), x**2])


def grad_numeric(fn, v, h=1e-5):
    g = np.zeros_like(v)
    for i in range(v.size):                      # 逐分量扰动,其余分量固定
        e = np.zeros_like(v)
        e[i] = h
        g[i] = (fn(v + e) - fn(v - e)) / (2.0 * h)
    return g


x0 = np.array([1.0, 0.0])
ga, gn = grad_analytic(x0), grad_numeric(f, x0)
print("解析梯度 =", ga)
print("中心差分 =", gn)
print(f"相对误差 = {np.linalg.norm(ga - gn) / np.linalg.norm(ga):.2e}")

# 步长扫描:截断误差随 h 减小,舍入误差随 h 减小而放大
print("\n步长扫描:")
for h in [1e-2, 1e-4, 1e-5, 1e-6, 1e-8, 1e-10]:
    err = np.max(np.abs(grad_numeric(f, x0, h) - ga))
    print(f"h={h:.0e}  最大绝对误差={err:.2e}")


def hessian_numeric(fn, v, h=1e-4):
    n = v.size
    H = np.zeros((n, n))
    for i in range(n):
        for j in range(n):
            ei, ej = np.zeros(n), np.zeros(n)    # 第 i、j 个方向的扰动
            ei[i], ej[j] = h, h
            H[i, j] = (fn(v + ei + ej) - fn(v + ei - ej)
                       - fn(v - ei + ej) + fn(v - ei - ej)) / (4.0 * h * h)
    return H


print("\n数值 Hessian =\n", hessian_numeric(f, x0))
print("特征值 =", np.linalg.eigvalsh(hessian_numeric(f, x0)))

# 凸性检查:凸函数要求 Hessian 在整个定义域上半正定,单点正定不构成证明
for p in [np.array([0.0, 0.0]), np.array([2.0, 3.0])]:
    ev = np.linalg.eigvalsh(hessian_numeric(f, p))
    print("点", p, "Hessian 特征值 =", ev, " 半正定:", np.all(ev >= -1e-8))

预期输出:

解析梯度 = [0.5403 1.    ]
中心差分 = [0.5403 1.    ]
相对误差 = 1.06e-11

步长扫描:
h=1e-02  最大绝对误差=9.00e-06
h=1e-04  最大绝对误差=9.00e-10
h=1e-05  最大绝对误差=1.11e-11
h=1e-06  最大绝对误差=2.88e-11
h=1e-08  最大绝对误差=5.02e-09
h=1e-10  最大绝对误差=8.27e-08

数值 Hessian =
 [[-0.8415  2.    ]
 [ 2.      0.    ]]
特征值 = [-2.4645  1.623 ]
点 [0. 0.] Hessian 特征值 = [0. 0.]  半正定: True
点 [2. 3.] Hessian 特征值 = [-2.1958  7.2865]  半正定: False

要点说明。逐分量扰动是必需步骤:若对全部分量同时加 ,得到的是方向导数而非偏导数,两者仅在 为线性时相同。步长扫描显示误差在 时最小: 偏大时截断误差 主导, 偏小时两个相近函数值相减的有效位损失按 放大,故不应取到 以下。Hessian 差分含四个函数值,误差项为 ,舍入项为 ,故步长应比一阶大,本例取 。凸性检查遍历两个点: 处特征值为零,判据失效; 处出现负特征值,直接否定全局凸性,删去该循环会得到「某点 Hessian 半正定即凸」的错误结论。

例 3:拉格朗日乘子的一阶条件验证

把第 7 小节的驻点方程组写成线性系统,可直接求解并检验梯度条件:

import numpy as np

# 未知量为 (x, y, lambda),方程为 2x + lambda = 0, 2y + lambda = 0, x + y = 1
M = np.array([[2.0, 0.0, 1.0],
              [0.0, 2.0, 1.0],
              [1.0, 1.0, 0.0]])
x, y, lam = np.linalg.solve(M, np.array([0.0, 0.0, 1.0]))
print("x, y, lambda =", x, y, lam)
print("约束残差 =", x + y - 1.0)
print("目标值 =", x**2 + y**2)
print("grad L =", np.array([2 * x + lam, 2 * y + lam, x + y - 1.0]))

预期输出:

x, y, lambda = 0.5 0.5 -1.0
约束残差 = 0.0
目标值 = 0.5
grad L = [0. 0. 0.]

该验证只检查必要条件。本例目标函数严格凸且约束线性,KKT 条件充分,故 确为全局最优;若目标非凸,同样的计算只能给出候选点,需结合二阶条件或直接比较目标值。

易错点

以下错误在实现中不易暴露,需逐项核对。

1. 把梯度当作标量或与函数值混淆: 是与 同形状的向量, 是其第 个分量;对数组调用 np.gradient 得到的是网格差分,与解析梯度含义不同。

2. 链式法则漏掉内层导数或转置:,漏掉 是最常见错误;多元情形 漏掉转置时,只有 为方阵才可能不报错,属于静默错误。

3. Hessian 非对角项写错: 的 Hessian 是 ,对称时等于 ;只写对角块会低估曲率,把鞍点误判为极小点。

4. 数值差分步长选取不当: 时截断误差约 , 时舍入误差约 ,都使检验失去意义;应在 附近扫描并用相对误差判定,同时对 ReLU 等分段线性函数避开折点。

5. 由 直接断言极小:需检查 Hessian 定性,不定时为鞍点;此外 的点也可能出现负曲率,曲率信息与极值判定是两件事。

6. 用单点 Hessian 正定证明凸性:凸性要求 Hessian 在整个凸定义域上半正定,单点检查只能否定凸性,不能肯定。

关联笔记

  • 线性代数(前置):内积、范数、二次型与特征分解提供梯度的几何语言与 Hessian 的定性判据。
  • 神经网络与前向传播(前置):计算图的节点与张量形状在前向阶段确定,本篇的链式法则在其上执行。
  • 反向传播详解(后续):把本篇第 2、5 小节的链式法则与计算图推广到多层网络,给出完整的两层网络手推过程。
  • 优化算法-梯度下降与Adam(后续):负梯度方向与学习率上界 来自本篇的最速下降结论与 Hessian 谱分析。
  • 支持向量机SVM(后续):最大间隔问题在 KKT 条件下转化为对偶问题,其推导以本篇第 7 小节的乘子法为前提。

达标检测

  • [ ] 用差商极限写出 在 处的导数,证明可微蕴含连续,并给出一个连续但不可微的函数及不可微点。
  • [ ] 由方向导数定义与链式法则证明 ,并用 Cauchy–Schwarz 不等式写出取等条件与最速上升方向。
  • [ ] 手算 在 处的梯度、梯度范数、沿 的方向导数与 Hessian 特征值,并判断该点能否作为极值点。
  • [ ] 写出二阶泰勒展开,说明 Hessian 正定、负定、不定、半正定分别对应何种结论,并各举一个二元函数的例子。
  • [ ] 用拉格朗日乘子法求解 s.t. ,写出三个驻点方程、乘子取值与最优值,并说明该点为何是全局最优。
  • [ ] 运行本篇中心差分代码,解释步长从 变到 时最大绝对误差先降后升的原因,并说明 Hessian 差分取 、梯度差分取 的理由。

参考来源

  • Goodfellow, Bengio, Courville, Deep Learning, 2016, 第 4 章 —— 对应本篇梯度、雅可比与 Hessian、二阶泰勒展开、约束优化与 KKT 条件。
  • d2l.ai《动手学深度学习》,第 2 章 2.4 节「微分」与 2.5 节「自动求导」—— 对应本篇差商定义、链式法则与计算图视角。
  • Stanford CS229 课程讲义(监督学习与优化部分)—— 对应本篇梯度下降、凸性与拉格朗日乘子的课堂推导。
  • Hastie, Tibshirani, Friedman, The Elements of Statistical Learning, 第 4 章 —— 对应本篇凸优化与一阶、二阶最优性条件的统计学习背景。