w wyl123ly 的博客
MD

矩阵与线性代数速查

20 KB 2026.10.22 原文件

矩阵与线性代数速查

定义

矩阵是实数域上的二维数组,记 ,其元素为 , 为行下标, 为列下标。矩阵在深度学习中承担的唯一角色是线性映射:把 维向量空间映到 维向量空间。

本篇用到的符号与术语:

  • :列向量,元素 ;按 PyTorch 习惯,一个 batch 的激活写成 , 为批大小, 为序列长度, 为通道数。
  • 矩阵乘法: 与 的乘积 满足 。只有内维 相等时才有定义。
  • 转置:,。
  • Frobenius 范数:,等于把矩阵展平后的欧氏长度。
  • 谱范数:,即最大奇异值,等于线性映射的最大拉伸倍数。
  • 核范数:,即奇异值之和。
  • 奇异值分解(singular value decomposition, SVD):, 与 列正交,,,。
  • 秩: 为列空间的维数,等于非零奇异值的个数。
  • 条件数:,衡量线性映射在不同方向上拉伸倍数的差异。
  • 极分解:, 半正定对称; 的正交方向取决于形状: 时列正交(), 时行正交();一般地 是秩 的正交投影。

为什么重要

  • nanochat 模型里几乎全部浮点运算都是矩阵乘法。GPT.forward 的每一步都可以归约为「形状为 的激活乘一个形状为 的权重」。形状写错是这份代码库最常见、也最难通过报错定位的错误类型,而形状规则只有一条:内维相等、前导维广播。
  • 参数量与计算量都由矩阵形状直接给出:参数量是 ,每个 token 的前向计算量是 FLOPs。05 阶段的缩放律、本篇的 FLOPs与训练成本估算 都以这一条为基础。
  • Muon 优化器的全部内容是对更新矩阵的奇异值谱做操作:把谱压到 1 附近,即把更新矩阵换成离它最近的正交矩阵。不理解 SVD 与极分解,就只能把 Muon优化器 当成一段不可读的系数序列。
  • 在全书中的位置:通用原理见 线性代数 与 矩阵分解-SVD与特征分解,本篇只讲 nanochat 落地所需的形状、范数与 SVD 结论;后续被 softmax与softmax温度、Muon优化器、FLOPs与训练成本估算 引用。

原理与推导

1. 矩阵乘法的两种视角

给定 ,,。逐元素展开:

其中 是第 行。这是第一种视角:输出向量的第 个分量是第 行与输入的内积,几何上是输入在行方向上的投影,工程上就是一次打分。

把 按列拆成 ,同一式子可以改写为

这是第二种视角:输出是各列的线性组合,系数是输入的各个分量。两种视角数值完全相同,用途不同:第一种适合逐元素推导梯度与实现,第二种适合解释「 个输入特征各自贡献一个方向」。

推广到批量与序列, 中 、,前导两维 只是被同一组行列共享的批维,逐个位置独立地做一次 的映射。

2. 形状规则与参数计数

形状规则只有一条:相邻两个操作数的内维必须相等,其余前导维按广播对齐。

由此得到两条在 nanochat 中反复使用的结论:

  1. 参数量等于 ,与 、 无关。
  2. 单个 token 的前向计算量为 FLOPs(每个乘加记 2 FLOPs),整段序列为 。

PyTorch 的 nn.Linear 把权重存成 ,前向计算 。因此代码里 Linear(1536, 6144) 的权重形状是 而不是 。这一约定在 04 阶段只影响阅读,但在 Muon优化器 中会直接决定更新矩阵走「高矩阵」还是「宽矩阵」分支、以及拿多少学习率倍数。

3. 转置

转置把行空间与列空间互换,两条恒等式是后续推导的工具:

对 取转置得 。Muon 对高矩阵与宽矩阵写了两套迭代式,二者正是通过这条恒等式互为转置:

把 代入右式,得到 ,正是宽矩阵分支。所以两套代码在数学上是同一迭代,分开写只是为了少做一次转置。

4. 范数

三种范数在 nanochat 中各有一处用途。

Frobenius 范数:

它等于奇异值向量的欧氏长度,也是 Muon 在正交化前后用来统一尺度的量(把 拉回 )。

谱范数等于最大奇异值,是线性映射的最大拉伸倍数;核范数是奇异值之和,在矩阵补全类问题中作为秩的凸替代出现,nanochat 不使用。

三者满足

左端在秩为 1 时取等,右端在全部奇异值相等时取等。这个不等式解释了一件事:一个满秩但谱很扁的矩阵,其 Frobenius 范数会比谱范数大出 倍,因此只看范数无法判断矩阵是否「各向同性」。

5. SVD、秩与极分解

对任意 ,SVD 把线性映射分解为「旋转—缩放—旋转」:

是输入空间的主方向, 是对应的输出方向, 是该方向上的拉伸倍数。秩 是线性映射真正用到的维数; 是拉伸倍数的动态范围。

Eckart–Young 定理:在所有秩不超过 的矩阵中, 使 Frobenius 范数误差最小,最小误差为

极分解:任何矩阵都可以写成 ,其中 半正定, 称为 的正交因子。正交方向随形状变化: 时 列正交, 时 行正交。它的变分刻画分两种情形,这是 Muon 把「更新矩阵换成最接近的正交矩阵」写成优化问题的依据:

证明(以 为例):对任意列正交的 ,有

固定,故只需最大化 。代入 ,令 ,则 在此情形下为方阵正交矩阵且

因为 的正交性蕴含 。取等要求 ,即 ,也就是 。 的情形对 重复上述论证即可,此时结论是 。

6. 复杂度

需要 次乘加,每次乘加记 2 FLOPs,故计算量为 ,记为 。

在 nanochat 的注意力中, 的形状是 ,单个头一次前向的计算量为 ,其中 是头维;乘以 个头、再加上 的 ,单个 token 平摊到的注意力内积计算量是 ,反向再乘 2 得 。这一项的完整推导见 FLOPs与训练成本估算。

复杂度还解释了一个工程事实:矩阵乘法是访存受限还是计算受限取决于 与搬运字节数的比值,分块(tiling)之所以必要,是因为 的计算量远大于 的访存量,缓存命中率决定实际吞吐能否接近峰值。这部分属于 模型推理优化 与 分布式训练与部署 的内容,本篇不展开。

在 nanochat 中的落地

权重形状。 nanochat/gpt.py 的 Linear 是 nn.Linear 的子类,只重写前向:

class Linear(nn.Linear):
    def forward(self, x):
        return F.linear(x, self.weight.to(dtype=x.dtype))

主权重保持 fp32 供优化器使用,前向时按激活 dtype 转换,因此矩阵乘法的实际数据类型是 bf16(或 fp8 路径下的 fp8),但参数的存储类型不随之改变。

d24 的形状。 深度 24 对应 n_embd = ceil(2464/128)128 = 1536,n_head = 12,head_dim = 128,n_kv_head = 12(GQA 关闭),词表 32768(已是 64 的倍数,不触发填充):

参数形状元素数每 token 前向 FLOPs
transformer.wte50,331,6480(查表)
attn.c_q2,359,2964,718,592
attn.c_k2,359,2964,718,592
attn.c_v2,359,2964,718,592
attn.c_proj2,359,2964,718,592
mlp.c_fc9,437,18418,874,368
mlp.c_proj9,437,18418,874,368
lm_head50,331,648100,663,296
ve_gate144288

因为 n_kv_head == n_head, 与 的输出维也是 1536,四个注意力投影都是方阵。若改成 GQA(n_kv_head < n_head), 的形状会变成 ,此时权重不再是方阵,Muon 的「按形状分组」也会随之分裂出新的形状组。

激活形状。 CausalSelfAttention.forward 里

q = self.c_q(x).view(B, T, self.n_head, self.head_dim)

view 不改变内存布局,只是把最后一维 拆成 。这是形状规则的一个特例:拆分维度不产生矩阵乘法,也不产生 FLOPs。FA3 使用的是 布局,与 flash_attn_func 的约定一致,因此代码里没有转置。

参数量分类。 GPT.num_matmul_params 遍历所有 Linear 模块累加权重元素数:

matmul_params = sum(m.weight.numel() for m in self.modules() if isinstance(m, Linear))

它得到 729,810,648,比 num_scaling_params 里的 transformer_matrices + lm_head(729,810,624)多 24,多出的正是 smear_gate 的 Linear(24, 1) 权重。这个差别在 FLOPs与训练成本估算 里会带来 FLOPs/token 的偏差,可以忽略,但要知道来源。

Muon 的栈。 setup_optimizer 把 transformer.h 的全部参数按形状排序后分组,每组堆叠成一个三维张量送进融合核。d24 得到四个形状组:

形状组张量数栈形状来源
12ve_gate,只存在于隔层插入的 12 个 value-embedding 层
96每层 c_q/c_k/c_v/c_proj 各一个
24每层 mlp.c_proj(宽矩阵)
24每层 mlp.c_fc(高矩阵)

合计 156 个张量。堆叠要求组内形状完全一致,这也是 setup_optimizer 必须先按 p.shape 分组的原因。

关键直觉

把矩阵理解为「带谱的算子」而不是数字表

一个权重矩阵 对训练的贡献由两件事决定:它的形状决定参数量与 FLOPs( 与 ),它的奇异值谱决定梯度在不同方向上的传递效率()。SVD 把这两件事解耦: 是方向, 是强度。Muon 的选择是保留方向、把强度全部改成 1,因此它优化的对象是「算子」而不是「数字」。这与严格定义的关系是: 就是第 5 节变分问题的最优解,正交化的动机因此不是启发式,而是最小二乘意义下的最优逼近。

例子与代码

例 1:形状、参数量与 FLOPs

import numpy as np

# nanochat 的 Linear 把权重存成 (out_features, in_features),前向是 y = x W^T
B, T, C = 16, 2048, 1536
X = np.zeros((B, T, C), dtype=np.float32)
W = np.zeros((4 * C, C), dtype=np.float32)   # mlp.c_fc 的形状
Y = X @ W.T                                   # (B, T, 4C)
print(Y.shape)                                # (16, 2048, 6144)

# 一次前向的乘加次数;每个乘加记 2 FLOPs
macs = B * T * (4 * C) * C
print(f"{macs:,}", f"{2 * macs / 1e9:.1f} GFLOPs")

预期输出:

(16, 2048, 6144)
309,237,645,312 618.5 GFLOPs

一次 mlp.c_fc 的前向在 、 时消耗 618.5 GFLOPs,而 d24 全部矩阵参数的每 token 前向只有 GFLOPs,乘以 得 ,可见单个矩阵确实只占整步的一小部分。

例 2:SVD、条件数与正交因子

import numpy as np

G = np.array([[1.0, 2.0, 3.0], [0.5, 1.0, 2.5]])   # 2x3,秩 2
U, S, Vt = np.linalg.svd(G, full_matrices=False)
print(np.round(S, 4))                              # 奇异值
print(round(float(np.linalg.cond(G)), 4))          # 条件数
Q = U @ Vt                                         # 正交因子
print(np.round(Q @ Q.T, 6))                        # 行正交:QQ^T = I_2
print(round(float(np.linalg.norm(G - S[0] * np.outer(U[:, 0], Vt[0]))), 4))

预期输出:

[4.6114 0.4849]
9.5099
[[1. 0.]
 [0. 1.]]
0.4849

第 2 行说明这个矩阵把不同方向拉伸了 9.5 倍,谱很扁;第 4 行说明丢掉第二个奇异值方向后,误差恰好等于 ,与 Eckart–Young 定理一致。

易错点

这些错误在本仓库里都能真实发生

- 把 Linear(in, out) 的权重形状记成 。mlp.c_fc 是 Linear(1536, 6144),权重为 ,因此它进入 Muon 时是高矩阵,拿 倍学习率;记反会导致对学习率倍数的解释全错。

- 以为 view(B, T, H, D) 做了矩阵乘法或转置。它只重新解释最后一维,FLOPs 为 0;若写成 view(B, T, D, H) 再 transpose,后续 contiguous() 会产生额外拷贝。

- 在 GQA 下仍认为 是方阵。nanochat 取 n_kv_head = n_head,所以 d24 恰好是方阵;换成真正的 GQA 后形状为 ,参数量与 FLOPs 都要按 重算。

- 用 检验宽矩阵的正交性。 的 只有行正交, 成立,而 是秩 2 的投影矩阵,迹为 2,不可能是 。

- 把一次乘加当成 1 FLOP。矩阵乘法的 FLOPs 是 ,少算一半会让成本估算差一倍。

- 把词嵌入当成矩阵乘法。wte 是查表,不贡献 FLOPs;只有 lm_head 是真正的矩阵乘法。

关联笔记

  • 前置:线性代数(跨库)——向量空间、秩与特征值分解的标准定义;本篇只取 nanochat 需要的形状与 SVD 结论。
  • 后续:Muon优化器——本篇第 5 节的极分解变分刻画是 Muon 正交化步骤的全部依据。
  • 后续:FLOPs与训练成本估算—— 与 直接构成 规则与注意力项。
  • 对照:矩阵分解-SVD与特征分解(跨库)——特征分解与 SVD 的关系、数值算法细节,本篇不重复。

达标检测

  • [ ] 不看笔记写出矩阵乘法的两种视角,并说明各自适合解释什么。
  • [ ] 给定 Linear(1536, 6144) 与输入 ,写出输出形状、参数量、单次前向 FLOPs。
  • [ ] 写出 的展开式,并据此推出 Muon 宽矩阵分支与高矩阵分支互为转置。
  • [ ] 手推「最近正交矩阵」引理,说明取等条件为什么是 。
  • [ ] 解释 与 在 情形下分别是什么,各自秩为多少。
  • [ ] 列出 d24 的四个 Muon 形状组及各自的张量数,并说明为什么必须按形状分组。
  • [ ] 说明 num_matmul_params 与 num_scaling_params 的计数差 24 的来源。

参考来源

  • Goodfellow, Bengio, Courville, Deep Learning(2016),第 2 章线性代数 —— 对应本篇向量、范数、SVD 与极分解的标准定义。
  • d2l.ai, Dive into Deep Learning,线性代数与矩阵乘法一节 —— 对应矩阵乘法的两种视角与 复杂度。
  • Karpathy, nanochat nanochat/gpt.py(commit 92d63d4)—— 对应 Linear 的权重形状、num_matmul_params 与 d24 的各层形状。
  • Karpathy, nanochat nanochat/optim.py —— 对应按形状堆叠的 Muon 参数组与高/宽矩阵两套迭代式。
  • PyTorch 文档,torch.nn.Linear —— 对应权重形状 与前向 的约定。