---
tags: [nanochat, math, linalg]
阶段: 02-数学与工程基础
难度: ★★☆
created: 2026-10-22
related: "[[Muon优化器]], [[FLOPs与训练成本估算]], [[矩阵分解-SVD与特征分解]]"
---

# 矩阵与线性代数速查

## 定义

矩阵是实数域上的二维数组，记 $\mathbf{A}\in\mathbb{R}^{m\times n}$，其元素为 $A_{ij}$，$i\in\{1,\dots,m\}$ 为行下标，$j\in\{1,\dots,n\}$ 为列下标。矩阵在深度学习中承担的唯一角色是线性映射：把 $n$ 维向量空间映到 $m$ 维向量空间。

本篇用到的符号与术语：

- $\mathbf{x}\in\mathbb{R}^{n}$：列向量，元素 $x_j$；按 PyTorch 习惯，一个 batch 的激活写成 $\mathbf{X}\in\mathbb{R}^{B\times T\times C}$，$B$ 为批大小，$T$ 为序列长度，$C$ 为通道数。
- **矩阵乘法**：$\mathbf{A}\in\mathbb{R}^{m\times k}$ 与 $\mathbf{B}\in\mathbb{R}^{k\times n}$ 的乘积 $\mathbf{C}=\mathbf{A}\mathbf{B}\in\mathbb{R}^{m\times n}$ 满足 $C_{ij}=\sum_{p=1}^{k}A_{ip}B_{pj}$。只有内维 $k$ 相等时才有定义。
- **转置**：$\mathbf{A}^{\top}\in\mathbb{R}^{n\times m}$，$(\mathbf{A}^{\top})_{ij}=A_{ji}$。
- **Frobenius 范数**：$\|\mathbf{A}\|_F=\sqrt{\sum_{i,j}A_{ij}^{2}}$，等于把矩阵展平后的欧氏长度。
- **谱范数**：$\|\mathbf{A}\|_2=\sigma_{\max}(\mathbf{A})$，即最大奇异值，等于线性映射的最大拉伸倍数。
- **核范数**：$\|\mathbf{A}\|_*=\sum_i\sigma_i(\mathbf{A})$，即奇异值之和。
- **奇异值分解**（singular value decomposition, SVD）：$\mathbf{A}=\mathbf{U}\mathbf{\Sigma}\mathbf{V}^{\top}$，$\mathbf{U}\in\mathbb{R}^{m\times r}$ 与 $\mathbf{V}\in\mathbb{R}^{n\times r}$ 列正交，$\mathbf{\Sigma}=\mathrm{diag}(\sigma_1,\dots,\sigma_r)$，$\sigma_1\ge\cdots\ge\sigma_r>0$，$r=\mathrm{rank}(\mathbf{A})$。
- **秩**：$\mathrm{rank}(\mathbf{A})$ 为列空间的维数，等于非零奇异值的个数。
- **条件数**：$\kappa(\mathbf{A})=\sigma_{\max}/\sigma_{\min}$，衡量线性映射在不同方向上拉伸倍数的差异。
- **极分解**：$\mathbf{A}=\mathbf{Q}\mathbf{H}$，$\mathbf{H}$ 半正定对称；$\mathbf{Q}$ 的正交方向取决于形状：$m\ge n$ 时列正交（$\mathbf{Q}^{\top}\mathbf{Q}=\mathbf{I}_n$），$m<n$ 时行正交（$\mathbf{Q}\mathbf{Q}^{\top}=\mathbf{I}_m$）；一般地 $\mathbf{Q}^{\top}\mathbf{Q}$ 是秩 $r$ 的正交投影。

## 为什么重要

- nanochat 模型里几乎全部浮点运算都是矩阵乘法。`GPT.forward` 的每一步都可以归约为「形状为 $(B,T,C)$ 的激活乘一个形状为 $(C_{\text{out}},C)$ 的权重」。形状写错是这份代码库最常见、也最难通过报错定位的错误类型，而形状规则只有一条：内维相等、前导维广播。
- 参数量与计算量都由矩阵形状直接给出：参数量是 $m n$，每个 token 的前向计算量是 $2mn$ FLOPs。05 阶段的缩放律、本篇的 [[FLOPs与训练成本估算]] 都以这一条为基础。
- Muon 优化器的全部内容是对更新矩阵的奇异值谱做操作：把谱压到 1 附近，即把更新矩阵换成离它最近的正交矩阵。不理解 SVD 与极分解，就只能把 [[Muon优化器]] 当成一段不可读的系数序列。
- 在全书中的位置：通用原理见 [[线性代数]] 与 [[矩阵分解-SVD与特征分解]]，本篇只讲 nanochat 落地所需的形状、范数与 SVD 结论；后续被 [[softmax与softmax温度]]、[[Muon优化器]]、[[FLOPs与训练成本估算]] 引用。

## 原理与推导

### 1. 矩阵乘法的两种视角

给定 $\mathbf{y}=\mathbf{A}\mathbf{x}$，$\mathbf{A}\in\mathbb{R}^{m\times n}$，$\mathbf{x}\in\mathbb{R}^{n}$。逐元素展开：

$$
y_i=\sum_{j=1}^{n}A_{ij}x_j=\mathbf{a}_{i,:}\cdot\mathbf{x},
$$

其中 $\mathbf{a}_{i,:}$ 是第 $i$ 行。这是第一种视角：**输出向量的第 $i$ 个分量是第 $i$ 行与输入的内积**，几何上是输入在行方向上的投影，工程上就是一次打分。

把 $\mathbf{A}$ 按列拆成 $\mathbf{A}=[\mathbf{a}_{:,1},\dots,\mathbf{a}_{:,n}]$，同一式子可以改写为

$$
\mathbf{y}=\sum_{j=1}^{n}x_j\,\mathbf{a}_{:,j}.
$$

这是第二种视角：**输出是各列的线性组合，系数是输入的各个分量**。两种视角数值完全相同，用途不同：第一种适合逐元素推导梯度与实现，第二种适合解释「$n$ 个输入特征各自贡献一个方向」。

推广到批量与序列，$\mathbf{Y}=\mathbf{X}\mathbf{W}^{\top}$ 中 $\mathbf{X}\in\mathbb{R}^{B\times T\times C}$、$\mathbf{W}\in\mathbb{R}^{C_{\text{out}}\times C}$，前导两维 $(B,T)$ 只是被同一组行列共享的批维，逐个位置独立地做一次 $\mathbb{R}^{C}\to\mathbb{R}^{C_{\text{out}}}$ 的映射。

### 2. 形状规则与参数计数

形状规则只有一条：**相邻两个操作数的内维必须相等，其余前导维按广播对齐**。

$$
(B,T,C)\times(C,D)\longrightarrow(B,T,D).
$$

由此得到两条在 nanochat 中反复使用的结论：

1. 参数量等于 $C_{\text{out}}\cdot C_{\text{in}}$，与 $B$、$T$ 无关。
2. 单个 token 的前向计算量为 $2C_{\text{out}}C_{\text{in}}$ FLOPs（每个乘加记 2 FLOPs），整段序列为 $2BTC_{\text{out}}C_{\text{in}}$。

PyTorch 的 `nn.Linear` 把权重存成 $(\text{out\_features},\text{in\_features})$，前向计算 $\mathbf{y}=\mathbf{x}\mathbf{W}^{\top}$。因此代码里 `Linear(1536, 6144)` 的权重形状是 $(6144,1536)$ 而不是 $(1536,6144)$。这一约定在 04 阶段只影响阅读，但在 [[Muon优化器]] 中会直接决定更新矩阵走「高矩阵」还是「宽矩阵」分支、以及拿多少学习率倍数。

### 3. 转置

转置把行空间与列空间互换，两条恒等式是后续推导的工具：

$$
(\mathbf{A}\mathbf{B})^{\top}=\mathbf{B}^{\top}\mathbf{A}^{\top},\qquad
(\mathbf{A}^{\top})^{\top}=\mathbf{A}.
$$

对 $\mathbf{Y}=\mathbf{X}\mathbf{W}^{\top}$ 取转置得 $\mathbf{Y}^{\top}=\mathbf{W}\mathbf{X}^{\top}$。Muon 对高矩阵与宽矩阵写了两套迭代式，二者正是通过这条恒等式互为转置：

$$
\mathbf{X}\leftarrow a\mathbf{X}+\mathbf{X}\big(b\mathbf{A}+c\mathbf{A}^{2}\big),\quad \mathbf{A}=\mathbf{X}^{\top}\mathbf{X}
\qquad\Longleftrightarrow\qquad
\mathbf{X}^{\top}\leftarrow a\mathbf{X}^{\top}+\big(b\mathbf{A}+c\mathbf{A}^{2}\big)\mathbf{X}^{\top},\quad \mathbf{A}=\mathbf{X}^{\top}\mathbf{X}.
$$

把 $\mathbf{Z}=\mathbf{X}^{\top}$ 代入右式，得到 $\mathbf{Z}\leftarrow a\mathbf{Z}+(b\mathbf{Z}\mathbf{Z}^{\top}+c(\mathbf{Z}\mathbf{Z}^{\top})^{2})\mathbf{Z}$，正是宽矩阵分支。所以两套代码在数学上是同一迭代，分开写只是为了少做一次转置。

### 4. 范数

三种范数在 nanochat 中各有一处用途。

Frobenius 范数：

$$
\|\mathbf{A}\|_F^{2}=\sum_{i,j}A_{ij}^{2}=\mathrm{tr}(\mathbf{A}^{\top}\mathbf{A})=\sum_{i=1}^{r}\sigma_i^{2}.
$$

它等于奇异值向量的欧氏长度，也是 Muon 在正交化前后用来统一尺度的量（把 $\|\mathbf{G}\|_F$ 拉回 $\sqrt{\min(m,n)}$）。

谱范数等于最大奇异值，是线性映射的最大拉伸倍数；核范数是奇异值之和，在矩阵补全类问题中作为秩的凸替代出现，nanochat 不使用。

三者满足

$$
\|\mathbf{A}\|_2\le\|\mathbf{A}\|_F\le\sqrt{r}\,\|\mathbf{A}\|_2 .
$$

左端在秩为 1 时取等，右端在全部奇异值相等时取等。这个不等式解释了一件事：一个满秩但谱很扁的矩阵，其 Frobenius 范数会比谱范数大出 $\sqrt{r}$ 倍，因此只看范数无法判断矩阵是否「各向同性」。

### 5. SVD、秩与极分解

对任意 $\mathbf{A}\in\mathbb{R}^{m\times n}$，SVD 把线性映射分解为「旋转—缩放—旋转」：

$$
\mathbf{A}=\sum_{i=1}^{r}\sigma_i\,\mathbf{u}_i\mathbf{v}_i^{\top},
\qquad
\mathbf{U}^{\top}\mathbf{U}=\mathbf{I}_r,\quad \mathbf{V}^{\top}\mathbf{V}=\mathbf{I}_r .
$$

$\mathbf{v}_i$ 是输入空间的主方向，$\mathbf{u}_i$ 是对应的输出方向，$\sigma_i$ 是该方向上的拉伸倍数。秩 $r$ 是线性映射真正用到的维数；$\kappa=\sigma_{\max}/\sigma_{\min}$ 是拉伸倍数的动态范围。

**Eckart–Young 定理**：在所有秩不超过 $k$ 的矩阵中，$\mathbf{A}_k=\sum_{i\le k}\sigma_i\mathbf{u}_i\mathbf{v}_i^{\top}$ 使 Frobenius 范数误差最小，最小误差为

$$
\|\mathbf{A}-\mathbf{A}_k\|_F=\sqrt{\sum_{i>k}\sigma_i^{2}} .
$$

**极分解**：任何矩阵都可以写成 $\mathbf{A}=\mathbf{Q}\mathbf{H}$，其中 $\mathbf{H}$ 半正定，$\mathbf{Q}=\mathbf{U}\mathbf{V}^{\top}$ 称为 $\mathbf{A}$ 的正交因子。正交方向随形状变化：$m\ge n$ 时 $\mathbf{Q}$ 列正交，$m<n$ 时 $\mathbf{Q}$ 行正交。它的变分刻画分两种情形，这是 Muon 把「更新矩阵换成最接近的正交矩阵」写成优化问题的依据：

$$
\mathbf{Q}=\mathbf{U}\mathbf{V}^{\top}=
\begin{cases}
\arg\min_{\mathbf{Z}^{\top}\mathbf{Z}=\mathbf{I}_n}\|\mathbf{A}-\mathbf{Z}\|_F, & m\ge n,\\[2mm]
\arg\min_{\mathbf{Z}\mathbf{Z}^{\top}=\mathbf{I}_m}\|\mathbf{A}-\mathbf{Z}\|_F, & m<n.
\end{cases}
$$

证明（以 $m\ge n$ 为例）：对任意列正交的 $\mathbf{Z}$，有

$$
\|\mathbf{A}-\mathbf{Z}\|_F^{2}=\|\mathbf{A}\|_F^{2}+\|\mathbf{Z}\|_F^{2}-2\,\mathrm{tr}(\mathbf{A}^{\top}\mathbf{Z}).
$$

$\|\mathbf{Z}\|_F^{2}=r$ 固定，故只需最大化 $\mathrm{tr}(\mathbf{A}^{\top}\mathbf{Z})$。代入 $\mathbf{A}=\mathbf{U}\mathbf{\Sigma}\mathbf{V}^{\top}$，令 $\mathbf{W}=\mathbf{U}^{\top}\mathbf{Z}\mathbf{V}$，则 $\mathbf{W}$ 在此情形下为方阵正交矩阵且

$$
\mathrm{tr}(\mathbf{A}^{\top}\mathbf{Z})=\mathrm{tr}(\mathbf{V}\mathbf{\Sigma}\mathbf{U}^{\top}\mathbf{Z})=\mathrm{tr}(\mathbf{\Sigma}\mathbf{W})=\sum_{i=1}^{r}\sigma_i W_{ii}\le\sum_{i=1}^{r}\sigma_i,
$$

因为 $\mathbf{W}$ 的正交性蕴含 $|W_{ii}|\le1$。取等要求 $W_{ii}=1$，即 $\mathbf{W}=\mathbf{I}$，也就是 $\mathbf{Z}=\mathbf{U}\mathbf{V}^{\top}$。$m<n$ 的情形对 $\mathbf{A}^{\top}$ 重复上述论证即可，此时结论是 $\mathbf{Q}\mathbf{Q}^{\top}=\mathbf{I}_m$。

### 6. 复杂度 $O(mnk)$

$\mathbf{C}=\mathbf{A}\mathbf{B}$ 需要 $m\cdot n\cdot k$ 次乘加，每次乘加记 2 FLOPs，故计算量为 $2mnk$，记为 $O(mnk)$。

在 nanochat 的注意力中，$(\mathbf{Q}\mathbf{K}^{\top})$ 的形状是 $(T,T)$，单个头一次前向的计算量为 $2\cdot T\cdot T\cdot d$，其中 $d$ 是头维；乘以 $h$ 个头、再加上 $\mathbf{A}\mathbf{V}$ 的 $2T^{2}d$，单个 token 平摊到的注意力内积计算量是 $4hqT$，反向再乘 2 得 $12hqT$。这一项的完整推导见 [[FLOPs与训练成本估算]]。

复杂度还解释了一个工程事实：矩阵乘法是访存受限还是计算受限取决于 $mnk$ 与搬运字节数的比值，分块（tiling）之所以必要，是因为 $O(mnk)$ 的计算量远大于 $O(mn+mk+nk)$ 的访存量，缓存命中率决定实际吞吐能否接近峰值。这部分属于 [[模型推理优化]] 与 [[分布式训练与部署]] 的内容，本篇不展开。

### 在 nanochat 中的落地

**权重形状。** `nanochat/gpt.py` 的 `Linear` 是 `nn.Linear` 的子类，只重写前向：

```text
class Linear(nn.Linear):
    def forward(self, x):
        return F.linear(x, self.weight.to(dtype=x.dtype))
```

主权重保持 fp32 供优化器使用，前向时按激活 dtype 转换，因此矩阵乘法的实际数据类型是 bf16（或 fp8 路径下的 fp8），但参数的存储类型不随之改变。

**d24 的形状。** 深度 24 对应 `n_embd = ceil(24*64/128)*128 = 1536`，`n_head = 12`，`head_dim = 128`，`n_kv_head = 12`（GQA 关闭），词表 32768（已是 64 的倍数，不触发填充）：

| 参数 | 形状 | 元素数 | 每 token 前向 FLOPs |
|---|---|---|---|
| `transformer.wte` | $(32768,\,1536)$ | 50,331,648 | 0（查表） |
| `attn.c_q` | $(1536,\,1536)$ | 2,359,296 | 4,718,592 |
| `attn.c_k` | $(1536,\,1536)$ | 2,359,296 | 4,718,592 |
| `attn.c_v` | $(1536,\,1536)$ | 2,359,296 | 4,718,592 |
| `attn.c_proj` | $(1536,\,1536)$ | 2,359,296 | 4,718,592 |
| `mlp.c_fc` | $(6144,\,1536)$ | 9,437,184 | 18,874,368 |
| `mlp.c_proj` | $(1536,\,6144)$ | 9,437,184 | 18,874,368 |
| `lm_head` | $(32768,\,1536)$ | 50,331,648 | 100,663,296 |
| `ve_gate` | $(12,\,12)$ | 144 | 288 |

因为 `n_kv_head == n_head`，$\mathbf{c}_k$ 与 $\mathbf{c}_v$ 的输出维也是 1536，四个注意力投影都是方阵。若改成 GQA（`n_kv_head < n_head`），$\mathbf{c}_k$ 的形状会变成 $(n_{\text{kv}}\cdot d,\,C)$，此时权重不再是方阵，Muon 的「按形状分组」也会随之分裂出新的形状组。

**激活形状。** `CausalSelfAttention.forward` 里

```text
q = self.c_q(x).view(B, T, self.n_head, self.head_dim)
```

`view` 不改变内存布局，只是把最后一维 $C=1536$ 拆成 $(H,D)=(12,128)$。这是形状规则的一个特例：拆分维度不产生矩阵乘法，也不产生 FLOPs。FA3 使用的是 $(B,T,H,D)$ 布局，与 `flash_attn_func` 的约定一致，因此代码里没有转置。

**参数量分类。** `GPT.num_matmul_params` 遍历所有 `Linear` 模块累加权重元素数：

```text
matmul_params = sum(m.weight.numel() for m in self.modules() if isinstance(m, Linear))
```

它得到 729,810,648，比 `num_scaling_params` 里的 `transformer_matrices + lm_head`（729,810,624）多 24，多出的正是 `smear_gate` 的 `Linear(24, 1)` 权重。这个差别在 [[FLOPs与训练成本估算]] 里会带来 $6\times24$ FLOPs/token 的偏差，可以忽略，但要知道来源。

**Muon 的栈。** `setup_optimizer` 把 `transformer.h` 的全部参数按形状排序后分组，每组堆叠成一个三维张量送进融合核。d24 得到四个形状组：

| 形状组 | 张量数 | 栈形状 | 来源 |
|---|---|---|---|
| $(12,\,12)$ | 12 | $(12,12,12)$ | `ve_gate`，只存在于隔层插入的 12 个 value-embedding 层 |
| $(1536,\,1536)$ | 96 | $(96,1536,1536)$ | 每层 `c_q/c_k/c_v/c_proj` 各一个 |
| $(1536,\,6144)$ | 24 | $(24,1536,6144)$ | 每层 `mlp.c_proj`（宽矩阵） |
| $(6144,\,1536)$ | 24 | $(24,6144,1536)$ | 每层 `mlp.c_fc`（高矩阵） |

合计 156 个张量。堆叠要求组内形状完全一致，这也是 `setup_optimizer` 必须先按 `p.shape` 分组的原因。

## 关键直觉

> [!tip] 把矩阵理解为「带谱的算子」而不是数字表
> 一个权重矩阵 $\mathbf{W}$ 对训练的贡献由两件事决定：它的形状决定参数量与 FLOPs（$mn$ 与 $2mn$），它的奇异值谱决定梯度在不同方向上的传递效率（$\sigma_{\max}/\sigma_{\min}$）。SVD 把这两件事解耦：$\mathbf{U},\mathbf{V}$ 是方向，$\mathbf{\Sigma}$ 是强度。Muon 的选择是保留方向、把强度全部改成 1，因此它优化的对象是「算子」而不是「数字」。这与严格定义的关系是：$\mathbf{U}\mathbf{V}^{\top}$ 就是第 5 节变分问题的最优解，正交化的动机因此不是启发式，而是最小二乘意义下的最优逼近。

## 例子与代码

### 例 1：形状、参数量与 FLOPs

```python
import numpy as np

# nanochat 的 Linear 把权重存成 (out_features, in_features)，前向是 y = x W^T
B, T, C = 16, 2048, 1536
X = np.zeros((B, T, C), dtype=np.float32)
W = np.zeros((4 * C, C), dtype=np.float32)   # mlp.c_fc 的形状
Y = X @ W.T                                   # (B, T, 4C)
print(Y.shape)                                # (16, 2048, 6144)

# 一次前向的乘加次数；每个乘加记 2 FLOPs
macs = B * T * (4 * C) * C
print(f"{macs:,}", f"{2 * macs / 1e9:.1f} GFLOPs")
```

预期输出：

```text
(16, 2048, 6144)
309,237,645,312 618.5 GFLOPs
```

一次 `mlp.c_fc` 的前向在 $B=16$、$T=2048$ 时消耗 618.5 GFLOPs，而 d24 全部矩阵参数的每 token 前向只有 $2\times729{,}810{,}648\approx1.46$ GFLOPs，乘以 $B T=32768$ 得 $4.78\times10^{13}$，可见单个矩阵确实只占整步的一小部分。

### 例 2：SVD、条件数与正交因子

```python
import numpy as np

G = np.array([[1.0, 2.0, 3.0], [0.5, 1.0, 2.5]])   # 2x3，秩 2
U, S, Vt = np.linalg.svd(G, full_matrices=False)
print(np.round(S, 4))                              # 奇异值
print(round(float(np.linalg.cond(G)), 4))          # 条件数
Q = U @ Vt                                         # 正交因子
print(np.round(Q @ Q.T, 6))                        # 行正交：QQ^T = I_2
print(round(float(np.linalg.norm(G - S[0] * np.outer(U[:, 0], Vt[0]))), 4))
```

预期输出：

```text
[4.6114 0.4849]
9.5099
[[1. 0.]
 [0. 1.]]
0.4849
```

第 2 行说明这个矩阵把不同方向拉伸了 9.5 倍，谱很扁；第 4 行说明丢掉第二个奇异值方向后，误差恰好等于 $\sigma_2$，与 Eckart–Young 定理一致。

## 易错点

> [!warning] 这些错误在本仓库里都能真实发生
> - 把 `Linear(in, out)` 的权重形状记成 $(C_{\text{in}},C_{\text{out}})$。`mlp.c_fc` 是 `Linear(1536, 6144)`，权重为 $(6144,1536)$，因此它进入 Muon 时是高矩阵，拿 $\sqrt{4}=2$ 倍学习率；记反会导致对学习率倍数的解释全错。
> - 以为 `view(B, T, H, D)` 做了矩阵乘法或转置。它只重新解释最后一维，FLOPs 为 0；若写成 `view(B, T, D, H)` 再 `transpose`，后续 `contiguous()` 会产生额外拷贝。
> - 在 GQA 下仍认为 $\mathbf{c}_k,\mathbf{c}_v$ 是方阵。nanochat 取 `n_kv_head = n_head`，所以 d24 恰好是方阵；换成真正的 GQA 后形状为 $(n_{\text{kv}}d,\,C)$，参数量与 FLOPs 都要按 $n_{\text{kv}}d$ 重算。
> - 用 $\mathbf{Q}^{\top}\mathbf{Q}=\mathbf{I}$ 检验宽矩阵的正交性。$2\times3$ 的 $\mathbf{Q}$ 只有行正交，$\mathbf{Q}\mathbf{Q}^{\top}=\mathbf{I}_2$ 成立，而 $\mathbf{Q}^{\top}\mathbf{Q}$ 是秩 2 的投影矩阵，迹为 2，不可能是 $\mathbf{I}_3$。
> - 把一次乘加当成 1 FLOP。矩阵乘法的 FLOPs 是 $2mnk$，少算一半会让成本估算差一倍。
> - 把词嵌入当成矩阵乘法。`wte` 是查表，不贡献 $2mn$ FLOPs；只有 `lm_head` 是真正的矩阵乘法。

## 关联笔记

- 前置：[[线性代数]]（跨库）——向量空间、秩与特征值分解的标准定义；本篇只取 nanochat 需要的形状与 SVD 结论。
- 后续：[[Muon优化器]]——本篇第 5 节的极分解变分刻画是 Muon 正交化步骤的全部依据。
- 后续：[[FLOPs与训练成本估算]]——$2mn$ 与 $O(mnk)$ 直接构成 $6N$ 规则与注意力项。
- 对照：[[矩阵分解-SVD与特征分解]]（跨库）——特征分解与 SVD 的关系、数值算法细节，本篇不重复。

## 达标检测

- [ ] 不看笔记写出矩阵乘法的两种视角，并说明各自适合解释什么。
- [ ] 给定 `Linear(1536, 6144)` 与输入 $(16, 2048, 1536)$，写出输出形状、参数量、单次前向 FLOPs。
- [ ] 写出 $(\mathbf{A}\mathbf{B})^{\top}$ 的展开式，并据此推出 Muon 宽矩阵分支与高矩阵分支互为转置。
- [ ] 手推「最近正交矩阵」引理，说明取等条件为什么是 $\mathbf{U}^{\top}\mathbf{Z}\mathbf{V}=\mathbf{I}$。
- [ ] 解释 $\mathbf{Q}^{\top}\mathbf{Q}$ 与 $\mathbf{Q}\mathbf{Q}^{\top}$ 在 $2\times3$ 情形下分别是什么，各自秩为多少。
- [ ] 列出 d24 的四个 Muon 形状组及各自的张量数，并说明为什么必须按形状分组。
- [ ] 说明 `num_matmul_params` 与 `num_scaling_params` 的计数差 24 的来源。

## 参考来源

- Goodfellow, Bengio, Courville, *Deep Learning*（2016），第 2 章线性代数 —— 对应本篇向量、范数、SVD 与极分解的标准定义。
- d2l.ai, *Dive into Deep Learning*，线性代数与矩阵乘法一节 —— 对应矩阵乘法的两种视角与 $O(mnk)$ 复杂度。
- Karpathy, *nanochat* `nanochat/gpt.py`（commit 92d63d4）—— 对应 `Linear` 的权重形状、`num_matmul_params` 与 d24 的各层形状。
- Karpathy, *nanochat* `nanochat/optim.py` —— 对应按形状堆叠的 Muon 参数组与高/宽矩阵两套迭代式。
- PyTorch 文档，`torch.nn.Linear` —— 对应权重形状 $(\text{out},\text{in})$ 与前向 $\mathbf{y}=\mathbf{x}\mathbf{W}^{\top}$ 的约定。
