1-1-向量与线性组合
一句话概括
向量是有方向有长度的量;把它们按任意系数加权相加,就得到线性组合(linear combination)。
本篇建立全书最重要的一个句子: 是 的列的线性组合——这是 Strang 体系的主线。
覆盖:向量的定义与几何表示、加法与数乘、线性组合及其张成的集合、 中三个向量何时能填满空间、点积初步与垂直判定、单位向量。
一、定义
1.1 向量
定义(向量,vector) 一个 维向量(-dimensional vector)是 个实数(或复数)排成的一列:
其中 称为分量(component),第 个分量记作 。全体 维实向量构成的集合记作 。
本库约定:向量一律写成列向量。写行向量时用转置记号 。
为什么坚持列向量
因为 中 在右边相乘。如果习惯把向量写成行,那么矩阵乘法 就要改写成 ,所有公式都要重来。
1.2 向量加法与数乘
定义(向量加法,vector addition) 同维数的两个向量 相加,是对应分量相加:
定义(数乘,scalar multiplication) 标量 与向量 相乘,是每个分量都乘 :
不同维数的向量不能相加,这一点没有任何例外。
1.3 线性组合(本篇核心)
定义(线性组合,linear combination) 给定 中的向量 和标量 ,称
为这组向量的一个线性组合, 称为系数(coefficient)。系数可以取任意实数,包括 与负数。
定义(张成,span) 向量组 的所有线性组合构成的集合,称为这组向量的张成空间(span):
1.4 点积的初步定义
定义(点积,dot product / inner product) 两个同维向量 的点积是一个数(不是向量):
点积与线性组合的区别必须一开始就分清:
| 运算 | 结果类型 | 记号 |
|---|---|---|
| 线性组合 | 向量 | 无专用记号 |
| 点积 | 标量 | 或 |
1.5 单位向量
定义(单位向量,unit vector) 长度为 的向量称为单位向量。任一非零向量 都可以单位化:
其中 是向量的长度(详见 1-2-长度与点积)。
中沿坐标轴方向的单位向量记作
它们称为标准基向量(standard basis vectors),任何向量都能用它们写成平凡的组合:
1.6 数域
上面反复出现「标量 」。国内教材会先问一个更基本的问题:这些标量取自哪个数集? 这个数集就是数域(number field)。概念本身很短,但它决定了「消元能不能做」「特征值算不算得出来」这类根本问题,所以必须放在最前面。
定义(数域) 设 是至少含两个数的复数集合。若 对加、减、乘、除四则运算都封闭,即对任意 有
则称 是一个数域。
逐条理解这个定义(每一句都不是废话):
- 为什么要「对四则运算封闭」? 因为线性代数的全部操作——消元、回代、求行列式、解方程——只用四则运算。封闭性保证了:系数在 里的方程组,其解也在 里;在 上做的每一步运算都不会「跑出」这个数集。
- 为什么只要求除法对「非零除数」封闭? 因为 在数学上没有定义。这不只是「约定俗成」,而是为了让除法成为合法的运算。注意减法的封闭性被加法与「负元」覆盖,写出来只是为了醒目。
- 为什么要「至少含两个数」? 这是排除退化的单元素集合。因为数域必须含有加法零元 和乘法单位元 ,若 就只有一个元素了。排除它,是为了让这个集合具备真正的「域(field)」结构——在抽象代数里,只含一个元素的环称为零环,它不是域。
「数域」为什么排除了
整数集 对加、减、乘都封闭,但对除法不封闭:、,可是 。
按定义,「对四则运算封闭」是全部四条都要求,缺一条就不算数域。所以 不是数域。
常见数域与非数域一览:
| 数集 | 加 | 减 | 乘 | 除 | 是数域吗 | 理由 |
|---|---|---|---|---|---|---|
| (有理数集) | ✓ | ✓ | ✓ | ✓ | 是 | 分数四则运算仍是分数 |
| (实数集) | ✓ | ✓ | ✓ | ✓ | 是 | 实数四则运算仍是实数 |
| (复数集) | ✓ | ✓ | ✓ | ✓ | 是 | 复数四则运算仍是复数 |
| ✓ | ✓ | ✓ | ✓ | 是 | 见下方验证 | |
| (整数集) | ✓ | ✓ | ✓ | ✗ | 不是 | 跑出去了 |
| (自然数集) | ✓ | ✗ | ✓ | ✗ | 不是 | 跑出去了 |
| ✓ | ✓ | ✗ | ✗ | 不是 | 不是这个形状 |
验证 是数域(这是考试里最爱考的「证明某集合是数域」题型的原型):设 ,,其中 。
乘法用 :
四个系数 与 都是有理数,故 仍在集合内。除法要麻烦一点,用「有理化」技巧:
只要 就有 (因为 是无理数, 只能 ),分母不为零,且两个系数都是有理数。于是 ,从而 。四条全部封闭, 是数域。
最小数域是 (这一步推理必须会):
设 是任意数域。由定义, 含至少两个数,且 。于是:
- 反复用加法封闭:,,,一切正整数 ;
- 用减法封闭:,于是一切整数都在 中,即 ;
- 用除法封闭(除数非零):对 、,有 。
而 ,故 。
结论
任意数域都包含 ; 本身就是数域,所以 是最小的数域(包含关系意义下最小)。
换句话说 是一串「数域嵌套」,而 卡在 前面掉队了——它缺的正是除法。
数域为什么会影响后面的章节
1. 消元法(2-2-消元法的思想):消元只做四则运算,所以「在 上做高斯消元,解仍在 里」。数值计算时换成浮点数(即 的有限子集),封闭性就被打破,误差随之出现——这正是 11-1-数值稳定性与LU 讨论的问题。
2. 特征值(6-1-特征值引论):实矩阵的特征多项式系数是实数,但根可能落在 之外。例如 的特征值是 ,在 上无特征值,在 上才有。所以「特征值存在」这句话必须先说清在哪个数域上讨论。
3. 线性相关(3-4-线性无关基与维数):系数取自哪个数域会影响相关性的判断。
4. 复矩阵(第 9 章):9-1-复数与复向量 之所以要把 当标量域,就是为了让「任意 次多项式都有 个根」,从而保证 阶复矩阵必有 个特征值。
本篇及全书的默认约定:本库若不特别声明,标量域一律取 ;用到 的地方会明确写出。这条约定记录在 关于本笔记库 的符号约定里。
二、几何直观
2.1 向量是箭头,也是点
这是全篇最需要建立的双重图像。
箭头图像(物理学的图像):向量 是从原点出发、指向点 的一支箭头,长度是 ,方向是这条箭头的朝向。
点图像(数据科学的图像):同一个 也可以只看成平面上的一个点 ,从原点连到它的线段就是箭头。
两种图像的自由度不同,这一点很关键:
- 箭头可以平移。把 从原点平移到别处,它还是同一个向量——向量只关心「走多远、朝哪走」,不关心「从哪里出发」。所以两个向量相加可以把 的起点接到 的终点。
- 点不能平移。点 就是 。
读图口诀
算加法时把向量看成箭头(首尾相接);算 时把向量看成点(问 这个点在不在某个集合里)。
在 中同理: 是从原点指向点 的箭头,落在三维空间里。()已经没有图形可画,但所有代数的运算法则一字不改,这是线性代数能从二维推广到任意维的原因。
2.2 加法:平行四边形法则
的几何作法有两种,结果相同:
- 首尾相接(三角形法则):把 的起点移到 的终点,从 的起点连到 的新终点,得到 。
- 平行四边形法则:以 、 为邻边作平行四边形,从公共起点出发的那条对角线就是 。
取 ,,则
几何上 正是以 为三个顶点的平行四边形的第四个顶点。
2.3 数乘:沿同一条直线拉伸
的几何意义是沿着 所在的那条直线(过原点)伸缩:
- :同方向拉长;
- :同方向缩短;
- :不变;
- :变成零向量 ;
- :方向反转(掉头 ), 决定长短。
特别地, 与 长度相等、方向相反。因此所有 ()的端点构成一条过原点的直线。这条直线上所有向量彼此「共线」,这就是线性相关(linearly dependent)最简单的例子。
数乘的直观意义:数乘不改变方向(或只掉头),只改变长度;它把向量「拉伸到 倍」。这个「拉伸率」的观点在第 6 章行列式、第 8 章线性变换里会再次出现。
2.4 线性组合的几何图像:这是全篇的重头戏
两个向量 的所有线性组合 构成什么? 分两种情形。
情形 A: 与 不共线(一般情形)
即所有组合铺满整个平面。
理由(图形描述):先把 沿直线伸到 倍,得到一个「方向轴」;再沿 的方向平移 倍。当 遍历所有实数时,这两步扫过整个平面。等价地, 与 构成一组斜坐标系,平面上任意一点都能唯一地写成 。
情形 B: 与 共线(即 )
即所有组合落在一条过原点的直线上。
此时所有组合都形如 ,永远出不了那条直线,二维变成了一维。
记住这张图
里:两个不共线向量 → 铺满平面;两个共线向量 → 一条直线。
这就是「维数」概念的图形来源:能铺满 至少需要 个方向不同的向量。
三个向量在 中呢?
设 。
- 若三者共面(即都在过原点的同一平面内,或其中某个可由另两个组合出来): 至多是一个平面(甚至退化成直线或一个点)。
- 若三者不共面:,即三个向量的所有线性组合填满整个三维空间。
判据(第 2、3 章会严格证明):在 中, 的线性组合填满 当且仅当 以它们为列的三阶方阵 的行列式不为零:
为什么「不共面」是充要条件? 直观证明思路:若三者共面,任何组合 仍在那个平面内(因为平面是线性运算封闭的),出不了平面;反过来若三者不共面,它们给出三个独立方向,可以像搭积木一样先沿 走、再沿 走、再沿 走,到达空间中任意点——这就是后面要讲的「基(basis)」思想。
2.5 的列图像(全书核心直觉)
现在把上面的几何图像写成矩阵语言。设 是一个 矩阵,按列分块:
设 ,则矩阵—向量乘积按 Strang 的定义就是列的线性组合:
于是求解 的列图像(column picture)是:
换句话说: 有解 落在 的各列的张成空间里。
用具体数字演一遍。取
列图像的问题是: 能不能由 和 组合出来?答案是能,取 、:
再换一个 。因为这两列不共线,它们的组合能铺满整个 ,所以一定有解,我们把它解出来:设
第一式乘 得 ,减去第二式得 ,即 ;代回第一式得 。验证:
这个矩阵还有一个信号:,所以它是非奇异(nonsingular)的,对任意右端 都有唯一解。
「有解」与「无解」到底由什么决定
本例中 怎么取都有解,原因是 是方阵且两列不共线。真正会出现无解的情形是:
- 方程个数多于未知数个数(,超定):如例题 1 那样 个方程 个未知数,若 不在那张平面上就无解;
- 方阵但列共线(,奇异):此时列空间退化成一条直线,只有落在该直线上的 才有解。
判据永远是「 是否在 的列的张成空间里」,与方程的个数没有直接关系。 第 2 章会给出完整的可解性定理。
行图像(row picture)对照:把 按行读,每一行给出一个方程,在 中是「一条直线」,在 中是「一张平面」。 的解就是这些直线/平面的交点/交线。
| 读法 | 问题 | 几何对象 | 本库态度 |
|---|---|---|---|
| 列图像 | 是否为 的列的线性组合 | 向量(点)落在哪个张成空间 | 主线,优先使用 |
| 行图像 | 各方程曲线的公共交点 | 超平面的交 | 辅助理解, 时难以可视化 |
Strang 的名言:"You can't lose the column picture."(不按列读,你就丢掉了整本书的主线。)
与 2-1-向量与线性方程组 的呼应:那一篇会把列图像用于讨论解的存在性与唯一性(奇异与非奇异矩阵),并用 、 的图逐张验证。本篇只需牢牢记住这个等式:
2.6 点积初步与垂直判定
点积的几何意义(第 1-2-长度与点积 篇会给出严格证明):
其中 是两向量的夹角()。
垂直(正交)判定:因为 (对非零向量),。所以
检验:,,则 ,所以两向量垂直。几何上看, 与 的斜率分别是 与 ,乘积为 ,正是解析几何里的垂直条件。
点积的符号给出夹角信息:
这个「符号表」在后面的正定矩阵、最小二乘、Gram–Schmidt 正交化里反复使用。
三、性质与定理
定理 1.1( 中向量加法的性质)
对任意 :
- 交换律:;
- 结合律:;
- 零元:,其中 是所有分量都为 的向量;
- 负元:。
证明:四条都是「逐分量验证」。以第 1 条为例,第 个分量为
因为实数的加法满足交换律,所以每一个分量都相等,故两向量相等。第 2–4 条同理(分别用到实数加法的结合律、 的性质、相反数的定义)。
适用条件:两个向量必须属于同一个 。不同维数的向量谈不上加法。
定理 1.2(数乘的性质)
对任意 和 :
- (对数乘的分配律);
- (对标量和的分配律);
- (结合律);
- ,,。
证明:仍按分量验证。以第 1 条为例:
中间一步用到实数乘法的分配律。其余同理。
为什么这些「显而易见的」性质要证明
因为第 3 章要抽象出向量空间(vector space)公理:凡是满足这八条运算律的集合都叫向量空间,例如多项式、函数、矩阵。届时「向量」不再必须是数对,而所有定理仍然成立——原因就是它们全部只依赖于这八条运算律。
定理 1.3( 是列的线性组合)
设 为 矩阵,,则
证明:按矩阵乘法的定义, 的第 个分量为
而右边组合的第 个分量为
两者逐分量相等,故相等。
适用条件: 的维数必须等于 的列数,否则乘积无定义。
推论 1.4: 有解 。
定理 1.5(点积的基本性质)
对任意 ,:
- 交换律:;
- 分配律:;
- 齐次性:;
- 正定性:,且等号成立当且仅当 。
证明(第 4 条是唯一需要理由的): 是若干实数平方之和,每个 ,故和非负。若 ,则存在某个 使 ,于是 ,和严格大于 ;反之若 ,每一项都是 ,和为 。
第 4 条正是「长度」有定义的基础:。
定理 1.6(三个向量张成 的判据)
的线性组合填满 ,当且仅当它们不共面,当且仅当
证明思路(完整证明见第 5 章):
- ()若三者共面,则该平面是过原点的线性子空间,对线性组合封闭,故所有组合仍在该平面内,不可能覆盖 。
- ()若三者不共面,把 看作三维空间中的三个独立方向,任意 都可以沿这三个方向分解,即存在坐标 。第 2 章的消元法会证明这样的坐标存在且唯一,其唯一性由 保证。
- 行列式判据: 等价于三列线性无关(第 5 章定理),而三列无关的向量在 中必张成整个空间(第 3 章维数定理)。
适用条件:只对 中的三个向量成立。 中两个向量永远不可能张成 ;四个向量则一定线性相关(一定有多余的)。
定理 1.7(单位化不改变方向)
若 ,则 满足:
- ;
- 与 同向(即 且 )。
证明:由数乘性质与点积齐次性,
第 2 条显然,因为 。
三·补、连加号与连乘号的运算规则
国内教材从第一章起就大量使用 与 ,而 Strang 教材倾向于把求和写成展开式。不会熟练地操作这两个符号,后面行列式(第 5 章)、矩阵乘法(第 2 章)、SVD(第 7 章)的公式全都读不动。本节把规则一次讲清,并全部用「指标变换」这个统一视角串起来。
补.1 定义与读法
定义(连加号,summation symbol)
其中 称为求和指标(index), 是下界, 是上界, 是通项。若上下界一目了然,可简写为 。
定义(连乘号,product symbol)
的规则与 几乎逐条平行:指标改名不改值、可按指标拆开、常数因子可提出(但不是提出后相加,而是提出后相乘)。区别只有一个,而且是最关键的一个:
| 运算 | 常数因子如何提出来 | 原因 |
|---|---|---|
| (提出后仍相加) | 分配律 | |
| (提出后要变成 的 次幂) | 被乘了 次 |
最常见的符号错误
通项里不含指标时, 只是把同一个数加了 次, 只是把同一个数乘了 次:
第二式不是 ,而是 的 次幂。这是初学者最常写错的一处。
双重连加号:当通项含两个指标时,用两个 :
即先横着加再竖着加,与先竖着加再横着加,结果相同(有限个数相加与次序无关)。
双层指标写在同一行时,要用括号或逗号把两个条件写清楚,例如
分别表示「全体 的项」「全体 的项」「全体满足 的项」。
补.2 六条最常用的恒等式
设 与各 都是数, 为正整数。
- 常数求和:;
- 线性性:;
- 自然数求和:;
- 平方和:;
- 立方和:;
- 等比求和():。
验证第 3 条(配对法,最经典的求和技巧):把和写成两行,第二行倒序:
两式相加,每一列的和都是 ,一共 列:
验证第 4 条(裂项相消法):注意 本身不好裂,改用三次方的差分。由 ,对 求和:
左边是望远镜求和(telescoping sum),中间项全部抵消,只剩首尾:
把已知的 代入并整理,即可解出 。第 5 条用 的差分同样可做。这两条是「裂项相消」的标准范例,也是 5-2-排列与代数余子式 里行列式展开式能写成 形式的语言基础。
用具体数字验算公式的习惯
取 :,而 ✓;,而 ✓;,而 ✓。
记不住公式时,用 或 代进去验一遍,比背十遍都可靠。
补.3 指标变换:四条必须练熟的技术
技术一:哑指标可以任意改名。
理由: 只是一串求和,写成 后,字母 或 根本不出现,所以它叫什么名字无所谓。这种「用完即弃」的指标叫哑指标(dummy index)。
但自由指标不能改名
在 里, 是哑指标(可改名为 ),而 是自由指标,它定义在等号两边,改名必须两边同时改。搞混这一点是双重和号题出错的第一大原因。
技术二:平移(替换)指标。
令 (即 ),则
口诀:换名不改值,换界要跟着换。 上界与下界必须随替换同步平移。用具体数字检查: 时左式是 ,右式是 ✓。
技术三:拆项与并项。
「拆出第一项 / 最后一项」是数学归纳法证明求和恒等式的标准起手式。
技术四:双重求和交换次序。
这是矩形区域上的求和,交换当然没问题。但若求和区域不是矩形,交换次序会改变区域形状,必须重新写清楚范围:
左边:先固定 ,让 从 跑到 ——即「按行扫过上三角」。
右边:先固定 ,让 从 跑到 ——即「按列扫过上三角」。
两者扫的是同一块三角形区域(所有满足 的格点),所以和相等。这个技巧在矩阵的三角部分求和、二次型的配方法、LU 分解的公式推导里反复出现。
一个能一眼验证的例子:取 ,。
补.4 矩阵乘法与 的对照
矩阵语言与 语言是同一件事的两种写法,做熟练以后应当能自由切换:
| 矩阵写法 | 写法 | 说明 |
|---|---|---|
| 点积 | ||
| 的第 个分量 | ||
| 行点列 | ||
| 迹(第 6 章) | ||
| 行列式的排列定义(第 5 章) |
用 语言重看结合律(对照本篇定理 1.3 与 1-3-矩阵入门 的定理 1.1):设 为 、 为 、 为 ,则
两个双重和只差求和次序,而次序可以交换,故相等。这就是矩阵乘法满足结合律的全部理由——不需要任何几何直观,纯粹的指标变形。
乘积与求和的相容性(这条在概率与 SVD 里天天用):
即「先各自求和再相乘」等于「所有两两乘积之和」。取 展开验证:,右边 正是这四项 ✓。这条恒等式是「 与 为什么互为秩一分解」的语言基础(见 1-3-矩阵入门 的理解三)。
Kronecker 符号(后面讲正交、单位矩阵时会用到):
于是 ,且 ——用 可以把「挑出对角项」写成求和式,第 4 章讲正交矩阵 时会再把这条用一遍。
补.5 代码:用 numpy 做求和与连乘
import numpy as np
a = np.array([1, 2, 3, 4, 5])
print(np.sum(a)) # 15 —— 连加号
print(np.prod(a)) # 120 —— 连乘号(5! = 120)
print(np.sum(a ** 2)) # 55 —— 平方和:1+4+9+16+25
print(np.cumsum(a)) # [1 3 6 10 15] —— 部分和(前缀和)
n = 5
print(n * (n + 1) // 2) # 15 —— 公式与 np.sum 互相验算
print(n * (n + 1) * (2 * n + 1) // 6) # 55 —— 平方和公式
M = np.array([[1, 2, 3],
[4, 5, 6]])
print(M.sum(axis=0)) # [5 7 9] 先横后竖:对每一列求和
print(M.sum(axis=1)) # [6 15] 先竖后横:对每一行求和
print(M.sum()) # 21 —— 双重和号,两种次序结果相同
# 双重求和交换次序的验证:上三角区域
A = np.array([[3, 4], [5, 6]])
print(sum(A[i, j] for i in range(2) for j in range(i, 2))) # 13
print(sum(A[i, j] for j in range(2) for i in range(j + 1))) # 13 —— 相同
axis就是「先固定哪个指标」
M.sum(axis=0)固定列指标、对行指标求和,得到「每列之和」;M.sum(axis=1)固定行指标、对列指标求和,得到「每行之和」。读别人的代码时先看清axis,就像看 时先看清哪个指标是哑指标一样。 更详细的数值工具见 常用公式速查。
四、计算方法与步骤
4.1 判断 是否为给定向量组的线性组合(解 )
- 把向量组按列排成矩阵 ,把 写成方程右端。
- 写出增广矩阵 。
- 用高斯消元把 化为行阶梯形(只做行的初等变换, 随行一起变)。
- 检查是否出现形如 且 的行:若有,无解( 不在列空间中);若没有,有解。
- 有解时回代求 ;若存在自由变量,则有无穷多解,写出通解。
- 把解代回验证: 是否等于 。
4.2 判断 中三个向量是否张成整个空间
- 按列排成 矩阵 。
- 计算 (第 5 章方法,或直接消元看是否有三个主元)。
- (消元后三个主元都在) 张成 ;(出现零行) 张成一个平面或更小。
- 若要进一步判断是平面、直线还是点:看这三个向量中极大线性无关组的个数(即秩 ): 空间, 平面, 直线, 只有零向量。
4.3 计算 (两种方式,结果必须一致)
- 列组合法(推荐):写出 的各列 ,算 。
- 行点积法(验算用): 的第 个分量是 的第 行与 的点积。
- 两种方法的结果不一致说明计算有误,回头找错。
4.4 单位化与方向向量的提取
- 算长度 。
- 每个分量除以 。
- 验算: 是否等于 (保留三位小数即可判断)。
- 若 ,该操作无定义,必须单独讨论——零向量没有方向。
单位化为什么必须先判零
零向量没有方向,「 方向上的单位向量」这句话本身就是空的,所以公式 在 时失效。任何时候看到「除以长度」,先检查长度是否为零。 代码里
np.linalg.norm(v) == 0会导致除零警告并返回nan。
4.5 一个完整的「解题流程」(考试可直接照抄)
面对「判断某向量能否由给定向量组线性表示」这类题目,按下面五步走,一步都不要跳:
| 步骤 | 做什么 | 目的 |
|---|---|---|
| 1 | 把向量组按列排成 ,右端写成 ,组成增广矩阵 | 把几何问题变成计算问题 |
| 2 | 只用行初等变换把左边的 化为行阶梯形 | 不改变方程组的解集 |
| 3 | 数主元个数 ,与未知数个数 比较 | 唯一解; 无穷多解 |
| 4 | 检查是否出现 () | 出现即无解 |
| 5 | 有解时回代求系数,并代回原式验证 | 挡住计算错误 |
三条常用的快速判据(能省掉大量计算):
- 向量个数 维数():列一定相关, 若要被表示则系数不唯一;齐次方程 必有非零解。
- 向量个数 维数():一般表示不出来,需要检验增广矩阵的相容性。
- 向量个数 维数(): 唯一表示; 要么无解要么无穷多解(不能由 直接下结论)。
4.6 自学检查清单
读完本篇后,请在不看笔记的情况下回答下面八个问题。能全部说出,才算真正读懂。
- 为什么向量必须是列向量?如果全库改写成行向量,哪个公式会最先出问题?
- 与「 的所有倍数之和」有什么区别?(提示:后者漏掉了「两个方向同时取非零倍数」的组合。)
- 为什么 里一定有零向量,哪怕原向量组里一个零向量都没有?
- 的列图像与行图像,哪一个在 时还能用?为什么?
- 数域的定义里,「至少含两个数」这一条如果删掉,会出现什么反例?
- 等于多少? 等于多少?为什么两者不一样?
- 双重求和交换次序时,什么情况下必须重写求和范围?
- 的两种算法(列组合、行点积)中,哪一种能告诉你「 在不在列空间里」?
五、例题
例题 1(线性组合的判定与求解,完整过程)
题:设
判断 是否为 的线性组合;若是,求出全部系数。
解:
第 1 步:写出方程。 要找 使 ,即
按分量展开,得到三个方程(只有 个未知数,属于超定情形):
第 2 步:写出增广矩阵。
第 3 步:消元。 第二行减第一行,第三行减第一行:
第三行减去第二行的 倍:
第 4 步:判断可解性。 没有出现 ()的行,第三行是 ,恒成立。故有解。
第 5 步:回代。 由第二行 ;由第一行 。
第 6 步:验证。
结论:,系数唯一,为 。
几何解释: 张成 中过原点的一张平面(两个向量不可能张成三维空间), 恰好落在这张平面上。若把 改成 ,消元会得到一行 ,无解——此时 落在平面之外,第 4 章的最小二乘法就是求这张平面上距离 最近的点。
例题 2(三个向量是否张成 ,完整过程)
题:设
问 是整个 还是一张平面?
解:
第 1 步:观察是否有明显关系。 试算 :
于是 ,三个向量线性相关, 可由 组合出来。结论已经明朗:至多张成一张平面。
第 2 步:用行列式验证。
按第一行展开(第 5 章方法;这里用到了 的第一分量为 ):
行列式为 ,与第 1 步一致,不张成 。
第 3 步:确定张成什么。 与 不成比例(第一分量相同而第二分量不同),故它们线性无关,组成一个二维的无关组。于是
即过原点、同时包含方向 与 的那张平面。
第 4 步:写出平面方程(验算)。 设法向量 同时垂直于 。设 ,则
由第二式 ,代入第一式:。取 ,则 ,即 。
平面方程为 。验证 也在平面上: ✓。验证 不在平面上(顺便复查例题 1 的几何解释是否自洽):,确实不在。
结论: 是平面 ,不是 。
例题 2 的额外收获
例题 1 的 满足 ,所以 不在这张平面上;两个例题讨论的是两张不同的平面。这类「用点积造平面方程」的技巧在第 4 章的正交性里会系统化(法向量即零空间 的元素)。
例题 3(线性组合的具体数值计算,完整过程)
题目
设
(1) 计算 ;
(2) 判断 是否为 的线性组合;若是,求出全部系数,并说明表示是否唯一。
解:
第 1 步:逐分量算 。 数乘是「每个分量都乘 」:
第 2 步:逐分量算 。
第 3 步:相减(,即分量全部取相反数)。
注意这个结果恰好就是题中的 !这提示我们 ,即系数为 与 。但不能就此下结论,第 (2) 问要按标准流程验算一遍——因为「猜出答案」不算解题。
第 4 步:设系数并列出方程组。 要找 使 ,即
行图像(按分量展开,得到 个方程 个未知数):
第 5 步:写出增广矩阵并消元。
第一步消元:用第一行消去下面两行的第一个元素。第一行乘 加到第二行(即 ):
第二步消元:(第一行乘 减去):
第三步消元::
第 6 步:判断可解性并回代。 没有出现 ()的行,第三行是 ,恒成立,故有解。
由第二行:。
由第一行:。
第 7 步:用「列图像」回到线性组合的语言验算。
第 8 步:讨论表示的唯一性。 与 不成比例( 的第一个分量是 而 的第一个分量是 ,若要 则必须 ,但那时 ,矛盾),所以它们线性无关。由主元个数 未知数个数,消元后没有自由变量,表示唯一。
结论:,系数唯一,为 、。
几何解释
是 中两个不成比例的向量,它们张成一张过原点的平面; 恰好落在该平面上。三个方程只有两个起作用——第三个方程是前两个的线性组合(准确地说: 在消元中被消成零行),所以它没有带来新信息。这正是「多余方程」 的直观含义,第 3 章会用秩把它精确化。
例题 4(含参数的线性表示,需分类讨论)
题目
设
问 取何值时, 可由 线性表示? 取何值时不能表示?
解:
第 1 步:写出方程。 找 使 ,按分量展开:
第 2 步:先抓「不含参数」的两个方程。 第 3 个方程不含 ,可以直接定出 。这个观察能让消元大大简化。
由第三式 ,代入第一式:
于是 。
第 3 步:把已求出的解代入第二个方程,定出 。
所以第二个方程要求 。
第 4 步:用增广矩阵复核(方法与第 2 步不同,用于互验)。
,:
(用第三行消掉 ):
第 5 步:读可解性条件。 第二行代表方程 。
- 若 ,即 :该行是 且 的矛盾行,无解;
- 若 :该行为 ,无事发生,主元个数 等于未知数个数,有唯一解。
第 6 步:解出 并验算。 时,由 :;由 :。
验算:
第 7 步:从几何上理解。 三个向量都在 中。 不成比例,张成一张过原点的平面。 能不能被表示,就看这个点在不在那张平面上——而「在不在平面上」依赖于 的取值,因为 改变的是 的位置,不是平面本身。
结论:
- 当 时, 可由 线性表示,且表示唯一:;
- 当 时, 不能由它们线性表示(三个方程相互矛盾)。
参数题的三条纪律
1. 不要把参数当成「未知数」一起解,要把它留在右端,最后一步才读条件;
2. 消元时优先用不含参数的行去消含参数的行,避免出现 这类需要讨论分母的系数;
3. 分类讨论必须穷尽且互斥。本题按 与 分成两类,覆盖了全部实数,、 等特殊情况都被 那类包含,不必再单独列出。
例题 5(含参数向量组的线性相关性讨论)
题目
设
问 取何值时 线性相关?相关时写出一个线性关系式。
解:
第 1 步:明确判据。 三个三维向量线性相关 以它们为列的三阶行列式为零:
第 2 步:算行列式。 记
按第一行展开(第 5 章方法):
第 3 步:逐个算二阶行列式。 二阶行列式的规则是「主对角线乘积减副对角线乘积」:
第 4 步:合并。
第 5 步:解出临界值。 。
第 6 步:求出线性关系式。 把 代回,此时
解 :
(消元过程与第 2 步的行列式计算同理。由第三式 ;代入第一式得 。)取 ,则 、,得到关系式
第 7 步:验算。
第 8 步:讨论一般情形(体现「分类讨论要完整」)。
- 当 时,,三列线性无关,;
- 当 时,,三列线性相关,秩 ,张成一张平面。求法向量 垂直于 :
由第一式 ,代入第二式得 。取 ,得 ,平面方程为
验证 : ✓。
结论: 时线性无关、张成 ; 时线性相关,关系式为 ,张成平面 。
这类题的标准套路
「含参数判断相关性」= 算行列式 → 令行列式为零 → 分类讨论。全库所有这类题都是这个结构。行列式的完整计算方法见 5-1-行列式的性质,参数情形下的分类讨论在 3-4-线性无关基与维数 里有更系统的处理。
例题 6(证明:线性表示的传递性)
题目
设 线性无关,令
证明 线性无关。
证明:
第 1 步:写出要证的目标。 要证:若
则必有 。
第 2 步:把 用 表示,代入选定的等式。 由定义,
代入 :
第 3 步:按 的「组别」合并同类项。 这一步是本证明的关键——把同一个 前面的系数全部加起来:
第 4 步:用 线性无关这一条件。 线性无关的定义是「只有零系数的组合才是零向量」,所以上面这个等式迫使三个系数全为零:
第 5 步:解这个方程组(从最后一个往前回代)。 由第三式 ;代入第二式得 ;代入第一式得 。
第 6 步:结论。 唯一可能的系数组合是 ,故 线性无关。
证明背后的统一图景
本题的方程组是上三角形的,所以回代一路畅通。把待定系数 写成列向量,它前面的系数矩阵是
这是上三角矩阵,主对角元全为 ,因而可逆(行列式为 )。一般结论是:
这正是 2-4-矩阵运算与逆矩阵 里「可逆矩阵不改变线性无关性」的雏形,也是 8-2-线性变换的矩阵表示 中基变换的核心。
例题 7(证明:张成空间相等的充要条件)
题目
设 ,其中 为常数。证明
并由此说明:向量组里加入一个「能被已有向量线性表示的向量」,不会让张成空间变大。
证明:
第 1 步:明确「两个集合相等」要证什么。 集合相等要证双向包含,即下面两个包含关系同时成立:
第 2 步:证「」(容易的那一半)。 任取 ,则存在 使 。把同一件事写成三个向量的组合:
系数取 是允许的(线性组合的系数可以是任意实数,包括零),所以 。由 任意,包含关系成立。
第 3 步:证「」(需要用到条件的那一半)。 任取 ,则存在 使
第 4 步:代入 (本步是全部证明的核心)。
第 5 步:按 合并同类项。
第 6 步:读出结论。 右端是 的线性组合,故 。由 任意,。
第 7 步:合并两个包含关系。 双向包含成立,故两集合相等。
结论的推广:若 能由 线性表示,则
证明方法完全相同(把第 5 步的合并推广为对 项合并即可)。这说明:「多余」的向量对张成空间毫无贡献。这正是极大线性无关组与秩的定义动机——把多余的向量全部剔掉,剩下的就是一组「不多不少」的向量,它的个数就是维数。详见 3-4-线性无关基与维数。
六、应用
6.1 图像与信号的线性混合
一张灰度图像的每个像素值可以看成分量,整幅图就是一个高维向量。把红、绿、蓝三个通道看成 ,则屏幕上的任意颜色是
这正是「所有颜色都是三原色的线性组合」的矩阵表述,也是彩色图像压缩(7-2-图像压缩与低秩逼近)的出发点。
6.2 投资组合与加权平均
设 只股票的收益率构成向量 ,投资权重是 且 ,则组合收益率是 。加权平均就是点积,资产配置就是线性组合。
6.3 机器学习中的线性模型
线性回归的预测值是 ,即特征向量的线性组合(加偏置)。神经网络的一层是 ,再套一个非线性函数;没有非线性函数时,多层网络等价于单个矩阵——这正是矩阵结合律的推论(见 1-3-矩阵入门)。
6.4 化学配平与物料平衡
化学方程式的配平就是求一组正整数系数使各元素原子数守恒。把每种元素看成一行、每种分子看成列,配平就是解 的非零解——即求零空间(第 3 章)。这说明「线性组合」不只是数学玩具,而是守恒律的语言。
6.5 计算工具
用 NumPy 验证本篇结论(numpy.dot 对 1 维数组即点积,对 2 维数组即矩阵乘法):
import numpy as np
a1 = np.array([1, 1, 1])
a2 = np.array([1, 2, 3])
b = np.array([3, 5, 7])
A = np.column_stack([a1, a2]) # 按列拼成 3x2 矩阵
x, residuals, rank, sv = np.linalg.lstsq(A, b, rcond=None)
print(x, np.allclose(A @ x, b)) # [1. 2.] True —— 精确解存在
print(np.dot(a1, a2)) # 1+2+3 = 6,点积是标量
用
rank判断张成对上面的 ,
np.linalg.matrix_rank(A)返回 ,正好等于 。秩就是「张成空间的维数」,第 3 章会把这个观察变成定义。
从「线性组合」到「列空间」的一步之遥:把 的所有列拿出来,让系数 遍历整个 ,得到的全部向量就是列空间 :
这个等式把「线性组合」这个朴素概念升级成了子空间——它有维数(记作秩 )、有正交补(左零空间)、有标准正交基。这是第 3 章的全部内容,也是全书的主线,完整的维数关系见 3-5-四大子空间的维数。本篇的每一个结论在那一篇里都会以更抽象的形式重现。
6.6 计算机图形学中的顶点混合
三维模型做动画时,同一个顶点的最终位置常常是若干个「骨骼姿态」下位置的加权平均:
这类「权重和为 的线性组合」叫仿射组合(affine combination),它的几何特点是组合出来的点永远落在这些点的凸包附近,不会飞出模型。权重的归一化要求()正是「不能靠放大缩小来作弊」的意思。相关的齐次坐标技巧见 10-5-图形学与密码学。
6.7 数值求解与「列的近邻」
当 不能被 的列精确组合出来时(超定方程组的常态),最合理的做法是找离 最近的那个组合:
这个最小值问题把「线性组合」变成了「带误差的线性组合」,解它的工具是投影与法方程。数值上可以直接调用 np.linalg.lstsq,理论推导见 4-3-最小二乘逼近。「有解 / 无解」是被 的位置决定的;「最优近似」则永远存在。
七、易错点
本篇六个高频错误
1. 把点积当成向量。 是数, 才是矩阵( 的秩一矩阵)。两者相差一个转置的位置,结果类型完全不同。
2. 行向量与列向量混用。本库约定向量是列。写 得到标量 ,而 得到 矩阵。位置错了就全错。
3. 以为「向量个数够多就一定能张成 」。 中给 个向量,如果它们全在同一平面内,张成空间仍只是一个平面。张成看的是「方向」而不是「个数」(个数只给出上界 ,即至多 个无关方向)。
4. 忘记线性组合的系数可以是负数与零。 包含 的情形,因此零向量永远在张成空间里,即使原向量组里没有零向量。
5. 把「 在 中」与「方程个数等于未知数个数」混淆。 个方程 个未知数也可能有解(如例题 1), 个方程 个未知数也可能无解(若两列共线且 不在那条直线上)。只看列,不看方程的个数。
6. 在公式里写中文。MathJax 对中文支持差,公式中一律只写数学符号;中文说明写在公式外的正文里。
八、练习题
基础题 1 设 ,,计算 ,并求 。
基础题 2 判断 是否为 与 的线性组合。若是,给出系数;若否,说明 与这两个向量张成的平面是什么关系。
进阶题 3 设 ,,。
(1) 求 ,判断是否张成 ;
(2) 求出三者之间的一个线性关系式;
(3) 写出 的平面方程。
进阶题 4 设 ,。
(1) 用列组合法算 ;
(2) 用行点积法算 ,验证结果一致;
(3) 的各列张成 中的什么集合? 还是直线?
思考题 5 设 ( 不共线)。证明:任意 表示为 的方式是唯一的。
(提示:设 ,移项得 ,再论证系数必为零。)
八·补、增补练习(数域、连加号与参数讨论)
使用建议
下面 10 道题按难度递进。前 6 道是纯计算,必须动手算完;后 4 道含证明与参数讨论,对应国内期末考试的常见题型。参考答案要点放在每题末尾的括号里,先自己做再看。
A1(数域判定) 判断下列数集是否为数域,并说明理由:
(1) ;
(2) ;
(3) (全体正实数);
(4) 。
(要点: 是数域; 对除法不封闭,如 的系数是整数,但 不在里面; 缺加法零元 ; 只有两个数且 该集合。)
A2(最小数域) 证明:任意数域 都包含全体有理数,因此 是最小数域。
(要点:先证 并用加法封闭性逐个生成正整数,再用减法生成负整数,最后用除法(除数非零)生成一切分数。)
A3(求和计算) 计算下列各和:
(1) ;
(2) (用 表示);
(3) ;
(4) 。
(要点:(1) ;(2) ;(3) ;(4) 望远镜相消得 。)
A4(指标变换) 设 ,验证恒等式
在 时成立,并说明为什么「换名」不影响结果,而「换界」必须同步进行。
A5(交换求和次序) 设 ,,验证
并画出这块求和区域(哪些 被算进去了)。
(要点:两边都等于 。区域是 表格的上三角含对角线,共 个格点。)
A6(含参数的线性表示) 设
问 取何值时 可由 线性表示?表示是否唯一?
(要点: 要求 ;此时表示唯一,因为两列不成比例。 时无解。)
A7(含参数的相关性讨论) 设
问 为何值时三者线性相关?相关时写出一个线性关系式。
(要点:,故 时相关;此时 。)
A8(证明:表示的唯一性) 设 线性无关。证明:任意 若可表示为它们的线性组合,则表示方式唯一。
(要点:设两种表示相减得 ,由无关性得 。)
A9(证明:张成空间的传递) 设 能由 线性表示,且每个 都能由 线性表示。证明 能由 线性表示。
(要点:把 的表达式逐个代入 的表达式,再按 合并同类项——这就是「线性表示的传递性」,与例题 7 是同一套代入 + 合并的手法。)
A10(思考:稀疏组合) 设 。若删去 ,「 个向量」这个说法会怎么变? 的表示系数会变吗?张成空间会变吗?
(要点:删去零系数的向量不改变 的表示,也不改变张成空间——这正说明「线性组合是否用到某个向量」与「该向量是否属于向量组」是两件事。)
九、常见问题 FAQ
Q1:为什么 Strang 坚持把 读成「列的线性组合」,而不是直接用「行乘列」的规则算?
因为「行乘列」只能算,不能想。列图像回答的是一个几何问题: 是否落在 的各列张成的空间里?这个问题直接引出列空间 、秩、可解性判据、最小二乘、四大子空间——整本书的主线。行图像只在 时能画出来,列图像在任意维数下都成立。
Q2: 是什么?
只有零向量一个元素的集合 。因为 对任意 成立。它是维数为 的子空间,也是第 3 章「零空间至少含零向量」的来源。
Q3:向量组里插入一个「多余的」向量,张成空间会变大吗?
不会。如果新向量本来就能由原向量组线性组合出来,那么添加它不改变张成空间(多余的方向没有带来新点)。反之,如果新向量不在原来的张成空间里,张成空间的维数会增加 (最多到 )。这正是「极大线性无关组」与「秩」的直观含义,详见 3-4-线性无关基与维数。
Q4:点积与矩阵乘法 是同一个东西吗?
是。对列向量 , 是 的行向量, 是 的矩阵,其唯一元素就是 。把点积写成 的好处是:它自动符合矩阵乘法的规则,处理对称矩阵、正定矩阵、投影矩阵时不会出错。详见 1-2-长度与点积。
Q5:本库为什么默认在实数域 上讨论?如果换成 会有什么不同?
因为 对四则运算封闭(是数域),且大部分几何直观在 上都能画出来。换成 后全部代数定理依然成立——消元、秩、线性无关的判定只用到四则运算,而 同样是数域。区别出现在两类问题上:(1) 几何图形会变得「千疮百孔」,例如直线 上除原点外没有任何有理点,所以「 中的一条直线」看起来不像直线;(2) 特征值可能取不出来,如 的特征值是 。这正说明数域的选择会影响「解存不存在」,而不影响「解怎么算」。详见 6-1-特征值引论 与 9-1-复数与复向量。
Q6: 和 的规则几乎一样,为什么只有 与 的差别这么大?
因为加法的「单位元」是 ,乘法的单位元是 。把同一常数重复运算 次时, 是 自加 次(结果是 ), 是 自乘 次(结果是 )。更本质地说: 与 的「线性」是不同含义的线性—— 对「提出常数因子」保持形式不变, 会改变次数。这也是为什么行列式只能对「一行」提出公因子(第 5 章): 的展开式中每一行恰好出现一次,所以提出一次公因子只贡献一次幂,不能对每一行都提。
Q7:考试里遇到「判断能否线性表示」的题,最快的做法是什么?
三步:
- 看个数:向量个数 维数时立刻想到「相关、系数不唯一」;向量个数 维数时先算行列式。
- 列增广矩阵做行变换:出现 ()即无解。
- 优先用不含参数的行:含参数的题里,这一步能把讨论次数降到最低。
数字结果的量级自检
算完后快速估算一下大小。如果 的分量都在 以内,而算出的系数是 ,几乎一定是错位了。这类「量级检查」在第 11 章的数值稳定性里会变成严格的条件数概念(见 11-2-范数与条件数)。
本篇小结
全篇核心结论
一句话: 是 的列的线性组合; 是「所有可能的线性组合」构成的集合。
六个必须记住的结论
- 基本运算:向量加法对应分量相加;数乘是每个分量同乘一个数。不同维数的向量不能相加——这一点没有例外。
- 线性组合与张成: 是全部线性组合的集合。零向量永远在其中(取全部系数为 )。
- 列图像(全书主线):,因此 有解,当且仅当 落在 的列的张成空间里。这句话的公式化版本是「」,而 就是 的另一个名字。
- 、 的张成图像:两个不共线向量铺满 ;三个不共面向量填满 ;判据是行列式是否为零。
- 数域:对四则运算封闭且至少含两个数的数集。 是数域, 不是;最小数域是 。本库默认标量取自 。
- 与 :哑指标可改名、可平移(换界要跟着换)、线性性和双重求和可交换次序是全部技巧的来源。务必分清 与 。
最容易混淆的四组概念
| 容易混的两件事 | 区别在哪里 | 典型反例 |
|---|---|---|
| 线性组合 与点积 | 前者是向量,后者是数 | 时两者一个给出零向量、一个给出数字 |
| 与「 的全体倍数」 | 后者漏掉了「同时带非零系数」的组合 | 、:全体倍数只有两条坐标轴, 是整个平面 |
| 「有解」与「方程个数 未知数个数」 | 可解性只看 在不在列空间 | 个方程 个未知数可以有唯一解(例题 1) |
| 提出常数与 提出常数 | 一个提出来仍是加法,一个提出来变成幂 | , |
四个高频易错点(详细版见前面的 [!warning])
- 以为「向量个数够多就一定张成 」——张成看方向,不看个数。
- 忘记系数可以为负、为零,因而忘记零向量一定在张成空间里。
- 行列式为零时不能直接判定「无解」,只能说「解不唯一或无解」。
- 在数学公式里写中文或使用
\bm,破坏 MathJax 渲染。
通往后面章节的五个接口
| 本篇概念 | 在哪里被升级 | 升级成什么 |
|---|---|---|
| 线性组合 | [[3-5-四大子空间的维数]] | 列空间 与它的维数(秩 ) |
| 张成与「多余向量」 | [[3-4-线性无关基与维数]] | 线性无关、基、维数、极大线性无关组 |
| 点积与垂直 | [[1-2-长度与点积]]、[[4-1-四大子空间的正交性]] | 长度、夹角、正交补 |
| 不在列空间时的「最近解」 | [[4-3-最小二乘逼近]] | 投影与法方程 |
| 的指标变换 | [[1-3-矩阵入门]]、[[5-2-排列与代数余子式]] | 矩阵乘法的定义与行列式的排列展开式 |
相关笔记
- 1-2-长度与点积 — 长度、夹角与正交判定的严格证明,投影的萌芽
- 1-3-矩阵入门 — 把线性组合推广到矩阵乘法, 的两种读法
- 2-1-向量与线性方程组 — 列图像用于讨论解的存在性与唯一性
- 2-2-消元法的思想 — 本篇「判断能否线性表示」的标准工具:高斯消元与主元
- 3-4-线性无关基与维数 — 「张成空间」的精确刻画:基与维数
- 3-5-四大子空间的维数 — 列空间 就是 的各列的张成空间
- 4-3-最小二乘逼近 — 不在列空间时的最优近似
- 5-1-行列式的性质 — 本篇用到的「三向量张成 当且仅当 」的完整证明
- 5-2-排列与代数余子式 — 用 与 写出 阶行列式的排列展开式
- 6-1-特征值引论 — 数域的选择如何决定「特征值是否存在」
- 9-1-复数与复向量 — 把标量域从 换成 之后的世界
- 11-2-范数与条件数 — 从「量级自检」到严格的条件数
- 常用公式速查 — 求和公式与线性代数常用恒等式的汇总
- 关于本笔记库 — 本库的符号约定与写作规范
参考来源
- Gilbert Strang, Introduction to Linear Algebra, 5th Edition, Wellesley–Cambridge Press, 2016,第 1 章 §1.1「Vectors and Linear Combinations」(教材本身,无 URL)
- 同济大学数学系,《线性代数》第七版,高等教育出版社,第四章 §4.1「向量组及其线性组合」
- MIT OpenCourseWare 18.06 Linear Algebra, Spring 2010(Lecture 1: The Geometry of Linear Equations)— https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
- Gilbert Strang 主页与教材配套网站(Introduction to Linear Algebra, 5th ed.)— https://math.mit.edu/~gs/linearalgebra/
- NumPy 官方文档
numpy.dot(一维数组即点积,二维数组即矩阵乘法)— https://numpy.org/doc/stable/reference/generated/numpy.dot.html - Wolfram MathWorld, "Dot Product"(点积的几何定义与投影公式)— https://mathworld.wolfram.com/DotProduct.html