1-2-长度与点积
一句话概括
长度与夹角是向量的两个几何量;点积(dot product)用一个数同时编码了它们:。
本篇给出长度的定义、点积的代数与几何两种面孔、夹角与正交判定、Cauchy–Schwarz 不等式与三角不等式的完整证明,并以一维投影公式为第 4 章铺路。
国内教材特有的是数域这一前置概念(1.6 节):它决定了「长度能不能开根」「夹角公式的分母是否为零」,是内积理论的地基。
2.5 节「自学导读」用四个「为什么」回答点积为什么这样定义、去掉条件会怎样,零基础读者应先读那一节。
一、定义
1.1 向量的长度(范数)
定义(长度 / 欧几里得范数,length / Euclidean norm) 对 ,定义
称为 的长度(也叫范数、模)。用点积写更紧凑:
在 中是 ,在 中是 。
为什么是平方和开根
因为这就是勾股定理。在 中,以 为斜边、两条直角边分别平行于坐标轴,长度分别是 与 ,于是斜边长 。在 中先用一次勾股定理把 的长度算成 ,再与竖直分量 用第二次勾股定理,得到 。 维的定义就是这个过程的自然延续。
1.2 单位向量与方向
定义(单位向量,unit vector) 满足 的向量 称为单位向量。
定义(单位化 / 归一化,normalization) 对非零向量 ,令
则 是单位向量且与 同向。这个 称为 方向上的单位向量。
关键观察:任意非零向量都能唯一地分解为「长度 方向」:
(即「长度 该方向上的单位向量」。)
这个分解是后面投影公式的骨架:投影 = 长度 单位方向。
、 中的标准基向量 都是单位向量,而且两两垂直(见 1.6 节)。
1.3 点积的代数定义
定义(点积,dot product) 对 ,
结果是一个标量。有时也叫内积(inner product),记作 ;在矩阵语言中写作 。
例:,,则
特别地,,这是长度与点积之间的桥。
1.4 点积的几何定义
定义(几何定义) 对非零向量 ,设它们的夹角为 ,则
这是本篇最重要的恒等式。它把纯代数的运算(分量相乘再求和)与纯几何的量(长度与夹角)联系起来。1.4 节给出证明思路。
1.5 正交(垂直)
定义(正交,orthogonal) 若 ,称 与 正交(垂直),记作 。
约定零向量与任何向量正交(因为 恒成立)。
1.6 数域:内积里的「标量」来自哪里
本篇的每个公式里都出现了「数」:长度是数、点积是数、 是数。国内教材会先追问一句:这些数取自哪个数集? 答案是数域(number field)。这个概念很短,但它决定了两件事:开方能不能做,以及长度算不算得出来。
定义(数域) 设 是至少含两个数的复数集合。若 对加、减、乘、除四则运算都封闭,即对任意 有
则称 是一个数域。
为什么内积理论一定要先固定数域? 因为点积的定义 用的是乘法与加法,而长度还要再开一次平方根:
- 在 上:只要 就能开方,长度一定是实数。这是正定性(定理 1.1 第 4 条)保证的。
- 在 上: 满足 ,但 。长度跑出了数域。这就是国内教材说「 不是完备的」在长度问题上的体现。
- 在 上: 可能是负数甚至复数, 不再是长度。所以复向量的内积必须改成 (共轭转置),见 9-1-复数与复向量。
三条必须记住的结论
1. 都是数域; 不是(对除法不封闭,如 ), 更不是(对减法不封闭)。
2. 最小数域是 。理由:任意数域含 与 ,由加法封闭性生成全部正整数,由减法封闭性生成全部整数,再由除法封闭性生成全部分数,而全体分数正是 。
3. 本库默认标量域是 ;只在必要时(第 9 章)换到 ,并会明确写出。
验证 是数域(「证明某集合是数域」是标准题型):设 、,。则
对除法用有理化技巧(分子分母同乘 ):
( 时 ,因为 是无理数。)四条封闭,故 是数域。
数域与「线性代数的通用性」
你可能会想:既然 够用了,为什么要学数域?因为第 3 章的向量空间公理正是数域的推广:把「数域的八条运算律」和「向量的八条运算律」抽象出来,就得到了域上的向量空间。届时「标量」可以是有理数、实数、复数,甚至是 上的二元运算(现代密码学与编码理论就工作在这种域上,见 10-5-图形学与密码学 里 RSA 用的模运算思想)。先固定数域再谈运算,才能保证所有定理在任何数域上都成立。
数域的完整讨论见 1-1-向量与线性组合 的 1.6 节(那里还有常见数域与非数域的对照表)。
二、几何直观
2.1 长度是「到原点的距离」
就是从原点到点 的直线距离。两个向量之差的长度给出两点距离:
这个表达式在后面反复出现:最小二乘要最小化 ,正交投影要让 的长度尽量小。
2.2 点积同时测量「长度」与「对齐程度」
把几何定义拆开看:
即:点积 (其中一个向量的长度)(另一个向量在该方向上的投影长度),其中投影长度带符号。
图像描述:从 的终点向 所在直线作垂线,垂足到原点的有向距离就是 。这个数叫 在 方向上的标量投影(scalar projection)。乘上 就得到点积。
于是点积的符号有了清晰的几何含义:
| 几何图像 | 投影的符号 | ||
|---|---|---|---|
| 两箭头大致「同向」 | 投影为正 | ||
| 互相垂直,无分量 | 投影为零 | ||
| 大致「反向」 | 投影为负 |
为什么点积能判断垂直
,而 ,所以点积为零的唯一可能就是夹角是直角。「正交」这个纯代数条件 完全等价于图形上的垂直,这就是线性代数能用方程描述几何的原因。
2.3 点积的「投影积」图像与矩阵的联系
点积 是最小的矩阵乘法: 乘 得到 。把它想象成:行向量把列向量的分量「加权求和」,权重就是行向量的分量。
如果把 换成单位向量 ,则 ,正好是「 在 方向上的投影长度」,不多不少。这是投影公式的起点:先单位化再点积,就提取出一个分量。
2.4 正交的图形意义:直角三角形
若 ,则 构成一个直角三角形( 与 是两条直角边, 是斜边)。于是勾股定理应当成立:
我们稍后会用点积把这条恒等式证出来(定理 1.7),这是「代数能重现几何」的一个漂亮例子。
2.5 自学导读:为什么这样定义?去掉条件会怎样?
这一节回答零基础读者最该追问的四个「为什么」。读定理之前先读这一节,后面的证明会变得非常自然。
问题一:为什么点积定义成「分量相乘再求和」,而不是「分量相加」或「取最大值」?
因为定义必须同时满足三条要求,而只有「相乘再求和」这一种形式能满足全部三条:
| 要求 | 含义 | 为什么必须有 |
|---|---|---|
| 对称性 | 夹角不该依赖于「先看谁」, 是对称的 | |
| 线性性 | 只有线性运算才能与矩阵乘法、消元法兼容 | |
| 正定性 | () | 只有这样 才能当长度 |
对照检验:若定义成 (分量相加),则 ,非零向量的「长度」变成 ,正定性破产;若定义成 ,则对称性还在,但线性性彻底失效( 不是线性的)。
一句话总结
点积不是「随便定」的,它是唯一同时拥有对称性、线性性、正定性的「分量乘积之和」型运算。第 6 章的正定矩阵(6-4-对称矩阵与正定矩阵)就是把这第三条要求推广到矩阵上:一个矩阵 正定,意思是它诱导的「广义点积」 仍然正定。这个联系是全库最漂亮的伏笔之一。
问题二:长度为什么必须是「平方和开根」?如果去掉开根会怎样?
数学上完全可以定义 (不开根),很多公式里也确实是这么用的。但必须开根才能真正充当「长度」,因为长度必须满足三条:
- 正定性:,且 只在 ;
- 齐次性:——拉长 倍,长度就是 倍;
- 三角不等式:——走折线不比走直线短。
如果不开根,齐次性会变成 ,即「拉长 倍,平方长度变成 倍」。这虽然也是规律,但「长度」这个词就不再对应到原点的欧氏距离了。第 11 章会把这些要求抽象成「范数」的公理化定义,并指出 、、 都是合法的范数(见 11-2-范数与条件数)。
问题三:如果去掉「正定性」这一条,几何会变成什么样?
去掉正定性,就等于允许「非零向量的长度为 」。后果是连锁的:
- 却 ,于是单位化公式 出现零除;
- 夹角公式失效: 的分母为零,夹角无定义;
- 正交不再等价于垂直: 时按定义 ,即「非零向量与自己垂直」,几何直觉彻底崩塌;
- Cauchy–Schwarz 不再成立,因为它的证明依赖 这个二次式非负。
在相对论里讨论闵可夫斯基时空时,确实会遇到「非正定」的双线性型——此刻「长度」要换成时空间隔,可以取负值,光锥内的向量甚至「长度为零」(类光向量)。这恰好说明正定性不是废话,而是一条必须明说的假设。
问题四:Cauchy–Schwarz 不等式的几何直觉到底是什么?
一句话:投影不会比原向量更长。
把 沿 方向投影,投影长度是 。这个影子绝不会长过 本身,所以
两边同乘 就得到 。所以这条不等式不是技巧,而是「影子不会比人长」这件小事的代数翻译。等号成立意味着影子和人一样长——只有光线与人体平行( 或 ,即两向量共线)时才可能发生。
把三个不等式串成一张图
- Cauchy–Schwarz:影子不超身长 → ;
- 三角不等式:走折线不短于走直线 → ;
- 勾股定理:走直角折线,恰好等于(因为交叉项为零)→ 时取等号。
三者的差别只在于两个方向「对齐」还是「错开」:完全对齐取等号,错开就严格小于,直角时交叉项消失。第 4 章的标准正交基(4-4-标准正交基与Gram-Schmidt)就是把「处处直角」这种最理想的情形用到极致。
三、性质与定理
定理 1.1(点积的运算律)
对任意 与 :
- (交换律);
- (分配律);
- (齐次性);
- ,且 (正定性)。
证明(第 2 条为例,其余同理):
用到了实数乘法对加法的分配律与求和的线性。
适用条件:所有向量同属 。注意点积没有结合律: 无意义,因为 已经是数,不能与向量点乘。
定理 1.2(长度由点积导出)
对任意 与 :
- ,且 ;
- ;
- 。
证明:第 3 条就是定义。第 1 条由点积正定性直接得到。第 2 条:
两边开方并注意 ,得 。
注意 而不是 :长度永远非负, 时长度是原来的 倍而不是 倍。这是最容易漏绝对值的地方。
定理 1.3(夹角公式)
设 为非零向量, 为它们的夹角,则
证明:把几何定义 两边同除以正数 即可。
适用条件: 都非零(否则夹角无定义)。这个公式给出了计算任意维数夹角的办法——即使画不出图。
推论:由 立刻得到 ,这就是下一节的 Cauchy–Schwarz 不等式。它说明夹角公式不会给出 的矛盾结果,即代数定义与几何定义是相容的。
定理 1.4(点积—夹角恒等式的证明思路)
这是本篇的核心恒等式,我们给出两条证明路线。
路线一:余弦定理(几何路线)
在由 张成的三角形中,第三边是 。余弦定理给出
另一方面,用点积的运算律把它展开:
两式比较, 同时出现,消去后得
路线二:旋转不变性(代数路线)
在 中,把两个向量同时旋转角度 ,点积不变(因为分量平方和与交叉项在旋转下是正交不变量)。旋转后可以让 落在 轴上,即 、。此时
中先旋转使两向量共面,再在平面内旋转使 沿坐标轴。
两种路线各自的用处
路线一说明「余弦定理就是点积的几何外衣」;路线二说明「点积在旋转下不变」——这条不变性正是第 4 章正交矩阵 保长度的根源,也是第 7 章 SVD 与第 12 章协方差矩阵的前提。
定理 1.5(Cauchy–Schwarz 不等式)
对任意 ,
等号成立当且仅当 与 线性相关(其中一个为零向量,或互为标量倍)。
证明(配方法,最经典的证明):
若 ,则两边都是 ,等号成立且两向量线性相关(),结论成立。
以下设 ,于是 。对任意实数 ,由点积正定性,
展开(用分配律、齐次性、交换律):
这是一个关于 的二次多项式,首项系数 ,且对一切实数 都非负。因此它的判别式不能为正:
即
两边开方(都用非负值)得 。
等号条件: 意味着该二次式有唯一实根 ,即 ,从而 ,两向量线性相关。反之若 ,直接计算
两边相等,等号成立。
适用条件:任意 (乃至任意内积空间)都成立,不要求向量非零。
几何意义:把 的单位化 、 代入,不等式变成
所以 Cauchy–Schwarz 不等式就是「余弦的绝对值不超过 1」。等号成立意味着 或 ,即两向量共线。
定理 1.6(三角不等式)
对任意 ,
等号成立当且仅当其中一个为零向量,或 且 (同向共线)。
证明:
对中间项用 Cauchy–Schwarz:,于是
两边开方即得结论。
等号条件:需要两处同时取等号——一是 ,即点积非负;二是 Cauchy–Schwarz 取等号,即两向量线性相关。合起来就是 且 。
几何意义:三角形两边之和不小于第三边。注意这里的 是「首尾相接」的两段路,走直路不会比绕路更长。
定理 1.7(勾股定理 / 正交的充要条件)
对任意 ,
证明:由展开式
右边的等式成立 。
适用条件:任意维数。这条定理说明「用点积定义的垂直」与「欧氏几何的垂直」完全一致。
定理 1.8(投影的萌芽:一维投影公式)
设 。任意向量 都可以唯一地分解为
其中 称为 在 上的投影(projection)(沿 的分量), 称为误差向量(垂直于 的分量),且 。
证明:先验证垂直:
(用到了齐次性与 。)故 ,两个分量正交。
分解形式显然成立,因为定义 时已经保证了 。
唯一性:若 且 ,两边与 点积得 ,于是 被唯一确定, 随之唯一。
写成单位向量的形式(更常用):令 ,则
读作:「先算出投影长度 ,再沿单位方向 走这么远。」
一维投影矩阵:上式可写成 ,其中
这是第 4 章投影矩阵 在 退化为单个向量时的特例。现在可以验证它的两条标志性性质:
即 (幂等且对称),这正是 4-2-投影与投影矩阵 的核心结论。投影两次与投影一次结果相同:影子再投影还是它自己。
四、计算方法与步骤
4.1 计算长度与单位向量
- 求各分量平方和 。
- 长度 。若 是完全平方数则取整数,否则保留根号(不要过早取近似值,会损失精度)。
- 单位向量 ,即每个分量除以 。
- 验算 (有理数情形可精确验算)。
4.2 计算两向量的夹角
- 检查两向量是否非零;若有零向量,夹角无定义,直接说明。
- 算点积 。
- 算两个长度 、。
- 代入 。
- 由 的值判断象限:正值锐角, 直角,负值钝角。
- 需要具体角度时 ,单位是弧度,转成度要乘 。
- 验算: 是否满足(不满足说明计算有误,因为 Cauchy–Schwarz 保证了它必然成立)。
4.3 判断正交
- 算点积 。
- 结果恰为 (有理数情形下应是精确的 ,而不是 ) 正交。
- 若用浮点数计算,需要设阈值(如 ),因为 在计算机里可能是 。
4.4 计算投影
- 确认投影方向 。
- 算 与 。
- 系数 。
- 投影向量 。
- 误差向量 。
- 验算:(这一步能挡住绝大多数计算错误)。
4.5 计算两点距离与「最近点」
- 距离是对差的长度:;先做减法再求长度,顺序不能反(不过 ,交换是安全的)。
- 用点积展开可以少算一次开方:。只需要三个数(两个长度、一个点积)。
- 求「直线上离某点最近的点」时,只需投影:,最近距离是 。
用具体数字体会第 2 条的省事:设 、。
笨办法(先减后算):,。
巧办法(用三个数):,,,于是
两种算法结果一致 ✓。当向量维数很高时,「巧办法」能省下大量分量运算——这也是最小二乘里误差能用 与 表达的原因(见 4-3-最小二乘逼近)。
4.6 自学检查清单
合上笔记,试着回答下面八个问题。全部答得出,才算把这一篇读通了。
- 为什么长度的定义里必须开平方根?不开根会破坏哪条性质?
- 点积的三条要求(对称、线性、正定)各自排除了哪些「看起来也行」的定义?
- 若把「正定性」从点积的定义里删掉,夹角公式会发生什么?
- Cauchy–Schwarz 不等式用一句话说是什么?(提示:影子不会比人长。)
- 三角不等式的等号什么时候成立?为什么 时取不到等号?
- 投影公式的分母为什么是 ,而不是 ?
- 数域 上, 的长度存在吗?这说明数域对内积理论有什么约束?
- 是单位向量。如果把 换成 ,结果还是单位向量吗?(提示:算 。)答:不是,,只有 时才成立。
五、例题
例题 1(长度、单位向量与夹角,完整过程)
题:设 ,。
(1) 求 与 ;(2) 求 方向上的单位向量;(3) 求两向量夹角;(4) 判断是否正交。
解:
(1) 长度。
两者长度都是 。
(2) 单位向量。
验算: ✓
(3) 夹角。 先算点积:
代入夹角公式:
验算: ✓(Cauchy–Schwarz 保证必然如此)。因为 ,夹角是锐角,与点积为正一致。
(4) 正交判定。 ,不正交。
补充:与 正交的向量长什么样
解 。取 得 ,即 ;取 得 ,即 。验证 ✓。所有与 正交的向量构成 中过原点的一张平面(方程 ),这个平面就是 的正交补,第 4 章会把它写成 。
例题 2(投影的完整计算与验证)
题:设 ( 轴方向),。求 在 上的投影 ,验证 ,并给出投影矩阵 。
解:
第 1 步:算点积与自点积。
第 2 步:算系数。
(几何上: 的 分量是 ,而 的长度是 ,故 的 分量是 ,与「投影就是把 分量留下来、 分量丢掉」完全吻合。)
第 3 步:投影向量。
第 4 步:误差向量与垂直验证。
即 , 确实是「影子」。
第 5 步:投影矩阵。 由 :
验证 :
验证 (幂等):
验证 (对称):显然成立 ✓
几何说明:投影到 轴的矩阵就是 ——它保留第一个分量、把第二个分量清零。这是第 4 章「投影矩阵」概念的最简例子。
思考:如果换一个方向
若 ,则 ,,
对 得 。验证几何: 到直线 的垂足确实是 ,因为从 到 的向量 垂直于 (点积 )。✓
例题 3(Cauchy–Schwarz 等号条件的具体验证)
题:对 ,,验证 Cauchy–Schwarz 取等号,并指出它们线性相关。
解:
两边相等,等号成立 ✓。原因是 ,两向量线性相关,夹角 ,。
再检验三角不等式也取等号:
两边相等 ✓,符合定理 1.6 的等号条件(, 同向)。
反例检查
若取 ,则 ,而 ,严格小于,三角不等式取不到等号。原因是 ,方向相反。这正好说明等号条件中 不可省略。
例题 4(三维向量的长度、夹角与正交性判定,完整过程)
题目
设
(1) 求 、、;
(2) 求 、、,判断哪两个向量正交;
(3) 求 与 的夹角 (用反余弦表示,并给出度数近似);
(4) 求 (要求分别用「先加后算长度」与「点积展开」两种方法得到相同结果)。
解:
(1) 各向量的长度。 长度是「各分量平方和开根」:
注意 已经不能再化简( 没有平方因子),保留根号,不要写成 ——过早取近似值会引入不必要的误差。
(2) 三个点积。
读结论:,故 ;,故 。
一个值得注意的现象
同时垂直于 与 ,但 与 不互相垂直()。
这三者的图像是: 是一条「法线」, 与 都躺在一张过原点、以 为法向量的平面上。
这张平面的方程由 给出:
检验: 代入得 ✓; 代入得 ✓。这正是第 4 章正交补(左零空间 )的最简例子,见 4-1-四大子空间的正交性。
(3) 夹角。 代入夹角公式:
所以
双重验证:点积为零 ;与 (2) 中「」的结论完全一致 ✓。
(补充练习) 顺便算一下 与 的夹角,体会「点积为零」的威力:
(再补充) 算 与 的夹角系数(这不是零!因为 仍在平面内,当然与 垂直):
这条验算体现了点积的分配律(定理 1.1 第 2 条):与 垂直的向量全体构成一个子空间,加法封闭。这就是「正交补是子空间」的直观来源。
(4) 两种方法算 。
方法一:先加后算长度。
方法二:用点积展开(不必先求 )。
两法一致 ✓。而且由于 ,这正是勾股定理(定理 1.7)的一个实例:
结论汇总:,,;、;;。
例题 5(四维向量:高维空间中依然能算夹角)
题目
设
(1) 求 与 的夹角;
(2) 求 与 ,并验证平行四边形的两条对角线公式;
(3) 求 在 上的投影 ,验证 。
解:
(1) 夹角。 四维空间画不出图,但公式一字不改。
点积:
长度:
夹角余弦:
所以
这个例子极有教育意义: 与 在四维空间里「看起来毫无关系」(它们的非零分量甚至不在同一位置),但夹角恰好是 。这说明夹角是代数概念,不是视觉概念——只要点积与长度算得出来,夹角就有定义,无论维数多高。这正是高维数据分析(文本向量、图像特征)能使用「余弦相似度」的原因(见 6.2 节)。
(2) 两条对角线与平行四边形公式。
先算和与差:
验证平行四边形公式(两条对角线长度平方之和等于四条边长度平方之和):
这条恒等式为什么必然成立? 把两式展开:
相加时交叉项 恰好抵消,无论 是多少。所以这条公式对任意两个向量都成立,与是否正交无关。
平行四边形公式的用法
已知 、 与 时,可直接反解 ,省去一次分量运算:
这是「用长度算长度」的典型技巧,第 11 章讨论范数时还会用到(见 11-2-范数与条件数)。
(3) 投影与垂直验证。
投影系数的分母是 :
误差向量:
验证 :
顺便验证勾股分解( 时必有 ):
结论:夹角 ;、;,。
例题 6(投影矩阵与最短距离,完整过程)
题目
设 ,。
(1) 求 在 上的投影 与投影矩阵 ;
(2) 求 到直线 的最短距离;
(3) 验证 、,并解释 的秩为什么是 。
解:
(1) 投影与投影矩阵。
先算所需的两个数:
投影系数:
投影向量:
投影矩阵(由 ):
验证 :
几何直观: 在 轴上,直线 与它成 ,所以投影点的两个坐标应当相同。 满足这一点 ✓。用「沿 方向照影子」的图像看:光垂直射向直线 , 的影子落在 ,从 到 的连线方向是 ,确实垂直于 ✓。
(2) 最短距离。 最短距离就是误差向量的长度:
验算 :
为什么这就是最短距离? 设直线上任取一点 ,则距离的平方是
这是关于 的二次函数,开口向上,在顶点处取最小值:
恰好是我们算出的投影系数 ✓。最小值为
即最小距离 ,与直接算 一致 ✓。
这个二次函数就是第 4 章的全部秘密
「在直线上找一点使距离最小」等价于「求二次函数的最小值」。把这一维问题推广到子空间,就是最小二乘的法方程推导(4-3-最小二乘逼近):令导数(即内积)为零,得到的方程正是 。「垂直」这个几何条件与「导数为零」这个分析条件等价,本篇的投影公式同时是两者的解。
(3) 幂等性与对称性。
为什么秩是 ? 因为 的两列都是 的倍数(第二列等于第一列),列空间是一条直线(即 ),维数为 。一般地,投影到由 个向量张成的子空间上的投影矩阵,秩恰好是 。这里 。
一般来说,投影矩阵的秩等于投影目标子空间的维数,这就是投影矩阵的迹也等于 的原因: ✓。迹与秩在投影矩阵上相等,这是第 4 章与第 6 章都会用到的漂亮结论。
投影与反射不要搞混
- 投影:,把向量压到直线上,长度通常会变小( 的秩为 ,信息丢了一维);满足 。
- 反射:,沿直线翻折,长度完全不变;满足 ,但 ,所以反射矩阵不是幂等的。
本例题中 的反射点是 ✓——这正是把 沿 翻折后应得的点(两个坐标交换了)。
例题 7(证明:Cauchy–Schwarz 与等号条件)
题目
设 为 中的非零向量。证明
且等号成立当且仅当 与 线性相关。
证明:
第 1 步:转化为「单位向量的点积不超过 」。 令
(分母非零,因为 。)由点积的齐次性,
于是原不等式等价于
第 2 步:用一个配方式的不等式。 由点积的正定性,对任意实数 ,
第 3 步:展开右端。
(这里用了 ,所以两个「平方项」都是 。)
第 4 步:把 选成点积本身(这是全部技巧的关键一步)。 取 ,则上式变成
第 5 步:读出结论。
代回第 1 步的等式,得 ,即 。
第 6 步:等号条件的证明。
() 设 。直接计算:
两者相等,等号成立。
() 设 。由第 4 步,这等价于 ,即
由点积的正定性(),得
即 是 的标量倍。现在把 、 代回:
右端是一个常数乘以 ,记这个常数为 ,即得 ,两向量线性相关。顺便可以把这个常数算清楚:两边与 点积得 ,故
(这也和投影系数完全一致——等号成立时 恰好落在 所在直线上,投影就是它自己。)
两条证明路线的对比
路线 A(判别式法):构造二次式 ,用「非负二次式判别式 」得结论。优点是不需要单位化,且等号条件自动由「判别式为零 有重根」给出(本篇定理 1.5 用的就是这条路)。
路线 B(本例题):先单位化,再人为选取 使配方式最紧。优点是短,且揭示了本质:不等式只是「把二次式配成完全平方后剩余的非负项」。
两条路线都要会。考试中如果题目已经给出「」,直接用路线 B 最快。
例题 8(证明:正交向量组的线性无关性与勾股定理的推广)
题目
设 两两正交且都非零。证明:
(1) 它们线性无关;
(2) 。
证明:
(1) 线性无关。 设存在系数 使
第 1 步:两边与 做点积。 由点积的分配律与齐次性,
第 2 步:用两两正交的条件。 因为 对一切 成立,所以和式里只剩 一项:
第 3 步:用非零条件。 因为 ,故 ,于是 。
第 4 步:对每个 重复同样的操作。 把 两边分别与 做点积,得到
第 5 步:结论。 唯一使 成立的系数组合是 ,故 线性无关。
(2) 勾股定理的推广。 记 ,则
第 1 步:展开成双重和。
(这一步用的是「乘积与求和的相容性」:先把两个和各自展开再相乘,共得到 项。)
第 2 步:按 与 拆开。
第 3 步:交叉项全为零。 由两两正交, 时 ,故第二个和为零,得
当 时,这正是定理 1.7 的勾股定理。所以本结论可以读作:「勾股定理」在任意多个两两垂直的方向上都成立—— 维空间里把它用 次,就得到 (取 ,各 两两正交),即长度的定义本身。
这两条结论的用途
1. 线性无关性(第 1 条)是标准正交基理论的基石:Gram–Schmidt 正交化的每一步都产出一组正交向量,因此自动线性无关,可以直接当基使用。见 4-4-标准正交基与Gram-Schmidt。
2. 勾股分解(第 2 条)是能量守恒的代数形式:一组正交信号的总能量等于各分量能量之和,叠加时互不干扰。这正是正交频分复用(OFDM)与正交变换(傅里叶、小波)能无损压缩与可靠传输的原理,见 6.4 节与 9-3-快速傅里叶变换FFT。
3. 两条结论合起来还说明:「正交」是一个比「线性无关」更强的条件——正交必无关,无关未必正交。 与 线性无关但不正交。
六、应用
6.1 相关系数:统计学中的「余弦」
两个变量的样本数据是中心化后的向量 。Pearson 相关系数
就是两个数据向量的夹角余弦。 表示完全正相关(同向), 表示不相关(正交), 表示完全负相关(反向)。Cauchy–Schwarz 不等式正是「相关系数绝对值不超过 1」的数学根据,这个结论在第 12 章协方差矩阵中会重新出现。
6.2 余弦相似度与文本检索
把文档表示成词频向量 (词表有多长,维数就有多大,通常是几万维)。检索系统用
衡量相似度。为什么用余弦而不用欧氏距离? 因为余弦对向量长度不敏感:一篇长文与一篇短文谈同一主题时,方向相同而长度不同,余弦相似度仍然接近 。
6.3 最小二乘与投影(第 4 章的预告)
给定 个数据点,想拟合直线 。把预测写成 ,误差向量是 。最小二乘的做法是让误差向量垂直于 的列空间:
这正是本篇定理 1.8(误差垂直于投影方向)在子空间上的推广。「垂直」这个几何条件的代数形式就是「点积为零」,所以第 4 章的全部公式都始于本篇定义的点积。
6.4 图像与信号处理中的「能量」
把信号看成 中的向量,其能量定义为 (离散版)。两个信号正交意味着它们的互相关为零,可以互不干扰地叠加传输——这是正交频分复用(OFDM)与压缩感知的基础。
6.5 计算工具
import numpy as np
v = np.array([1.0, 2.0, 2.0])
w = np.array([2.0, -1.0, 2.0])
print(np.linalg.norm(v)) # 3.0 长度
print(np.dot(v, w)) # 4.0 点积
cos_t = np.dot(v, w) / (np.linalg.norm(v) * np.linalg.norm(w))
print(cos_t, np.degrees(np.arccos(cos_t))) # 0.4444 63.61
# 投影:p = (v·w / v·v) v
p = (np.dot(v, w) / np.dot(v, v)) * v
print(p) # [0.4444 0.8889 0.8889]
print(np.dot(v, w - p)) # 0.0 —— 误差与 v 正交,验算通过
用
@代替np.dotNumPy 从 1.10 起支持
@运算符表示矩阵乘法,对两个一维数组它就是点积,即v @ w == np.dot(v, w)。写公式时 与代码里v @ w一一对应。
低维与高维的算力差异:本篇的所有量都能一行代码算完,但当维数从 涨到 时,算法的组织方式必须改变。两个高维向量的点积是 的,可接受;但 个数据点两两算距离是 ,会瞬间爆掉内存。第 11 章的数值方法(11-3-迭代方法与预条件)与第 7 章的降维(7-3-主成分分析PCA)都是为这个问题服务的。
import numpy as np
# 高维向量的点积与余弦相似度(与低维公式完全相同)
rng = np.random.default_rng(0)
a = rng.normal(size=1_000_000)
b = rng.normal(size=1_000_000)
print(np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))) # 接近 0,随机高维向量几乎正交
# 距离公式与「点积展开」的互相验算
v = np.array([1.0, -3.0, 4.0])
w = np.array([2.0, 2.0, 1.0])
print(np.linalg.norm(v - w)) # sqrt(20)
print(np.sqrt(np.dot(v, v) - 2 * np.dot(v, w) + np.dot(w, w))) # 相同
# 误差向量与投影方向的垂直性:数值上应是 ~1e-16 而不是精确的 0
p = (np.dot(v, w) / np.dot(v, v)) * v
print(abs(np.dot(v, w - p)) < 1e-12) # True —— 要用阈值判断
6.6 加权最小二乘:当点积带上权重
普通投影把每个方向看得同等重要。若数据点有不同可信度(方差不同),就要给每个分量配一个权重 ,用加权内积
代替原来的点积。所有结论(正交、投影、最小二乘)都逐字照搬,只需把 换成 。法方程随之变成
为什么能照搬? 因为 的对角元全为正时,(),正定性依然成立。这正是本篇 2.5 节强调「正定性不可去掉」的实际回报:只要正定性在,长度、夹角、投影的全套理论就自动成立。详见 12-3-多元高斯与加权最小二乘。
6.7 相关性矩阵与「几乎正交」
把 个样本、 个特征的数据矩阵中心化后记作 (),则特征之间的样本协方差矩阵是
观察 的形状:它正是第 列与第 列的点积(除以 )。所以
- 的非对角元小 两个特征近似正交 两个特征近似不相关;
- 是对称矩阵,因为点积满足交换律(定理 1.1 第 1 条);
- 是半正定的,因为对任意 ,——这正是点积正定性在矩阵层面的推广。
整个第 12 章(12-2-协方差矩阵)与 PCA(7-3-主成分分析PCA)都建立在这三个观察上。本篇的点积,就是协方差矩阵的元素。
七、易错点
本篇八个高频错误
1. 忘记 中的绝对值。 时长度扩大 倍,不是 倍;长度永远非负。
2. 把点积写成向量的分量形式后又当成向量用。 是数,不能继续与向量作点积。 是错误表达式。
3. 认为 就意味着有一个是零向量。两个非零向量也可以垂直,例如 与 。
4. 用 的近似值直接报角度而不检查范围。计算机算出的 可能是 (浮点误差),此时 会返回
nan。工程上必须先把值截断到 。5. 投影公式的分母写成 而不是 。正确系数是 ;若用单位向量 写则是 。写成 会多乘一个 。
6. 把投影与反射搞混。投影 把 压到直线上;反射是 ,它保持长度不变。两者的矩阵完全不同(反射矩阵不是幂等的,但它满足 )。
7. 以为「正交」只对二维三维有意义。 中两个向量正交是指它们的点积为零,无法画出图,但代数上完全合法——这正是高维数据分析的基础。
8. 在公式中写中文或使用
\bm。本库统一用\mathbf{}表示粗体向量;公式内不出现中文。
八、练习题
基础题 1 设 ,。求 、、、 与 的夹角,并判断它们是否正交。
基础题 2 求 方向上的单位向量,并求与 正交的一个非零向量。
进阶题 3 设 满足 ,,。
(1) 求 ;
(2) 求 ;
(3) 解释为什么 (1)、(2) 的结果都满足三角不等式。
进阶题 4 求 在 上的投影 、误差向量 ,验证 ,并写出对应的投影矩阵 (验证 )。
思考题 5 用 Cauchy–Schwarz 不等式证明:对任意正数 ,
(提示:取 ,,注意 。)
思考题 6 设 两两正交且都非零。证明它们线性无关。
(提示:设 ,两边与 点积,利用正交条件得 。)
八·补、增补练习(国内考试风格的数值计算与证明)
使用建议
B1–B6 是纯数值计算,必须动笔算到底,不要只看思路;B7–B10 是证明与讨论,对应考试大题。括号里给出答案要点,先自己做再看。
B1(长度与单位向量) 设 ,,。
(1) 求 、、;
(2) 求 方向上的单位向量;
(3) 判断 与 是否正交。
(要点:(1) 、、;(2) ;(3) ,不正交。)
B2(夹角计算) 设 ,。求 与 的夹角。
(要点:,所以夹角是 。注意这里出现了无理数分量,但点积恰好为零——先算点积再决定要不要算长度能省事。)
B3(点积方程) 求 的值,使得 与 正交。
(要点:。)
B4(投影与最短距离) 设 ,。
(1) 求 在 上的投影 与误差 ;
(2) 求 到直线 的距离;
(3) 写出投影矩阵 并验证 。
(要点:,,系数 ,;,;
, ✓,且 。)
B5(三角形的角与面积) 已知三点 、、。
(1) 判断 是否为直角三角形;
(2) 求 与 的夹角;
(3) 求 的面积。
(要点:(1) ,是直角三角形,直角在 ;(2) ;(3) 两条直角边长都是 ,面积 。)
B6(用长度算长度) 设 、、。求:
(1) ;(2) ;(3) ;(4) 与 夹角的余弦。
(要点:(1) ;(2) ;
(3) ,故为 ;(4) 。)
B7(证明:柯西不等式的向量证法) 用 Cauchy–Schwarz 不等式证明:对任意实数 ,
(提示:取 ,,代入 并平方。等号成立当且仅当所有 相等。)
B8(证明:均值不等式) 设 。用 Cauchy–Schwarz 不等式证明 。
(提示:取 、,则 ,,代入得 。)
B9(证明:投影分解的唯一性) 设 。证明:若 且 、,则 且 。
(提示:两式相减得 ;两边与 点积,利用 得 ,故 ,再得 。)
B10(讨论:数域的影响) 在 上讨论 与 。
(1) 它们的点积属于 吗?
(2) 它们的长度属于 吗?
(3) 它们的夹角余弦属于 吗?
(4) 由 (1)(2)(3) 说明:在 上能不能建立一套完整的「长度—夹角」理论?
(要点:(1) 是,;(2) 不是,都是 ;(3) 是,;(4) 长度不一定落在 内,所以 上不能定义欧氏长度,需要扩域到 ,或改用「长度平方」这一代数量。这就是本篇 1.6 节强调数域的原因。)
九、常见问题 FAQ
Q1:点积为什么有两种定义?会不会互相矛盾?
两种定义一个是代数式 ,一个是几何式 ,定理 1.4 证明了它们恒等,所以不矛盾,而是同一个量的两种描述。实践中:算数值用代数式,想几何用几何式。另外,几何式本质上依赖于「欧氏几何的余弦定理」,而代数式在任意 中都直接可算——所以严格的做法是先定义代数式,再用它定义高维空间的夹角。
Q2: 维向量的「夹角」真的有几何意义吗?
夹角公式 在任意维数都给出一个 内的数(Cauchy–Schwarz 保证),我们把它定义为 维空间中两向量的夹角。它不是「看得见的角度」,但它保留了二维三维中夹角的一切代数性质(正交、锐角、钝角、相关系数)。数据科学中的「余弦相似度」正是这样使用的。
Q3:为什么投影公式的分子是点积、分母是自点积?
因为要把 沿 缩放到合适的倍数 。要求误差 与 垂直,即
「垂直」这个要求是唯一的原因,而它给出的正是这个公式。若 已经是单位向量,则 ,公式简化为 ——这也是为什么 Gram–Schmidt 正交化(4-4-标准正交基与Gram-Schmidt)总是先单位化。
Q4:零向量与「垂直」的关系为什么特殊?
因为 对一切 成立,所以按定义零向量与所有向量正交。但零向量没有方向,说它「垂直」于某方向没有几何意义。因此约定:正交性讨论中默认向量非零;单位化、投影、夹角都要求非零向量。这一点在写代码时尤其重要——np.linalg.norm(v) 返回 时归一化会产生 nan 或除零警告。
Q5:为什么正定性这条要求不能删?删了会怎样?
删掉正定性,就等于允许「非零向量长度为 」。后果是连锁的:单位化公式出现零除;夹角公式的分母为零,夹角无定义; 会让「非零向量与自己垂直」,正交的几何含义崩塌;Cauchy–Schwarz 的证明(依赖 )也随之失效。正定性是「长度」这个词能够存在的前提,所以它不是多余的技术条件。详细讨论见本篇 2.5 节「问题三」。
Q6:点积、内积、数量积、标量积是同一个东西吗?
在本库讨论实向量的语境里,它们指同一件事:。术语差异来自不同教材传统:
| 说法 | 常见出处 | 备注 |
|---|---|---|
| 数量积 / 内积 | 国内教材(同济版) | 「数量积」强调结果是数量 |
| dot product | 英文教材(Strang) | 因为有「点」号 |
| inner product | 泛函分析与抽象代数 | 最一般的名字,可带权重或复共轭 |
| scalar product | 物理学 | 与「向量积 / 叉积」相对 |
换成复向量时必须注意:内积要改成 (带共轭),否则 可能是负数,正定性破产。详见 9-1-复数与复向量。
Q7:投影公式里为什么要用 而不是 ?两者量纲一样吗?
量纲不同: 是长度的一次方, 是长度的平方。看投影系数的量纲就更清楚——分子与分母都是「长度的平方」,所以
是一个无量纲的数,而 是「无量纲数乘长度」,量纲正确。如果误写成 ,系数就带上了「长度」量纲,结果会多乘一个 。用「量纲检查」可以发现绝大多数公式抄写错误。 用单位向量写时,公式是 ,其中 的量纲正好是长度,也自洽。
Q8:数值计算里 算出 怎么办?
先截断(clip)到 再调用反余弦:
import numpy as np
c = np.dot(v, w) / (np.linalg.norm(v) * np.linalg.norm(w))
c = float(np.clip(c, -1.0, 1.0)) # 关键一步
theta = np.degrees(np.arccos(c))
不截断的话 np.arccos(1.0000000001) 会返回 nan 并给出 RuntimeWarning。截断是完全合法的,因为 Cauchy–Schwarz 保证真值一定在 内,超出的部分纯粹是浮点误差。这类「用数学定理给数值结果做兜底」的手法在第 11 章会反复出现(11-1-数值稳定性与LU)。
本篇小结
全篇核心结论
一句话:点积用一个数同时编码了长度与夹角,;由它派生出正交、投影与一整套不等式。
七个必须记住的结论
- 长度:,满足正定、齐次()、三角不等式。
- 单位化: 与 同向且长度为 ;任何向量可唯一分解为「长度 方向」。
- 点积的双重身份:代数式 与几何式 恒等(定理 1.4)。
- 夹角公式:,对任意维数都成立。
- 正交判据:;由此得到勾股定理 。
- 三个不等式:Cauchy–Schwarz(影子不超身长)、三角不等式(折线不短于直线)、勾股(直角时交叉项消失)。前两个的等号条件分别是「线性相关」与「同向共线」。
- 一维投影:,误差 ;投影矩阵 满足 。
最容易混淆的六组概念
| 容易混的两件事 | 区别在哪里 | 典型反例 |
|---|---|---|
| 的值带不带绝对值 | 长度必须非负, | 时 |
| 点积与点积的平方 | 是平方,不是长度 | :, |
| 投影与反射 | 投影降维(),反射保长度() | 投到 得 ,反射得 |
| 「正交」与「线性无关」 | 正交必无关,无关未必正交 | 与 无关但不正交 |
| 投影系数分母取 还是 | 前者的量纲是长度平方,后者是长度 | 写成 会多乘一个 |
| 零向量「与一切向量正交」与「零向量有方向」 | 前者是代数约定,后者是错的 | 零向量没有方向,不能单位化 |
四个高频易错点(详细版见前面的 [!warning])
- 忘记 中的绝对值。
- 写出 这种非法表达式——点积没有结合律,因为结果已是数。
- 认为 就意味着有一个是零向量。
- 用不截断的 直接调 ,得到
nan。
通往后面章节的六个接口
| 本篇概念 | 在哪里被升级 | 升级成什么 |
|---|---|---|
| 正交 | [[4-1-四大子空间的正交性]] | 正交补、 |
| 一维投影公式 | [[4-2-投影与投影矩阵]] | , |
| 误差向量垂直于投影方向 | [[4-3-最小二乘逼近]] | 法方程 |
| 正交向量组线性无关 | [[4-4-标准正交基与Gram-Schmidt]] | 标准正交基、 |
| 点积 | [[12-2-协方差矩阵]] | 协方差矩阵的元素、半正定性 |
| 长度与不等式 | [[11-2-范数与条件数]] | 向量范数、矩阵范数、条件数 |
相关笔记
- 1-1-向量与线性组合 — 向量运算与线性组合,点积的初步定义
- 1-3-矩阵入门 — 点积 与矩阵乘法的四种理解
- 3-5-四大子空间的维数 — 正交补 与「法向量」的联系
- 4-1-四大子空间的正交性 — 本篇的正交概念升级为子空间之间的正交
- 4-2-投影与投影矩阵 — 本篇一维投影公式推广到子空间,
- 4-3-最小二乘逼近 — 用「误差垂直于列空间」导出法方程
- 4-4-标准正交基与Gram-Schmidt — 用投影逐次正交化,
- 6-4-对称矩阵与正定矩阵 — 「正定性」这条要求从点积推广到矩阵
- 9-1-复数与复向量 — 换成复向量后内积为什么要加共轭
- 9-3-快速傅里叶变换FFT — 正交函数系与能量守恒
- 11-2-范数与条件数 — 长度概念的推广:向量范数与矩阵范数
- 12-2-协方差矩阵 — 协方差矩阵的元素就是本篇的点积
- 12-3-多元高斯与加权最小二乘 — 带权内积与马氏距离
- 关于本笔记库 — 本库的符号约定与写作规范
参考来源
- Gilbert Strang, Introduction to Linear Algebra, 5th Edition, Wellesley–Cambridge Press, 2016,第 1 章 §1.2「Lengths and Dot Products」、§1.3「Matrices」(教材本身,无 URL)
- 同济大学数学系,《线性代数》第七版,高等教育出版社,第五章 §5.2「方阵的特征值与特征向量」之前的内积与正交部分
- MIT OpenCourseWare 18.06 Linear Algebra, Spring 2010(Lecture 1: The Geometry of Linear Equations;Lecture 14: Orthogonal Vectors and Subspaces)— https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
- Gilbert Strang 主页与教材配套网站 — https://math.mit.edu/~gs/linearalgebra/
- Wolfram MathWorld, "Dot Product"(点积的几何定义、标量投影与向量投影公式)— https://mathworld.wolfram.com/DotProduct.html
- Wolfram MathWorld, "Schwarz's Inequality"(Cauchy–Schwarz 不等式的积分形式与推导)— https://mathworld.wolfram.com/SchwarzsInequality.html
- NumPy 官方文档
numpy.dot(一维数组即内积,二维数组即矩阵乘法)— https://numpy.org/doc/stable/reference/generated/numpy.dot.html