w wyl123ly 的博客
MD

1-2-长度与点积

87 KB 2026.10.11 原文件

1-2-长度与点积

一句话概括

长度与夹角是向量的两个几何量;点积(dot product)用一个数同时编码了它们:。

本篇给出长度的定义、点积的代数与几何两种面孔、夹角与正交判定、Cauchy–Schwarz 不等式与三角不等式的完整证明,并以一维投影公式为第 4 章铺路。

国内教材特有的是数域这一前置概念(1.6 节):它决定了「长度能不能开根」「夹角公式的分母是否为零」,是内积理论的地基。

2.5 节「自学导读」用四个「为什么」回答点积为什么这样定义、去掉条件会怎样,零基础读者应先读那一节。

一、定义

1.1 向量的长度(范数)

定义(长度 / 欧几里得范数,length / Euclidean norm) 对 ,定义

称为 的长度(也叫范数、模)。用点积写更紧凑:

在 中是 ,在 中是 。

为什么是平方和开根

因为这就是勾股定理。在 中,以 为斜边、两条直角边分别平行于坐标轴,长度分别是 与 ,于是斜边长 。在 中先用一次勾股定理把 的长度算成 ,再与竖直分量 用第二次勾股定理,得到 。 维的定义就是这个过程的自然延续。

1.2 单位向量与方向

定义(单位向量,unit vector) 满足 的向量 称为单位向量。

定义(单位化 / 归一化,normalization) 对非零向量 ,令

则 是单位向量且与 同向。这个 称为 方向上的单位向量。

关键观察:任意非零向量都能唯一地分解为「长度 方向」:

(即「长度 该方向上的单位向量」。)

这个分解是后面投影公式的骨架:投影 = 长度 单位方向。

、 中的标准基向量 都是单位向量,而且两两垂直(见 1.6 节)。

1.3 点积的代数定义

定义(点积,dot product) 对 ,

结果是一个标量。有时也叫内积(inner product),记作 ;在矩阵语言中写作 。

例:,,则

特别地,,这是长度与点积之间的桥。

1.4 点积的几何定义

定义(几何定义) 对非零向量 ,设它们的夹角为 ,则

这是本篇最重要的恒等式。它把纯代数的运算(分量相乘再求和)与纯几何的量(长度与夹角)联系起来。1.4 节给出证明思路。

1.5 正交(垂直)

定义(正交,orthogonal) 若 ,称 与 正交(垂直),记作 。

约定零向量与任何向量正交(因为 恒成立)。

1.6 数域:内积里的「标量」来自哪里

本篇的每个公式里都出现了「数」:长度是数、点积是数、 是数。国内教材会先追问一句:这些数取自哪个数集? 答案是数域(number field)。这个概念很短,但它决定了两件事:开方能不能做,以及长度算不算得出来。

定义(数域) 设 是至少含两个数的复数集合。若 对加、减、乘、除四则运算都封闭,即对任意 有

则称 是一个数域。

为什么内积理论一定要先固定数域? 因为点积的定义 用的是乘法与加法,而长度还要再开一次平方根:

  • 在 上:只要 就能开方,长度一定是实数。这是正定性(定理 1.1 第 4 条)保证的。
  • 在 上: 满足 ,但 。长度跑出了数域。这就是国内教材说「 不是完备的」在长度问题上的体现。
  • 在 上: 可能是负数甚至复数, 不再是长度。所以复向量的内积必须改成 (共轭转置),见 9-1-复数与复向量。

三条必须记住的结论

1. 都是数域; 不是(对除法不封闭,如 ), 更不是(对减法不封闭)。

2. 最小数域是 。理由:任意数域含 与 ,由加法封闭性生成全部正整数,由减法封闭性生成全部整数,再由除法封闭性生成全部分数,而全体分数正是 。

3. 本库默认标量域是 ;只在必要时(第 9 章)换到 ,并会明确写出。

验证 是数域(「证明某集合是数域」是标准题型):设 、,。则

对除法用有理化技巧(分子分母同乘 ):

( 时 ,因为 是无理数。)四条封闭,故 是数域。

数域与「线性代数的通用性」

你可能会想:既然 够用了,为什么要学数域?因为第 3 章的向量空间公理正是数域的推广:把「数域的八条运算律」和「向量的八条运算律」抽象出来,就得到了域上的向量空间。届时「标量」可以是有理数、实数、复数,甚至是 上的二元运算(现代密码学与编码理论就工作在这种域上,见 10-5-图形学与密码学 里 RSA 用的模运算思想)。先固定数域再谈运算,才能保证所有定理在任何数域上都成立。

数域的完整讨论见 1-1-向量与线性组合 的 1.6 节(那里还有常见数域与非数域的对照表)。


二、几何直观

2.1 长度是「到原点的距离」

就是从原点到点 的直线距离。两个向量之差的长度给出两点距离:

这个表达式在后面反复出现:最小二乘要最小化 ,正交投影要让 的长度尽量小。

2.2 点积同时测量「长度」与「对齐程度」

把几何定义拆开看:

即:点积 (其中一个向量的长度)(另一个向量在该方向上的投影长度),其中投影长度带符号。

图像描述:从 的终点向 所在直线作垂线,垂足到原点的有向距离就是 。这个数叫 在 方向上的标量投影(scalar projection)。乘上 就得到点积。

于是点积的符号有了清晰的几何含义:

几何图像投影的符号
两箭头大致「同向」投影为正
互相垂直,无分量投影为零
大致「反向」投影为负

为什么点积能判断垂直

,而 ,所以点积为零的唯一可能就是夹角是直角。「正交」这个纯代数条件 完全等价于图形上的垂直,这就是线性代数能用方程描述几何的原因。

2.3 点积的「投影积」图像与矩阵的联系

点积 是最小的矩阵乘法: 乘 得到 。把它想象成:行向量把列向量的分量「加权求和」,权重就是行向量的分量。

如果把 换成单位向量 ,则 ,正好是「 在 方向上的投影长度」,不多不少。这是投影公式的起点:先单位化再点积,就提取出一个分量。

2.4 正交的图形意义:直角三角形

若 ,则 构成一个直角三角形( 与 是两条直角边, 是斜边)。于是勾股定理应当成立:

我们稍后会用点积把这条恒等式证出来(定理 1.7),这是「代数能重现几何」的一个漂亮例子。

2.5 自学导读:为什么这样定义?去掉条件会怎样?

这一节回答零基础读者最该追问的四个「为什么」。读定理之前先读这一节,后面的证明会变得非常自然。

问题一:为什么点积定义成「分量相乘再求和」,而不是「分量相加」或「取最大值」?

因为定义必须同时满足三条要求,而只有「相乘再求和」这一种形式能满足全部三条:

要求含义为什么必须有
对称性夹角不该依赖于「先看谁」, 是对称的
线性性只有线性运算才能与矩阵乘法、消元法兼容
正定性()只有这样 才能当长度

对照检验:若定义成 (分量相加),则 ,非零向量的「长度」变成 ,正定性破产;若定义成 ,则对称性还在,但线性性彻底失效( 不是线性的)。

一句话总结

点积不是「随便定」的,它是唯一同时拥有对称性、线性性、正定性的「分量乘积之和」型运算。第 6 章的正定矩阵(6-4-对称矩阵与正定矩阵)就是把这第三条要求推广到矩阵上:一个矩阵 正定,意思是它诱导的「广义点积」 仍然正定。这个联系是全库最漂亮的伏笔之一。

问题二:长度为什么必须是「平方和开根」?如果去掉开根会怎样?

数学上完全可以定义 (不开根),很多公式里也确实是这么用的。但必须开根才能真正充当「长度」,因为长度必须满足三条:

  1. 正定性:,且 只在 ;
  2. 齐次性:——拉长 倍,长度就是 倍;
  3. 三角不等式:——走折线不比走直线短。

如果不开根,齐次性会变成 ,即「拉长 倍,平方长度变成 倍」。这虽然也是规律,但「长度」这个词就不再对应到原点的欧氏距离了。第 11 章会把这些要求抽象成「范数」的公理化定义,并指出 、、 都是合法的范数(见 11-2-范数与条件数)。

问题三:如果去掉「正定性」这一条,几何会变成什么样?

去掉正定性,就等于允许「非零向量的长度为 」。后果是连锁的:

  • 却 ,于是单位化公式 出现零除;
  • 夹角公式失效: 的分母为零,夹角无定义;
  • 正交不再等价于垂直: 时按定义 ,即「非零向量与自己垂直」,几何直觉彻底崩塌;
  • Cauchy–Schwarz 不再成立,因为它的证明依赖 这个二次式非负。

在相对论里讨论闵可夫斯基时空时,确实会遇到「非正定」的双线性型——此刻「长度」要换成时空间隔,可以取负值,光锥内的向量甚至「长度为零」(类光向量)。这恰好说明正定性不是废话,而是一条必须明说的假设。

问题四:Cauchy–Schwarz 不等式的几何直觉到底是什么?

一句话:投影不会比原向量更长。

把 沿 方向投影,投影长度是 。这个影子绝不会长过 本身,所以

两边同乘 就得到 。所以这条不等式不是技巧,而是「影子不会比人长」这件小事的代数翻译。等号成立意味着影子和人一样长——只有光线与人体平行( 或 ,即两向量共线)时才可能发生。

把三个不等式串成一张图

- Cauchy–Schwarz:影子不超身长 → ;

- 三角不等式:走折线不短于走直线 → ;

- 勾股定理:走直角折线,恰好等于(因为交叉项为零)→ 时取等号。

三者的差别只在于两个方向「对齐」还是「错开」:完全对齐取等号,错开就严格小于,直角时交叉项消失。第 4 章的标准正交基(4-4-标准正交基与Gram-Schmidt)就是把「处处直角」这种最理想的情形用到极致。


三、性质与定理

定理 1.1(点积的运算律)

对任意 与 :

  1. (交换律);
  2. (分配律);
  3. (齐次性);
  4. ,且 (正定性)。

证明(第 2 条为例,其余同理):

用到了实数乘法对加法的分配律与求和的线性。

适用条件:所有向量同属 。注意点积没有结合律: 无意义,因为 已经是数,不能与向量点乘。

定理 1.2(长度由点积导出)

对任意 与 :

  1. ,且 ;
  2. ;
  3. 。

证明:第 3 条就是定义。第 1 条由点积正定性直接得到。第 2 条:

两边开方并注意 ,得 。

注意 而不是 :长度永远非负, 时长度是原来的 倍而不是 倍。这是最容易漏绝对值的地方。

定理 1.3(夹角公式)

设 为非零向量, 为它们的夹角,则

证明:把几何定义 两边同除以正数 即可。

适用条件: 都非零(否则夹角无定义)。这个公式给出了计算任意维数夹角的办法——即使画不出图。

推论:由 立刻得到 ,这就是下一节的 Cauchy–Schwarz 不等式。它说明夹角公式不会给出 的矛盾结果,即代数定义与几何定义是相容的。

定理 1.4(点积—夹角恒等式的证明思路)

这是本篇的核心恒等式,我们给出两条证明路线。

路线一:余弦定理(几何路线)

在由 张成的三角形中,第三边是 。余弦定理给出

另一方面,用点积的运算律把它展开:

两式比较, 同时出现,消去后得

路线二:旋转不变性(代数路线)

在 中,把两个向量同时旋转角度 ,点积不变(因为分量平方和与交叉项在旋转下是正交不变量)。旋转后可以让 落在 轴上,即 、。此时

中先旋转使两向量共面,再在平面内旋转使 沿坐标轴。

两种路线各自的用处

路线一说明「余弦定理就是点积的几何外衣」;路线二说明「点积在旋转下不变」——这条不变性正是第 4 章正交矩阵 保长度的根源,也是第 7 章 SVD 与第 12 章协方差矩阵的前提。

定理 1.5(Cauchy–Schwarz 不等式)

对任意 ,

等号成立当且仅当 与 线性相关(其中一个为零向量,或互为标量倍)。

证明(配方法,最经典的证明):

若 ,则两边都是 ,等号成立且两向量线性相关(),结论成立。

以下设 ,于是 。对任意实数 ,由点积正定性,

展开(用分配律、齐次性、交换律):

这是一个关于 的二次多项式,首项系数 ,且对一切实数 都非负。因此它的判别式不能为正:

即

两边开方(都用非负值)得 。

等号条件: 意味着该二次式有唯一实根 ,即 ,从而 ,两向量线性相关。反之若 ,直接计算

两边相等,等号成立。

适用条件:任意 (乃至任意内积空间)都成立,不要求向量非零。

几何意义:把 的单位化 、 代入,不等式变成

所以 Cauchy–Schwarz 不等式就是「余弦的绝对值不超过 1」。等号成立意味着 或 ,即两向量共线。

定理 1.6(三角不等式)

对任意 ,

等号成立当且仅当其中一个为零向量,或 且 (同向共线)。

证明:

对中间项用 Cauchy–Schwarz:,于是

两边开方即得结论。

等号条件:需要两处同时取等号——一是 ,即点积非负;二是 Cauchy–Schwarz 取等号,即两向量线性相关。合起来就是 且 。

几何意义:三角形两边之和不小于第三边。注意这里的 是「首尾相接」的两段路,走直路不会比绕路更长。

定理 1.7(勾股定理 / 正交的充要条件)

对任意 ,

证明:由展开式

右边的等式成立 。

适用条件:任意维数。这条定理说明「用点积定义的垂直」与「欧氏几何的垂直」完全一致。

定理 1.8(投影的萌芽:一维投影公式)

设 。任意向量 都可以唯一地分解为

其中 称为 在 上的投影(projection)(沿 的分量), 称为误差向量(垂直于 的分量),且 。

证明:先验证垂直:

(用到了齐次性与 。)故 ,两个分量正交。

分解形式显然成立,因为定义 时已经保证了 。

唯一性:若 且 ,两边与 点积得 ,于是 被唯一确定, 随之唯一。

写成单位向量的形式(更常用):令 ,则

读作:「先算出投影长度 ,再沿单位方向 走这么远。」

一维投影矩阵:上式可写成 ,其中

这是第 4 章投影矩阵 在 退化为单个向量时的特例。现在可以验证它的两条标志性性质:

即 (幂等且对称),这正是 4-2-投影与投影矩阵 的核心结论。投影两次与投影一次结果相同:影子再投影还是它自己。


四、计算方法与步骤

4.1 计算长度与单位向量

  1. 求各分量平方和 。
  2. 长度 。若 是完全平方数则取整数,否则保留根号(不要过早取近似值,会损失精度)。
  3. 单位向量 ,即每个分量除以 。
  4. 验算 (有理数情形可精确验算)。

4.2 计算两向量的夹角

  1. 检查两向量是否非零;若有零向量,夹角无定义,直接说明。
  2. 算点积 。
  3. 算两个长度 、。
  4. 代入 。
  5. 由 的值判断象限:正值锐角, 直角,负值钝角。
  6. 需要具体角度时 ,单位是弧度,转成度要乘 。
  7. 验算: 是否满足(不满足说明计算有误,因为 Cauchy–Schwarz 保证了它必然成立)。

4.3 判断正交

  1. 算点积 。
  2. 结果恰为 (有理数情形下应是精确的 ,而不是 ) 正交。
  3. 若用浮点数计算,需要设阈值(如 ),因为 在计算机里可能是 。

4.4 计算投影

  1. 确认投影方向 。
  2. 算 与 。
  3. 系数 。
  4. 投影向量 。
  5. 误差向量 。
  6. 验算:(这一步能挡住绝大多数计算错误)。

4.5 计算两点距离与「最近点」

  1. 距离是对差的长度:;先做减法再求长度,顺序不能反(不过 ,交换是安全的)。
  2. 用点积展开可以少算一次开方:。只需要三个数(两个长度、一个点积)。
  3. 求「直线上离某点最近的点」时,只需投影:,最近距离是 。

用具体数字体会第 2 条的省事:设 、。

笨办法(先减后算):,。

巧办法(用三个数):,,,于是

两种算法结果一致 ✓。当向量维数很高时,「巧办法」能省下大量分量运算——这也是最小二乘里误差能用 与 表达的原因(见 4-3-最小二乘逼近)。

4.6 自学检查清单

合上笔记,试着回答下面八个问题。全部答得出,才算把这一篇读通了。

  1. 为什么长度的定义里必须开平方根?不开根会破坏哪条性质?
  2. 点积的三条要求(对称、线性、正定)各自排除了哪些「看起来也行」的定义?
  3. 若把「正定性」从点积的定义里删掉,夹角公式会发生什么?
  4. Cauchy–Schwarz 不等式用一句话说是什么?(提示:影子不会比人长。)
  5. 三角不等式的等号什么时候成立?为什么 时取不到等号?
  6. 投影公式的分母为什么是 ,而不是 ?
  7. 数域 上, 的长度存在吗?这说明数域对内积理论有什么约束?
  8. 是单位向量。如果把 换成 ,结果还是单位向量吗?(提示:算 。)答:不是,,只有 时才成立。

五、例题

例题 1(长度、单位向量与夹角,完整过程)

题:设 ,。

(1) 求 与 ;(2) 求 方向上的单位向量;(3) 求两向量夹角;(4) 判断是否正交。

解:

(1) 长度。

两者长度都是 。

(2) 单位向量。

验算: ✓

(3) 夹角。 先算点积:

代入夹角公式:

验算: ✓(Cauchy–Schwarz 保证必然如此)。因为 ,夹角是锐角,与点积为正一致。

(4) 正交判定。 ,不正交。

补充:与 正交的向量长什么样

解 。取 得 ,即 ;取 得 ,即 。验证 ✓。所有与 正交的向量构成 中过原点的一张平面(方程 ),这个平面就是 的正交补,第 4 章会把它写成 。

例题 2(投影的完整计算与验证)

题:设 ( 轴方向),。求 在 上的投影 ,验证 ,并给出投影矩阵 。

解:

第 1 步:算点积与自点积。

第 2 步:算系数。

(几何上: 的 分量是 ,而 的长度是 ,故 的 分量是 ,与「投影就是把 分量留下来、 分量丢掉」完全吻合。)

第 3 步:投影向量。

第 4 步:误差向量与垂直验证。

即 , 确实是「影子」。

第 5 步:投影矩阵。 由 :

验证 :

验证 (幂等):

验证 (对称):显然成立 ✓

几何说明:投影到 轴的矩阵就是 ——它保留第一个分量、把第二个分量清零。这是第 4 章「投影矩阵」概念的最简例子。

思考:如果换一个方向

若 ,则 ,,

对 得 。验证几何: 到直线 的垂足确实是 ,因为从 到 的向量 垂直于 (点积 )。✓

例题 3(Cauchy–Schwarz 等号条件的具体验证)

题:对 ,,验证 Cauchy–Schwarz 取等号,并指出它们线性相关。

解:

两边相等,等号成立 ✓。原因是 ,两向量线性相关,夹角 ,。

再检验三角不等式也取等号:

两边相等 ✓,符合定理 1.6 的等号条件(, 同向)。

反例检查

若取 ,则 ,而 ,严格小于,三角不等式取不到等号。原因是 ,方向相反。这正好说明等号条件中 不可省略。


例题 4(三维向量的长度、夹角与正交性判定,完整过程)

题目

设

(1) 求 、、;

(2) 求 、、,判断哪两个向量正交;

(3) 求 与 的夹角 (用反余弦表示,并给出度数近似);

(4) 求 (要求分别用「先加后算长度」与「点积展开」两种方法得到相同结果)。

解:

(1) 各向量的长度。 长度是「各分量平方和开根」:

注意 已经不能再化简( 没有平方因子),保留根号,不要写成 ——过早取近似值会引入不必要的误差。

(2) 三个点积。

读结论:,故 ;,故 。

一个值得注意的现象

同时垂直于 与 ,但 与 不互相垂直()。

这三者的图像是: 是一条「法线」, 与 都躺在一张过原点、以 为法向量的平面上。

这张平面的方程由 给出:

检验: 代入得 ✓; 代入得 ✓。这正是第 4 章正交补(左零空间 )的最简例子,见 4-1-四大子空间的正交性。

(3) 夹角。 代入夹角公式:

所以

双重验证:点积为零 ;与 (2) 中「」的结论完全一致 ✓。

(补充练习) 顺便算一下 与 的夹角,体会「点积为零」的威力:

(再补充) 算 与 的夹角系数(这不是零!因为 仍在平面内,当然与 垂直):

这条验算体现了点积的分配律(定理 1.1 第 2 条):与 垂直的向量全体构成一个子空间,加法封闭。这就是「正交补是子空间」的直观来源。

(4) 两种方法算 。

方法一:先加后算长度。

方法二:用点积展开(不必先求 )。

两法一致 ✓。而且由于 ,这正是勾股定理(定理 1.7)的一个实例:

结论汇总:,,;、;;。


例题 5(四维向量:高维空间中依然能算夹角)

题目

设

(1) 求 与 的夹角;

(2) 求 与 ,并验证平行四边形的两条对角线公式;

(3) 求 在 上的投影 ,验证 。

解:

(1) 夹角。 四维空间画不出图,但公式一字不改。

点积:

长度:

夹角余弦:

所以

这个例子极有教育意义: 与 在四维空间里「看起来毫无关系」(它们的非零分量甚至不在同一位置),但夹角恰好是 。这说明夹角是代数概念,不是视觉概念——只要点积与长度算得出来,夹角就有定义,无论维数多高。这正是高维数据分析(文本向量、图像特征)能使用「余弦相似度」的原因(见 6.2 节)。

(2) 两条对角线与平行四边形公式。

先算和与差:

验证平行四边形公式(两条对角线长度平方之和等于四条边长度平方之和):

这条恒等式为什么必然成立? 把两式展开:

相加时交叉项 恰好抵消,无论 是多少。所以这条公式对任意两个向量都成立,与是否正交无关。

平行四边形公式的用法

已知 、 与 时,可直接反解 ,省去一次分量运算:

这是「用长度算长度」的典型技巧,第 11 章讨论范数时还会用到(见 11-2-范数与条件数)。

(3) 投影与垂直验证。

投影系数的分母是 :

误差向量:

验证 :

顺便验证勾股分解( 时必有 ):

结论:夹角 ;、;,。


例题 6(投影矩阵与最短距离,完整过程)

题目

设 ,。

(1) 求 在 上的投影 与投影矩阵 ;

(2) 求 到直线 的最短距离;

(3) 验证 、,并解释 的秩为什么是 。

解:

(1) 投影与投影矩阵。

先算所需的两个数:

投影系数:

投影向量:

投影矩阵(由 ):

验证 :

几何直观: 在 轴上,直线 与它成 ,所以投影点的两个坐标应当相同。 满足这一点 ✓。用「沿 方向照影子」的图像看:光垂直射向直线 , 的影子落在 ,从 到 的连线方向是 ,确实垂直于 ✓。

(2) 最短距离。 最短距离就是误差向量的长度:

验算 :

为什么这就是最短距离? 设直线上任取一点 ,则距离的平方是

这是关于 的二次函数,开口向上,在顶点处取最小值:

恰好是我们算出的投影系数 ✓。最小值为

即最小距离 ,与直接算 一致 ✓。

这个二次函数就是第 4 章的全部秘密

「在直线上找一点使距离最小」等价于「求二次函数的最小值」。把这一维问题推广到子空间,就是最小二乘的法方程推导(4-3-最小二乘逼近):令导数(即内积)为零,得到的方程正是 。「垂直」这个几何条件与「导数为零」这个分析条件等价,本篇的投影公式同时是两者的解。

(3) 幂等性与对称性。

为什么秩是 ? 因为 的两列都是 的倍数(第二列等于第一列),列空间是一条直线(即 ),维数为 。一般地,投影到由 个向量张成的子空间上的投影矩阵,秩恰好是 。这里 。

一般来说,投影矩阵的秩等于投影目标子空间的维数,这就是投影矩阵的迹也等于 的原因: ✓。迹与秩在投影矩阵上相等,这是第 4 章与第 6 章都会用到的漂亮结论。

投影与反射不要搞混

- 投影:,把向量压到直线上,长度通常会变小( 的秩为 ,信息丢了一维);满足 。

- 反射:,沿直线翻折,长度完全不变;满足 ,但 ,所以反射矩阵不是幂等的。

本例题中 的反射点是 ✓——这正是把 沿 翻折后应得的点(两个坐标交换了)。


例题 7(证明:Cauchy–Schwarz 与等号条件)

题目

设 为 中的非零向量。证明

且等号成立当且仅当 与 线性相关。

证明:

第 1 步:转化为「单位向量的点积不超过 」。 令

(分母非零,因为 。)由点积的齐次性,

于是原不等式等价于

第 2 步:用一个配方式的不等式。 由点积的正定性,对任意实数 ,

第 3 步:展开右端。

(这里用了 ,所以两个「平方项」都是 。)

第 4 步:把 选成点积本身(这是全部技巧的关键一步)。 取 ,则上式变成

第 5 步:读出结论。

代回第 1 步的等式,得 ,即 。

第 6 步:等号条件的证明。

() 设 。直接计算:

两者相等,等号成立。

() 设 。由第 4 步,这等价于 ,即

由点积的正定性(),得

即 是 的标量倍。现在把 、 代回:

右端是一个常数乘以 ,记这个常数为 ,即得 ,两向量线性相关。顺便可以把这个常数算清楚:两边与 点积得 ,故

(这也和投影系数完全一致——等号成立时 恰好落在 所在直线上,投影就是它自己。)

两条证明路线的对比

路线 A(判别式法):构造二次式 ,用「非负二次式判别式 」得结论。优点是不需要单位化,且等号条件自动由「判别式为零 有重根」给出(本篇定理 1.5 用的就是这条路)。

路线 B(本例题):先单位化,再人为选取 使配方式最紧。优点是短,且揭示了本质:不等式只是「把二次式配成完全平方后剩余的非负项」。

两条路线都要会。考试中如果题目已经给出「」,直接用路线 B 最快。


例题 8(证明:正交向量组的线性无关性与勾股定理的推广)

题目

设 两两正交且都非零。证明:

(1) 它们线性无关;

(2) 。

证明:

(1) 线性无关。 设存在系数 使

第 1 步:两边与 做点积。 由点积的分配律与齐次性,

第 2 步:用两两正交的条件。 因为 对一切 成立,所以和式里只剩 一项:

第 3 步:用非零条件。 因为 ,故 ,于是 。

第 4 步:对每个 重复同样的操作。 把 两边分别与 做点积,得到

第 5 步:结论。 唯一使 成立的系数组合是 ,故 线性无关。

(2) 勾股定理的推广。 记 ,则

第 1 步:展开成双重和。

(这一步用的是「乘积与求和的相容性」:先把两个和各自展开再相乘,共得到 项。)

第 2 步:按 与 拆开。

第 3 步:交叉项全为零。 由两两正交, 时 ,故第二个和为零,得

当 时,这正是定理 1.7 的勾股定理。所以本结论可以读作:「勾股定理」在任意多个两两垂直的方向上都成立—— 维空间里把它用 次,就得到 (取 ,各 两两正交),即长度的定义本身。

这两条结论的用途

1. 线性无关性(第 1 条)是标准正交基理论的基石:Gram–Schmidt 正交化的每一步都产出一组正交向量,因此自动线性无关,可以直接当基使用。见 4-4-标准正交基与Gram-Schmidt。

2. 勾股分解(第 2 条)是能量守恒的代数形式:一组正交信号的总能量等于各分量能量之和,叠加时互不干扰。这正是正交频分复用(OFDM)与正交变换(傅里叶、小波)能无损压缩与可靠传输的原理,见 6.4 节与 9-3-快速傅里叶变换FFT。

3. 两条结论合起来还说明:「正交」是一个比「线性无关」更强的条件——正交必无关,无关未必正交。 与 线性无关但不正交。


六、应用

6.1 相关系数:统计学中的「余弦」

两个变量的样本数据是中心化后的向量 。Pearson 相关系数

就是两个数据向量的夹角余弦。 表示完全正相关(同向), 表示不相关(正交), 表示完全负相关(反向)。Cauchy–Schwarz 不等式正是「相关系数绝对值不超过 1」的数学根据,这个结论在第 12 章协方差矩阵中会重新出现。

6.2 余弦相似度与文本检索

把文档表示成词频向量 (词表有多长,维数就有多大,通常是几万维)。检索系统用

衡量相似度。为什么用余弦而不用欧氏距离? 因为余弦对向量长度不敏感:一篇长文与一篇短文谈同一主题时,方向相同而长度不同,余弦相似度仍然接近 。

6.3 最小二乘与投影(第 4 章的预告)

给定 个数据点,想拟合直线 。把预测写成 ,误差向量是 。最小二乘的做法是让误差向量垂直于 的列空间:

这正是本篇定理 1.8(误差垂直于投影方向)在子空间上的推广。「垂直」这个几何条件的代数形式就是「点积为零」,所以第 4 章的全部公式都始于本篇定义的点积。

6.4 图像与信号处理中的「能量」

把信号看成 中的向量,其能量定义为 (离散版)。两个信号正交意味着它们的互相关为零,可以互不干扰地叠加传输——这是正交频分复用(OFDM)与压缩感知的基础。

6.5 计算工具

import numpy as np

v = np.array([1.0, 2.0, 2.0])
w = np.array([2.0, -1.0, 2.0])

print(np.linalg.norm(v))                    # 3.0     长度
print(np.dot(v, w))                         # 4.0     点积
cos_t = np.dot(v, w) / (np.linalg.norm(v) * np.linalg.norm(w))
print(cos_t, np.degrees(np.arccos(cos_t)))  # 0.4444  63.61

# 投影:p = (v·w / v·v) v
p = (np.dot(v, w) / np.dot(v, v)) * v
print(p)                                    # [0.4444 0.8889 0.8889]
print(np.dot(v, w - p))                     # 0.0  —— 误差与 v 正交,验算通过

用 @ 代替 np.dot

NumPy 从 1.10 起支持 @ 运算符表示矩阵乘法,对两个一维数组它就是点积,即 v @ w == np.dot(v, w)。写公式时 与代码里 v @ w 一一对应。

低维与高维的算力差异:本篇的所有量都能一行代码算完,但当维数从 涨到 时,算法的组织方式必须改变。两个高维向量的点积是 的,可接受;但 个数据点两两算距离是 ,会瞬间爆掉内存。第 11 章的数值方法(11-3-迭代方法与预条件)与第 7 章的降维(7-3-主成分分析PCA)都是为这个问题服务的。

import numpy as np

# 高维向量的点积与余弦相似度(与低维公式完全相同)
rng = np.random.default_rng(0)
a = rng.normal(size=1_000_000)
b = rng.normal(size=1_000_000)
print(np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)))   # 接近 0,随机高维向量几乎正交

# 距离公式与「点积展开」的互相验算
v = np.array([1.0, -3.0, 4.0])
w = np.array([2.0, 2.0, 1.0])
print(np.linalg.norm(v - w))                                    # sqrt(20)
print(np.sqrt(np.dot(v, v) - 2 * np.dot(v, w) + np.dot(w, w)))  # 相同

# 误差向量与投影方向的垂直性:数值上应是 ~1e-16 而不是精确的 0
p = (np.dot(v, w) / np.dot(v, v)) * v
print(abs(np.dot(v, w - p)) < 1e-12)                            # True —— 要用阈值判断

6.6 加权最小二乘:当点积带上权重

普通投影把每个方向看得同等重要。若数据点有不同可信度(方差不同),就要给每个分量配一个权重 ,用加权内积

代替原来的点积。所有结论(正交、投影、最小二乘)都逐字照搬,只需把 换成 。法方程随之变成

为什么能照搬? 因为 的对角元全为正时,(),正定性依然成立。这正是本篇 2.5 节强调「正定性不可去掉」的实际回报:只要正定性在,长度、夹角、投影的全套理论就自动成立。详见 12-3-多元高斯与加权最小二乘。

6.7 相关性矩阵与「几乎正交」

把 个样本、 个特征的数据矩阵中心化后记作 (),则特征之间的样本协方差矩阵是

观察 的形状:它正是第 列与第 列的点积(除以 )。所以

  • 的非对角元小 两个特征近似正交 两个特征近似不相关;
  • 是对称矩阵,因为点积满足交换律(定理 1.1 第 1 条);
  • 是半正定的,因为对任意 ,——这正是点积正定性在矩阵层面的推广。

整个第 12 章(12-2-协方差矩阵)与 PCA(7-3-主成分分析PCA)都建立在这三个观察上。本篇的点积,就是协方差矩阵的元素。


七、易错点

本篇八个高频错误

1. 忘记 中的绝对值。 时长度扩大 倍,不是 倍;长度永远非负。

2. 把点积写成向量的分量形式后又当成向量用。 是数,不能继续与向量作点积。 是错误表达式。

3. 认为 就意味着有一个是零向量。两个非零向量也可以垂直,例如 与 。

4. 用 的近似值直接报角度而不检查范围。计算机算出的 可能是 (浮点误差),此时 会返回 nan。工程上必须先把值截断到 。

5. 投影公式的分母写成 而不是 。正确系数是 ;若用单位向量 写则是 。写成 会多乘一个 。

6. 把投影与反射搞混。投影 把 压到直线上;反射是 ,它保持长度不变。两者的矩阵完全不同(反射矩阵不是幂等的,但它满足 )。

7. 以为「正交」只对二维三维有意义。 中两个向量正交是指它们的点积为零,无法画出图,但代数上完全合法——这正是高维数据分析的基础。

8. 在公式中写中文或使用 \bm。本库统一用 \mathbf{} 表示粗体向量;公式内不出现中文。


八、练习题

基础题 1 设 ,。求 、、、 与 的夹角,并判断它们是否正交。

基础题 2 求 方向上的单位向量,并求与 正交的一个非零向量。

进阶题 3 设 满足 ,,。

(1) 求 ;

(2) 求 ;

(3) 解释为什么 (1)、(2) 的结果都满足三角不等式。

进阶题 4 求 在 上的投影 、误差向量 ,验证 ,并写出对应的投影矩阵 (验证 )。

思考题 5 用 Cauchy–Schwarz 不等式证明:对任意正数 ,

(提示:取 ,,注意 。)

思考题 6 设 两两正交且都非零。证明它们线性无关。

(提示:设 ,两边与 点积,利用正交条件得 。)

八·补、增补练习(国内考试风格的数值计算与证明)

使用建议

B1–B6 是纯数值计算,必须动笔算到底,不要只看思路;B7–B10 是证明与讨论,对应考试大题。括号里给出答案要点,先自己做再看。

B1(长度与单位向量) 设 ,,。

(1) 求 、、;

(2) 求 方向上的单位向量;

(3) 判断 与 是否正交。

(要点:(1) 、、;(2) ;(3) ,不正交。)

B2(夹角计算) 设 ,。求 与 的夹角。

(要点:,所以夹角是 。注意这里出现了无理数分量,但点积恰好为零——先算点积再决定要不要算长度能省事。)

B3(点积方程) 求 的值,使得 与 正交。

(要点:。)

B4(投影与最短距离) 设 ,。

(1) 求 在 上的投影 与误差 ;

(2) 求 到直线 的距离;

(3) 写出投影矩阵 并验证 。

(要点:,,系数 ,;,;

, ✓,且 。)

B5(三角形的角与面积) 已知三点 、、。

(1) 判断 是否为直角三角形;

(2) 求 与 的夹角;

(3) 求 的面积。

(要点:(1) ,是直角三角形,直角在 ;(2) ;(3) 两条直角边长都是 ,面积 。)

B6(用长度算长度) 设 、、。求:

(1) ;(2) ;(3) ;(4) 与 夹角的余弦。

(要点:(1) ;(2) ;

(3) ,故为 ;(4) 。)

B7(证明:柯西不等式的向量证法) 用 Cauchy–Schwarz 不等式证明:对任意实数 ,

(提示:取 ,,代入 并平方。等号成立当且仅当所有 相等。)

B8(证明:均值不等式) 设 。用 Cauchy–Schwarz 不等式证明 。

(提示:取 、,则 ,,代入得 。)

B9(证明:投影分解的唯一性) 设 。证明:若 且 、,则 且 。

(提示:两式相减得 ;两边与 点积,利用 得 ,故 ,再得 。)

B10(讨论:数域的影响) 在 上讨论 与 。

(1) 它们的点积属于 吗?

(2) 它们的长度属于 吗?

(3) 它们的夹角余弦属于 吗?

(4) 由 (1)(2)(3) 说明:在 上能不能建立一套完整的「长度—夹角」理论?

(要点:(1) 是,;(2) 不是,都是 ;(3) 是,;(4) 长度不一定落在 内,所以 上不能定义欧氏长度,需要扩域到 ,或改用「长度平方」这一代数量。这就是本篇 1.6 节强调数域的原因。)


九、常见问题 FAQ

Q1:点积为什么有两种定义?会不会互相矛盾?

两种定义一个是代数式 ,一个是几何式 ,定理 1.4 证明了它们恒等,所以不矛盾,而是同一个量的两种描述。实践中:算数值用代数式,想几何用几何式。另外,几何式本质上依赖于「欧氏几何的余弦定理」,而代数式在任意 中都直接可算——所以严格的做法是先定义代数式,再用它定义高维空间的夹角。

Q2: 维向量的「夹角」真的有几何意义吗?

夹角公式 在任意维数都给出一个 内的数(Cauchy–Schwarz 保证),我们把它定义为 维空间中两向量的夹角。它不是「看得见的角度」,但它保留了二维三维中夹角的一切代数性质(正交、锐角、钝角、相关系数)。数据科学中的「余弦相似度」正是这样使用的。

Q3:为什么投影公式的分子是点积、分母是自点积?

因为要把 沿 缩放到合适的倍数 。要求误差 与 垂直,即

「垂直」这个要求是唯一的原因,而它给出的正是这个公式。若 已经是单位向量,则 ,公式简化为 ——这也是为什么 Gram–Schmidt 正交化(4-4-标准正交基与Gram-Schmidt)总是先单位化。

Q4:零向量与「垂直」的关系为什么特殊?

因为 对一切 成立,所以按定义零向量与所有向量正交。但零向量没有方向,说它「垂直」于某方向没有几何意义。因此约定:正交性讨论中默认向量非零;单位化、投影、夹角都要求非零向量。这一点在写代码时尤其重要——np.linalg.norm(v) 返回 时归一化会产生 nan 或除零警告。

Q5:为什么正定性这条要求不能删?删了会怎样?

删掉正定性,就等于允许「非零向量长度为 」。后果是连锁的:单位化公式出现零除;夹角公式的分母为零,夹角无定义; 会让「非零向量与自己垂直」,正交的几何含义崩塌;Cauchy–Schwarz 的证明(依赖 )也随之失效。正定性是「长度」这个词能够存在的前提,所以它不是多余的技术条件。详细讨论见本篇 2.5 节「问题三」。

Q6:点积、内积、数量积、标量积是同一个东西吗?

在本库讨论实向量的语境里,它们指同一件事:。术语差异来自不同教材传统:

说法常见出处备注
数量积 / 内积国内教材(同济版)「数量积」强调结果是数量
dot product英文教材(Strang)因为有「点」号
inner product泛函分析与抽象代数最一般的名字,可带权重或复共轭
scalar product物理学与「向量积 / 叉积」相对

换成复向量时必须注意:内积要改成 (带共轭),否则 可能是负数,正定性破产。详见 9-1-复数与复向量。

Q7:投影公式里为什么要用 而不是 ?两者量纲一样吗?

量纲不同: 是长度的一次方, 是长度的平方。看投影系数的量纲就更清楚——分子与分母都是「长度的平方」,所以

是一个无量纲的数,而 是「无量纲数乘长度」,量纲正确。如果误写成 ,系数就带上了「长度」量纲,结果会多乘一个 。用「量纲检查」可以发现绝大多数公式抄写错误。 用单位向量写时,公式是 ,其中 的量纲正好是长度,也自洽。

Q8:数值计算里 算出 怎么办?

先截断(clip)到 再调用反余弦:

import numpy as np
c = np.dot(v, w) / (np.linalg.norm(v) * np.linalg.norm(w))
c = float(np.clip(c, -1.0, 1.0))     # 关键一步
theta = np.degrees(np.arccos(c))

不截断的话 np.arccos(1.0000000001) 会返回 nan 并给出 RuntimeWarning。截断是完全合法的,因为 Cauchy–Schwarz 保证真值一定在 内,超出的部分纯粹是浮点误差。这类「用数学定理给数值结果做兜底」的手法在第 11 章会反复出现(11-1-数值稳定性与LU)。


本篇小结

全篇核心结论

一句话:点积用一个数同时编码了长度与夹角,;由它派生出正交、投影与一整套不等式。

七个必须记住的结论

  1. 长度:,满足正定、齐次()、三角不等式。
  2. 单位化: 与 同向且长度为 ;任何向量可唯一分解为「长度 方向」。
  3. 点积的双重身份:代数式 与几何式 恒等(定理 1.4)。
  4. 夹角公式:,对任意维数都成立。
  5. 正交判据:;由此得到勾股定理 。
  6. 三个不等式:Cauchy–Schwarz(影子不超身长)、三角不等式(折线不短于直线)、勾股(直角时交叉项消失)。前两个的等号条件分别是「线性相关」与「同向共线」。
  7. 一维投影:,误差 ;投影矩阵 满足 。

最容易混淆的六组概念

容易混的两件事区别在哪里典型反例
的值带不带绝对值长度必须非负, 时
点积与点积的平方 是平方,不是长度:,
投影与反射投影降维(),反射保长度() 投到 得 ,反射得
「正交」与「线性无关」正交必无关,无关未必正交 与 无关但不正交
投影系数分母取 还是 前者的量纲是长度平方,后者是长度写成 会多乘一个
零向量「与一切向量正交」与「零向量有方向」前者是代数约定,后者是错的零向量没有方向,不能单位化

四个高频易错点(详细版见前面的 [!warning])

  1. 忘记 中的绝对值。
  2. 写出 这种非法表达式——点积没有结合律,因为结果已是数。
  3. 认为 就意味着有一个是零向量。
  4. 用不截断的 直接调 ,得到 nan。

通往后面章节的六个接口

本篇概念在哪里被升级升级成什么
正交[[4-1-四大子空间的正交性]]正交补、
一维投影公式[[4-2-投影与投影矩阵]],
误差向量垂直于投影方向[[4-3-最小二乘逼近]]法方程
正交向量组线性无关[[4-4-标准正交基与Gram-Schmidt]]标准正交基、
点积 [[12-2-协方差矩阵]]协方差矩阵的元素、半正定性
长度与不等式[[11-2-范数与条件数]]向量范数、矩阵范数、条件数

相关笔记

  • 1-1-向量与线性组合 — 向量运算与线性组合,点积的初步定义
  • 1-3-矩阵入门 — 点积 与矩阵乘法的四种理解
  • 3-5-四大子空间的维数 — 正交补 与「法向量」的联系
  • 4-1-四大子空间的正交性 — 本篇的正交概念升级为子空间之间的正交
  • 4-2-投影与投影矩阵 — 本篇一维投影公式推广到子空间,
  • 4-3-最小二乘逼近 — 用「误差垂直于列空间」导出法方程
  • 4-4-标准正交基与Gram-Schmidt — 用投影逐次正交化,
  • 6-4-对称矩阵与正定矩阵 — 「正定性」这条要求从点积推广到矩阵
  • 9-1-复数与复向量 — 换成复向量后内积为什么要加共轭
  • 9-3-快速傅里叶变换FFT — 正交函数系与能量守恒
  • 11-2-范数与条件数 — 长度概念的推广:向量范数与矩阵范数
  • 12-2-协方差矩阵 — 协方差矩阵的元素就是本篇的点积
  • 12-3-多元高斯与加权最小二乘 — 带权内积与马氏距离
  • 关于本笔记库 — 本库的符号约定与写作规范

参考来源

  • Gilbert Strang, Introduction to Linear Algebra, 5th Edition, Wellesley–Cambridge Press, 2016,第 1 章 §1.2「Lengths and Dot Products」、§1.3「Matrices」(教材本身,无 URL)
  • 同济大学数学系,《线性代数》第七版,高等教育出版社,第五章 §5.2「方阵的特征值与特征向量」之前的内积与正交部分
  • MIT OpenCourseWare 18.06 Linear Algebra, Spring 2010(Lecture 1: The Geometry of Linear Equations;Lecture 14: Orthogonal Vectors and Subspaces)— https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
  • Gilbert Strang 主页与教材配套网站 — https://math.mit.edu/~gs/linearalgebra/
  • Wolfram MathWorld, "Dot Product"(点积的几何定义、标量投影与向量投影公式)— https://mathworld.wolfram.com/DotProduct.html
  • Wolfram MathWorld, "Schwarz's Inequality"(Cauchy–Schwarz 不等式的积分形式与推导)— https://mathworld.wolfram.com/SchwarzsInequality.html
  • NumPy 官方文档 numpy.dot(一维数组即内积,二维数组即矩阵乘法)— https://numpy.org/doc/stable/reference/generated/numpy.dot.html