Stage 3 — 向量空间与四个基本子空间 (Vector Spaces & the Four Fundamental Subspaces)

这个 Stage 你将学到什么

这是整门课从”算”到”想”的分水岭。前两个 Stage 你在解方程、做消元;这里你要学会用”空间”的语言重新理解你一直在做的事。读完你应该能:

  • 说清向量空间 (vector space)子空间 (subspace)到底是什么、为什么要这么抽象”;
  • 把 Stage 1 埋的张成 (span)线性无关 (linear independence) 正式化,并理解基 (basis)维数 (dimension) 的本质;
  • 掌握 Strang 的招牌——四个基本子空间(列空间、零空间、行空间、左零空间),知道每一个”装的是什么、回答什么问题、怎么算”;
  • 理解秩 (rank)秩–零化度定理 (Rank–Nullity Theorem),并用它们一眼看穿 何时可解、解有多少。

怎么读这份讲义(重要)

这一阶段概念多、抽象,是很多人觉得线代”突然变难”的地方,也是 21-241 开始密集要求写证明的地方。所以我给每个新词都配了”是什么(本质)→ 为什么存在(动机)→ 怎么用/算”三段——别跳过”为什么”,那才是理解的关键

  • ★ = 必须吃透;➕ = 拓展。
  • > [!question] 自测题答案可折叠。
  • 本讲义的北极星:一切都围绕一句话——” 各列的线性组合”(Stage 1 那句)。四个子空间,不过是把这句话里外看四遍

0. 先建立心态:为什么要从”矩阵”升级到”空间”?

前两个 Stage,矩阵对你来说是”一张数表 + 一套消元手续”。但这样看,你只会,不会——你能解出 ,却答不出”它为什么有解 / 无解 / 无穷多解”。

Stage 3 换一个视角:把矩阵看成一个”把向量搬来搬去”的机器,然后研究这台机器的几何行为——它能把输入搬到哪些地方(列空间)?哪些输入被它压成了零(零空间)?一旦你会用”空间”描述这些,前面所有关于”解的个数”的问题,答案都变得一目了然

贯穿全篇的元洞察

的一切,都能翻译成两个子空间的问题:

  • 有没有解” = ” 在不在 能到达的地方(列空间)里”;
  • 解唯不唯一” = ” 有没有把非零向量压成零(零空间大不大)”。
    把这两句话吃透,Stage 3 就通了一大半。

1. 向量空间与子空间 (Vector Spaces & Subspaces)

1.1 什么是向量空间 (Vector Space) ★

是什么(本质):向量空间就是一个”能做加法和数乘、并且这两种操作规规矩矩”的集合。“规规矩矩”指满足 8 条自然规则(加法交换、结合、有零向量、有相反数;数乘的分配律、结合律、 等)。你不用背这 8 条——它们全都是”你早就默认成立”的性质。

为什么存在(动机):这才是关键。数学家发现,很多看起来毫不相干的东西,都满足这同一套规则:

  • 里的箭头向量;
  • 所有 矩阵;
  • 所有次数 的多项式;
  • 所有连续函数……

既然它们结构相同,那只要对”抽象的向量空间”证明一个定理,这个定理就对上面所有东西同时成立——一次证明,处处适用。这就是抽象的威力:用一套语言统一一大类对象,避免对每种东西重复劳动。

为什么要抽象成公理

不是数学家喜欢故弄玄虚。抽象 = 提取共性 + 一次性证明。你在 里学到的”基、维数、线性无关”,一字不改就能用到多项式、矩阵、函数上——因为它们都是向量空间。这种”降维打击”式的复用,是线代能横扫 ML / 图形学 / 微分方程的根本原因。

对你(竞赛/CS 背景)的类比

像面向对象里的”接口 (interface)“:只要一个类实现了 VectorSpace 接口(加法 + 数乘 + 8 条规则),它就能用所有”针对该接口写的算法”。、多项式、矩阵都是这个接口的不同”实现”。

1.2 什么是子空间 (Subspace) ★

是什么(本质):子空间是”一个向量空间里面,那些自己也构成向量空间的子集”。直观说,是过原点的”平的”一块——直线、平面、以及高维的推广。

为什么存在(动机):因为我们真正关心的对象(列空间、零空间……)都不是”整个 “,而是它里面某一片有结构的区域。子空间就是描述这些区域的工具。

怎么用(判定):一个子集 是子空间,当且仅当满足三条(合称”对线性运算封闭”):

  1. 含零向量:;
  2. 对加法封闭:;
  3. 对数乘封闭:

最常见的判定坑:必须过原点

“不过原点”的东西不是子空间。比如平面上直线 :取原点 ,,不含零向量,直接出局。而 (过原点的直线)子空间。
一句话检验:先看含不含 ——不含,立刻不是子空间,秒杀。

例:判定两条直线

命题: 是子空间; 不是。
证明: 不含 (),违反第 1 条,故不是子空间。;若 (即两坐标和为 0),则其和的坐标和 ,数乘 坐标和 ,三条全过。

本质:子空间是”过原点、且怎么加怎么缩放都跑不出去”的一片区域。


2. 张成、线性无关、基、维数 (Span, Independence, Basis, Dimension)

这四个词是描述”一个子空间有多大、用几个向量能撑起它”的核心工具。Stage 1 预览过前两个,这里正式化并补齐后两个。

2.1 张成 (Span) ★

是什么:一组向量 的张成,是它们所有线性组合构成的集合:

为什么存在(动机):它回答”用这几个向量,能够到哪些点?”张成永远是一个子空间(线性组合的全体自动含 0、对加法和数乘封闭)——所以”张成”是制造子空间最直接的方式。

怎么用:几何上,一个非零向量张成一条过原点的直线;两个不平行向量张成一个过原点的平面;等等。"" 就是” 能被这些向量组合出来”。

2.2 线性无关 (Linear Independence) ★

是什么:一组向量线性无关,指没有任何一个能被其它几个的线性组合表示——每个向量都提供”新方向”,没有冗余。等价的严格定义:

(即:凑出零向量的唯一办法是系数全取 0。)

为什么存在(动机):因为我们想用**“最少、不浪费”的向量去撑起一个空间。如果一组向量线性相关**(有冗余),那里面有”多余的”向量,去掉它张成不变。线性无关正是”没有一个是多余的”的精确说法。

怎么用 / 怎么判定:把向量排成矩阵的列,做消元——若每列都有主元,则线性无关;若有自由列(无主元),则相关(自由列对应的向量是多余的)。

例:判定线性无关

。注意
命题:它们线性相关
证明:,系数 不全为 0,故存在非平凡组合等于零,线性相关。

本质: 是多余的(它=前两个之和),提供不了新方向。

2.3 基 (Basis) ★★

是什么(本质):一个子空间的基,是一组”既够用又不浪费”的向量——线性无关(不浪费)+ 张成整个空间(够用)。它是”用最少的向量精确撑起这个空间”的一套坐标轴。

为什么存在(动机):因为基给了子空间一套坐标系——空间里每个向量都能被基唯一地线性组合出来。一旦选定基,抽象的向量就变成了一串具体的坐标数字,可以计算。基是”把几何变成算术”的桥。

怎么用:基不唯一(一个空间有很多组基),但基的向量个数是固定的——这个固定的数就是维数(见 2.4)。求一个子空间的基,通常靠消元:化到 RREF,主元列/非零行给出基。

基的两个等价刻画(记住)

一组向量是基 它是**“极大线性无关组”(再加任何向量就相关) 它是”极小张成组”(去掉任何一个就撑不满)。“够用的最少” = “不浪费的最多”**,同一枚硬币的两面。

2.4 维数 (Dimension) ★

是什么(本质):一个子空间的维数,是它任意一组基里向量的个数。这个数与选哪组基无关(是空间的内在属性)——所以它精确刻画了”这个空间有多大 / 有几个独立方向”。

为什么存在(动机):维数是子空间最重要的不变量 (invariant)——一个不随坐标、不随基改变的数。它让我们能说”这是一条线(1 维)""这是一个平面(2 维)“,并让”秩–零化度定理”这类维数等式成为可能。

怎么用:,,,。求维数 = 求一组基、数个数。

为什么"维数与基无关"是个定理(不是显然)

不同的人可能选出不同的基,凭什么它们个数一样?这需要证明(核心引理:在 维空间里,任何 个向量必线性相关)。这个”个数唯一”正是维数能成为可靠标尺的原因——21-241 可能会考这条的证明或应用。


3. 四个基本子空间 (The Four Fundamental Subspaces) ★★ Strang 的招牌

现在进入 Strang 教学的灵魂。给定一个 矩阵 ,它天然带出四个子空间。它们不是随意定义的,而是” 这件事里外看四遍”的产物。我用一个例子贯穿始终。

贯穿例子(下面四节都用它)


主元在第 1、3 列;自由列是第 2、4 列;(下一节讲秩)。注意 的第 3 行 = 第 1 行 + 第 2 行(等下有用)。

3.1 列空间 (Column Space)

是什么: 所有列的张成,记 。它是 的子空间( = 行数)。

为什么存在 / 回答什么问题:回忆” = 各列的线性组合”——所以 恰好是” 能取到的所有向量”,也就是”这台机器 能把输入搬到的全部落点”。于是:

这就是”何时有解”的终极答案。

怎么算(求基):化 到 RREF,找主元所在的列;这些列在原矩阵 里对应的列,就是 的一组基。

例子:主元在第 1、3 列 → 的基 = 的第 1、3 列 =

易错:基要取"原 的列",不是 RREF 的列

RREF 只用来定位哪些列是主元列;基本身要回到原始 去取对应列(RREF 的列已经被行变换改过,不再是原来的向量了)。

3.2 零空间 (Null Space)

是什么:所有被 压成零的向量,。它是 的子空间( = 列数)。

为什么存在 / 回答什么问题: 回答”解唯不唯一”。如果 是一个解,那么对任意 , 也是解。所以:

越大,解的”自由度”越多。全部解 = 一个特解 + 整个零空间(通解结构)。

怎么算(求基):化到 RREF,写出自由变量,每个自由变量取 1(其余取 0)解一次,得到零空间的一组基向量。

例子:自由变量 。由 RREF:

  • :;:
  • ,

3.3 行空间 (Row Space)

是什么: 所有的张成(等价地, 的列空间),记 。它是 的子空间。

为什么存在 / 回答什么问题:行空间装的是” 的各行(各个方程的系数向量)能张成的方向”。一个关键事实:行变换不改变行空间(倍加/数乘/换行都只是把行重新组合,张成不变)。所以 RREF 的非零行和原矩阵张成同一个行空间。它和零空间”正交互补”(Stage 4 会讲清)。

怎么算(求基):化到 RREF,非零行直接就是行空间的一组基(它们天然线性无关)。

例子:,

一个惊人的事实:行秩 = 列秩

——列空间和行空间维数总是相等! 虽然一个在 、一个在 ,长得完全不同,维数却锁定相等。这个公共的数就是(下一节)。例子里两者都是 2。

3.4 左零空间 (Left Null Space)

是什么:满足 的所有 ,等价地 (所以叫”左”零空间—— 从左边乘 得零)。它是 的子空间。

为什么存在 / 回答什么问题:它装的是” 的各行之间的线性依赖关系”。 说的是” 的分量作系数,把 的各行组合起来得零”——也就是找出行与行之间怎么相互抵消。它和列空间正交互补(Stage 4)。

怎么算(求基):对 求零空间;或找出 RREF 里那些”变成全 0 的行”是由原来哪些行怎么组合来的。

例子: 第 3 行 = 第 1 行 + 第 2 行,即 ,故
,

四个子空间一览(例子)

子空间记号装什么住在哪一组基(例子)维数
列空间 的落点2
零空间被压成零的 2
行空间各行张成的方向2
左零空间行间抵消关系1

4. 秩与秩–零化度定理 (Rank & the Rank–Nullity Theorem) ★★

4.1 秩 (Rank) ★

是什么(本质):秩就是主元的个数,也等于 (列空间维数 = 行空间维数)。直观说,秩是”真正独立的行(或列)有几个”——是这台机器”有效维度”。

为什么存在(动机):秩是一个矩阵最重要的单个数字。它一口气告诉你:有几个独立方程、列空间多大、机器把 维输入压成了几维输出。几乎所有关于”解的结构”的问题,答案都写在秩里。

怎么算:消元,数主元个数。

例子:主元在第 1、3 列 → 秩

4.2 零化度 (Nullity) 与定理 ★

是什么:零化度 = = 自由变量的个数 = 没有主元的列数。

★ 秩–零化度定理 (Rank–Nullity Theorem):对 ,

为什么成立(直觉): 个列变量,每一列要么有主元(贡献秩),要么没主元(是自由变量,贡献零化度)——非此即彼、不重不漏。所以两者之和 = 总列数

例子:,自由变量 2 个, ✓。

四个子空间的维数,一张图记住

设秩 ,矩阵 :

两个”秩空间”维数都是 ;两个”零空间”维数分别用 例子:,和上表完全对上。

4.3 用秩一眼看穿解的结构 ★

把秩和 Stage 2 的”三种情况”接起来,你会发现之前的判据现在有了统一解释:

情形秩的条件子空间语言
有解落在列空间里
解唯一(无自由列)
无穷多解有解 且 有解 且
方阵 可逆(满秩)四个子空间”该满的满、该零的零”

回填 Stage 2 的"可逆矩阵定理"

Stage 2 里那串等价条件,现在能补上几条了: 可逆 (满秩) 列线性无关 列张成 “满秩”是把这些串起来的关键词。


5. 拓展 (Extensions) ➕

5.1 基变换的预览 (Change of Basis) ➕

同一个向量,在不同的基下有不同的坐标。“基变换”研究”换一套坐标轴,坐标怎么变、矩阵怎么变”——这是 Stage 7 的主题。现在只需知道:基不唯一,但换基是可逆的线性操作,由一个可逆矩阵实现。

5.2 四子空间与”正交” ➕(Stage 4 预告)

四个子空间两两之间有优美的正交关系:行空间 零空间(都在 ),列空间 左零空间(都在 )。这是 Strang”四子空间大图”的完整形态,Stage 4(正交性)会讲透。现在记住:零空间正好”垂直”于行空间——这解释了为什么零空间的向量和每一行都点积为 0( 的每一行就是”某行 ”)。

5.3 ➕ 秩与数据(呼应你的数据科学)

在数据里,一个矩阵的秩 ≈ “数据里真正独立的信息维度”。低秩 (low rank) 意味着数据高度冗余、可压缩——这正是推荐系统、图像压缩、PCA(Stage 7)的核心思想:用低秩近似把高维数据压到少数几个”主方向”上。你现在学的”秩”,就是这一切的起点。


6. 例题精讲 (Worked Examples)

例 1 — 判定子空间

: 是子空间吗?
:含 ()✓。设 (各自满足方程),则 的坐标代入 ✓; 代入 ✓。三条全过,是子空间(它是过原点的一个平面,)。

例 2 — 求列空间与零空间的基

:,求 的基与维数。
:RREF:。主元在第 1 列,秩

  • :取原 的第 1 列 ,。(几何:所有列都在 方向上。)
  • :自由变量 ;。基 ,
  • 验证秩–零化度: ✓。

例 3 — 线性无关的证明

:证明 线性无关。
证明:设 。按分量:第 3 个分量给 ;第 2 个给 ;第 1 个给 。系数必全 0,故线性无关。

套路:凑零向量 → 逐分量解 → 若逼出系数全 0,即无关。这是判定无关最直接的证明写法。

例 4 — 用秩判解的结构

:、秩 的矩阵。 的解有什么结构?
:,所以若有解则无穷多(2 个自由度)。又 ,即列空间 = 整个 ,故对每个 都有解。结论:对任意 ,解集是”一个特解 + 一个 2 维零空间”,即无穷多解。


7. 衔接 21-241 + 自测

7.1 这部分在 21-241 的考点

  • 计算:求四个子空间的基与维数、求秩、验秩–零化度。这些是 HW 主力。
  • 证明(拉分):证”某集合是/不是子空间”、证”某组向量线性无关/是基”、证”行秩=列秩”或秩–零化度的应用、以及从抽象定义出发的小证明(如”子空间的交仍是子空间”)。
  • 概念: 可解性与 、解唯一性与 的联系——常以”给定秩,描述解结构”的形式考。

针对你的老毛病(来自前几次批改)

(1) 证子空间别偷懒:三条(含 0、加法封闭、数乘封闭)要逐条写全,尤其”含 “这条最容易漏(而它往往是秒杀不合格例子的关键)。(2) 别过度复杂化:判子空间就用那三条,别搬更重的机器。(3) 自查:求完基,验一下秩–零化度 对不对,能当场抓错。

7.2 自测题(先做,再展开)

自测 1(子空间)

(两坐标轴的并)是 的子空间吗?

自测 2(四子空间)

,求秩、 的基、并验秩–零化度。

自测 3(线性无关/基)

的一组基吗?

自测 4(证明)

都是 的子空间。证明它们的交 也是子空间。

自测 5(秩推理)

矩阵。(a) 最多几维?(b) 若 对某些 无解,说明什么?


8. 一页速记 + 进入 Stage 4 的检查清单

Stage 3 速记卡

  • 向量空间 = 能加、能数乘、守 8 条规则的集合;抽象的意义 = 一次证明、处处适用(/矩阵/多项式/函数通用)。
  • 子空间 = 过原点、对加法和数乘封闭的子集;判定三条: / 加法封闭 / 数乘封闭(不含 0 直接出局)。
  • 张成 = 全部线性组合(永远是子空间);线性无关 = 凑零只能系数全 0(没有多余向量)。
  • = 无关 + 张成 = 极大无关组 = 极小张成组;维数 = 基的向量个数(与基无关的不变量)。
  • 四个基本子空间(设秩 ,):
    • (列空间,,): 的落点; 有解 。基 = RREF 主元列对应的原列
    • (零空间,,):被压成零的 ;解唯一 。基 = 自由变量法。
    • (行空间,,):基 = RREF 非零行。
    • (左零空间,,):行间抵消关系。
  • = 主元数 = (行秩=列秩);秩–零化度:
  • 可逆() 满秩 列无关 列张成

进入 Stage 4 前,确认你能:

  • 用自己的话说清”向量空间为什么要抽象""子空间是什么”;
  • 用三条封闭性判定一个集合是不是子空间,并会用反例证明”不是”;
  • 区分张成 / 线性无关 / 基 / 维数,并说出基的两个等价刻画;
  • 对一个具体矩阵,求出四个子空间的基与维数;
  • 陈述并用直觉解释秩–零化度定理,当场验证 ;
  • 用秩 / 列空间 / 零空间的语言,判定 的解结构。

全部打勾 → 你已经为 Stage 4(正交性、投影、Gram–Schmidt) 准备好了。


一句话收尾

Stage 3 看着是一堆新词(空间、基、维数、四个子空间),但它们全是同一句话的不同侧面:” 各列的线性组合”。列空间是这句话的”输出端”,零空间是”塌陷端”,秩是”有效维度”,秩–零化度是”输入维度守恒”。当你能一眼把一个矩阵看成四个子空间 + 一个秩,你就不再是在”算矩阵”,而是在”读懂一台线性机器”——这正是从 Stage 3 起,线代对你从”计算”变成”洞察”的那一刻。