Stage 2 — 线性方程组、消元法与逆矩阵

Stage 2 — 线性方程组、消元法与逆矩阵 (Solving Linear Systems, Elimination & Inverses)

这个 Stage 你将学到什么

Stage 1 给了你语言(向量、矩阵、$A\mathbf{x}$);Stage 2 教你怎么动手解 $A\mathbf{x}=\mathbf{b}$,并补齐三件核心工具:

• 矩阵乘法 (matrix multiplication)——Stage 1 只讲了矩阵 × 向量,这里讲矩阵 × 矩阵,以及它的四种视角;
• 高斯消元法 (Gaussian elimination)——把方程组系统地化简,看清解是唯一、无解、还是无穷多;
• 逆矩阵 (inverse matrix)——用 Gauss–Jordan 求逆,并搞懂”何时可逆”;
• LU 分解 (LU decomposition)——把消元过程”打包”成 $A=LU$,这是 Strang 极重视的工具。

对应 21-241 官方 topic:solving linear systems by row reduction, inverse matrices。
对应 Strang《Introduction to Linear Algebra》:Ch 2(Solving Linear Equations)整章。

怎么用这份笔记

这一阶段是计算密集的,以你 USACO 的底子会比较顺。但 Stage 1 的批改暴露了你的两个问题:(1) 爱跳”解释/说明”子问;(2) 复数手算偏脆。Stage 2 没有复数,但有大量”为什么”——我把每个”为什么消元有效、为什么 $L$ 装的是乘数”都写清楚了,请逐字读这些解释,别只看算法步骤。

• ★ = 必须吃透的核心;➕ = 拓展;> [!example] = 逐步手算演示;> [!question] 自测题答案可折叠。
• 本笔记的一条主线:消元、LU、求逆,本质上是同一件事——我用同一个矩阵 $A=\left(\begin{array}{ccc}1& 2& 1\\ 2& 5& 3\\ 3& 4& 2\end{array}\right)$ 把它们串起来,你会看到三者其实共用同一套乘数。

---

0. 全局地图:Stage 2 在解一个什么问题

线性代数最核心的方程是 $A\mathbf{x}=\mathbf{b}$。它有三种等价读法(Stage 1 已埋下):

$$\underset{\text{矩阵形式}}{\underbrace{A\mathbf{x}=\mathbf{b}}}⟺\underset{\text{方程组}}{\underbrace{\text{一组线性方程}}}⟺\underset{\text{列视角}}{\underbrace{\text{用 }A\text{ 的列组合出 }\mathbf{b}}}$$

Stage 2 要回答三个递进的问题:

1. 怎么解? → 高斯消元法(第 2 节)。
2. 解能不能”打包预处理”? → LU 分解(第 4 节),一次分解、反复解不同的 $\mathbf{b}$。
3. 有没有”除法”? → 逆矩阵 $A^{-1}$(第 5 节),让 $\mathbf{x}=A^{-1}\mathbf{b}$ 成为可能。

但所有这些都要先有矩阵乘法这块积木,所以我们从它开始。

---

1. 矩阵乘法 (Matrix Multiplication) ★

1.1 定义:为什么是”行乘列”

Stage 1 里 $A\mathbf{x}$ 的第 $i$ 个分量 = $A$ 第 $i$ 行与 $\mathbf{x}$ 的点积。矩阵乘法只是把这件事对 $B$ 的每一列各做一次。

设 $A$ 是 $m\times n$,$B$ 是 $n\times p$,则乘积 $C=AB$ 是 $m\times p$,其元素为:

$$c_{ij}=(\text{第 }i\text{ 行 of }A)\cdot (\text{第 }j\text{ 列 of }B)=\sum _{k=1}^n{a}_{ik}{b}_{kj}.$$

维度匹配铁律

$AB$ 有定义 $⟺$ $A$ 的列数 = $B$ 的行数。记法:$(m\times \boxed{n})\cdot (\boxed{n}\times p)=(m\times p)$。中间两个 $n$ 必须相等,外面两个 $m,p$ 决定结果形状。这是初学者最常犯的维度错误来源。

1.2 ★ 完整算一遍(这就是”怎么算”)

例: $2\times 3$ 乘 $3\times 2$

$$A=\left(\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right),B=\left(\begin{array}{cc}7& 8\\ 9& 10\\ 11& 12\end{array}\right).$$

结果是 $2\times 2$。逐个元素算(行 $i$ 点列 $j$):

$$\begin{array}{rl}{c}_{11}& =(1,2,3)\cdot (7,9,11)=1\cdot 7+2\cdot 9+3\cdot 11=7+18+33=58,\\ c_{12}& =(1,2,3)\cdot (8,10,12)=8+20+36=64,\\ c_{21}& =(4,5,6)\cdot (7,9,11)=28+45+66=139,\\ c_{22}& =(4,5,6)\cdot (8,10,12)=32+50+72=154.\end{array}$$

所以

$$AB=\left(\begin{array}{cc}58& 64\\ 139& 154\end{array}\right).$$

操作口诀:左手沿 $A$ 的行走,右手沿 $B$ 的列走,对应相乘再求和,落在交叉位置。

1.3 ★★ 四种看矩阵乘法的视角(Strang 招牌)

同一个 $AB$,有四种解读。全部理解,后面会反复用到(尤其列视角)。

视角 1 — 元素视角:每个 $c_{ij}$ 是一个点积(上面就是)。

视角 2 — 列视角(最有用):$AB$ 的第 $j$ 列 $=$ $A$ 乘以 $B$ 的第 $j$ 列。也就是说,$AB$ 的每一列都是 $A$ 各列的线性组合,权重来自 $B$ 对应那一列。

$$AB=A[{\mathbf{b}}_1{\mathbf{b}}_2\cdots {\mathbf{b}}_p]=[A{\mathbf{b}}_{1}A{\mathbf{b}}_2\cdots A{\mathbf{b}}_p].$$

视角 3 — 行视角:$AB$ 的第 $i$ 行 $=$ ($A$ 的第 $i$ 行)乘以整个 $B$。每一行是 $B$ 各行的线性组合。

视角 4 — 外积视角 ➕:把 $A$ 的列和 $B$ 的行配对相乘再求和:

$$AB=\sum _{k=1}^n(\text{A 第 }k\text{ 列})(\text{B 第 }k\text{ 行})=\sum _{k=1}^n{\mathbf{a}}_k{\mathbf{b}}_k^{\text{row}}.$$

每一项 ${\mathbf{a}}_k{\mathbf{b}}_k^{\text{row}}$ 是一个”列 × 行”= 一个秩 1 矩阵(rank-1 matrix)。这个视角到 SVD(Stage 7)会大放异彩。

为什么要记四个视角

不同问题用不同视角最省力:算具体数字用视角 1;理解 $AB$ 的列空间用视角 2;消元(把矩阵写成 $EA$) 用视角 3;理解低秩结构 / SVD 用视角 4。Strang 的功力就在于他从不把矩阵乘法只当”填表格”,而是四个角度自由切换。

1.4 ★ 关键性质(有些反直觉)

性质	成立吗	说明
结合律 $(AB)C=A(BC)$	✅	可以任意加括号
左右分配律 $A(B+C)=AB+AC$	✅
与单位矩阵 $AI=IA=A$	✅	$I$ 是乘法的”1”
交换律 $AB=BA$	❌	一般不成立!

矩阵乘法不可交换——这是最重要的"反直觉"

看反例:

$$P=\left(\begin{array}{cc}1& 1\\ 0& 1\end{array}\right),Q=\left(\begin{array}{cc}1& 0\\ 1& 1\end{array}\right).$$ $$PQ=\left(\begin{array}{cc}1\cdot 1+1\cdot 1& 1\cdot 0+1\cdot 1\\ 0\cdot 1+1\cdot 1& 0\cdot 0+1\cdot 1\end{array}\right)=\left(\begin{array}{cc}2& 1\\ 1& 1\end{array}\right),QP=\left(\begin{array}{cc}1& 1\\ 1& 2\end{array}\right).$$

$PQ\ne QP$。几何直觉:矩阵代表”动作”(旋转、剪切……),而”先转后剪”和”先剪后转”结果不同——动作的顺序有意义。这件事会影响后面所有公式里因子的顺序。

1.5 转置与乘积:顺序要反转(含证明)

$$\boxed{(AB{)}^T=B^T{A}^T}$$

证明 $(AB{)}^T=B^T{A}^T$

比较两边的 $(i,j)$ 元素。左边:$((AB{)}^T{)}_{ij}=(AB{)}_{ji}={\sum }_k{a}_{jk}{b}_{ki}$。
右边:$(B^T{A}^T{)}_{ij}={\sum }_k(B^T{)}_{ik}(A^T{)}_{kj}={\sum }_k{b}_{ki}{a}_{jk}$。
两者逐项相等。$■$

记忆:“穿袜子再穿鞋,脱的时候先脱鞋”——转置(或求逆)会把乘积顺序倒过来。

---

2. 高斯消元法 (Gaussian Elimination) ★ 核心

这是解 $A\mathbf{x}=\mathbf{b}$ 的主算法。核心思想:用”不改变解集”的行变换,把方程组化成阶梯形,再回代。

2.1 三种初等行变换 (Elementary Row Operations)

下面三种操作不改变方程组的解(因为它们都可逆):

1. 倍加 (replacement):某行 $+$ 另一行的倍数 → $R_i\leftarrow R_i+c{R}_j$。(消元的主力)
2. 数乘 (scaling):某行乘以非零常数 → $R_i\leftarrow c{R}_i$($c\ne 0$)。
3. 交换 (interchange):交换两行 → $R_i\leftrightarrow R_j$。(主元为 0 时用)

我们把 $A$ 和 $\mathbf{b}$ 并排写成增广矩阵 (augmented matrix) $[A|\mathbf{b}]$,对它做行变换。

2.2 ★ 完整走一遍 $3\times 3$ 消元(贯穿全笔记的主例)

主例:解 $A\mathbf{x}=\mathbf{b}$

$$\{\begin{array}{l}x+2y+z=2\\ 2x+5y+3z=4\\ 3x+4y+2z=5\end{array}A=\left(\begin{array}{ccc}1& 2& 1\\ 2& 5& 3\\ 3& 4& 2\end{array}\right),\mathbf{b}=\left(\begin{array}{c}2\\ 4\\ 5\end{array}\right).$$

增广矩阵:

$$\left[\begin{array}{cccc}1& 2& 1& 2\\ 2& 5& 3& 4\\ 3& 4& 2& 5\end{array}\right]$$

第一列消元(用第 1 行的主元 $1$ 把它下方变 $0$):

• $R_2\leftarrow R_2-2R_1$(乘数 ${\ell }_{21}=2$):$(2,5,3,4)-2(1,2,1,2)=(0,1,1,0)$
• $R_3\leftarrow R_3-3R_1$(乘数 ${\ell }_{31}=3$):$(3,4,2,5)-3(1,2,1,2)=(0,-2,-1,-1)$

$$\left[\begin{array}{cccc}1& 2& 1& 2\\ 0& 1& 1& 0\\ 0& -2& -1& -1\end{array}\right]$$

第二列消元(用第 2 行的主元 $1$ 把它下方变 $0$):

• $R_3\leftarrow R_3+2R_2$(乘数 ${\ell }_{32}=-2$):$(0,-2,-1,-1)+2(0,1,1,0)=(0,0,1,-1)$

$$\left[\begin{array}{cccc}1& 2& 1& 2\\ 0& 1& 1& 0\\ 0& 0& 1& -1\end{array}\right]⟸\text{上三角(行阶梯形)}$$

回代 (back substitution)——从最后一行往上解:

$$\begin{array}{rl}\text{第 3 行: }& z=-1.\\ \text{第 2 行: }& y+z=0\Rightarrow y=1.\\ \text{第 1 行: }& x+2y+z=2\Rightarrow x+2-1=2\Rightarrow x=1.\end{array}$$ $$\boxed{\mathbf{x}=(x,y,z)=(1,1,-1)}$$

验证:$1\cdot 1+2\cdot 1+1\cdot (-1)=2$ ✓;$2\cdot 1+5\cdot 1+3\cdot (-1)=4$ ✓;$3\cdot 1+4\cdot 1+2\cdot (-1)=5$ ✓。

记住那三个乘数 ${\ell }_{21}=2,{\ell }_{31}=3,{\ell }_{32}=-2$——它们马上会在 LU 分解里”复活”成矩阵 $L$。

2.3 主元、行阶梯形 (REF) 与简化行阶梯形 (RREF)

• 主元 (pivot):每行化简后最左边的第一个非零元。上面的主元是 $1,1,1$。
• 行阶梯形 (Row Echelon Form, REF):主元呈阶梯下降,主元下方全为 $0$(上面那个上三角就是)。
• 简化行阶梯形 (Reduced Row Echelon Form, RREF):在 REF 基础上,再把每个主元化为 $1$、且主元上方也清成 $0$。RREF 是唯一的(REF 不唯一)。

为什么要 RREF

REF + 回代就能解方程;但 RREF 让解”一眼可读”(主元变量直接等于右端),而且求逆矩阵正是靠把 $[A|I]$ 化到 RREF(第 5 节)。

2.4 ★ 解的三种情况:唯一 / 无解 / 无穷多

消元到最后,看阶梯形的形状,就能判定解的个数。

情况 A:唯一解——每一列都有主元(像主例),回代得到唯一 $\mathbf{x}$。

情况 B:无解 (inconsistent)——出现矛盾行 $[00\cdots 0|c]$ 且 $c\ne 0$,即 "$0=c$"。

无解的样子

$$\{\begin{array}{l}x+y=2\\ 2x+2y=5\end{array}\stackrel{R_2-2R_1}{\to }\left[\begin{array}{ccc}1& 1& 2\\ 0& 0& 1\end{array}\right]$$

第二行说 $0=1$,矛盾。几何:两条平行线,永不相交,无解。

情况 C:无穷多解——出现全零行 $[0\cdots 0|0]$,且有自由变量 (free variable):那些没有主元的列对应的变量可以随便取。

无穷多解(含一个自由变量)

$$\{\begin{array}{l}x+2y+3z=6\\ 2x+5y+8z=16\\ x+3y+5z=10\end{array}$$

增广矩阵消元:$R_2\leftarrow R_2-2R_1$,$R_3\leftarrow R_3-R_1$:

$$\left[\begin{array}{cccc}1& 2& 3& 6\\ 0& 1& 2& 4\\ 0& 1& 2& 4\end{array}\right]\stackrel{R_3-R_2}{\to }\left[\begin{array}{cccc}1& 2& 3& 6\\ 0& 1& 2& 4\\ 0& 0& 0& 0\end{array}\right]$$

第 3 列没有主元 $\Rightarrow$ $z$ 是自由变量。化成 RREF($R_1\leftarrow R_1-2R_2$):

$$\left[\begin{array}{cccc}1& 0& -1& -2\\ 0& 1& 2& 4\\ 0& 0& 0& 0\end{array}\right]\Rightarrow \{\begin{array}{l}x=z-2\\ y=4-2z\\ z\text{ 自由}\end{array}$$

通解(令 $z=t$):

$$\boxed{\mathbf{x}=(t-2,4-2t,t),t\in \mathbb{R}}$$

验证 $t=0$:$(-2,4,0)$,代入三式得 $(6,16,10)$ ✓。几何:三个平面交于一条直线,直线上每个点都是解。

一句话判据

消元后:有矛盾行 → 无解;无矛盾行且每列都有主元 → 唯一解;无矛盾行但有自由列 → 无穷多解。自由变量的个数 = 没有主元的列数。

---

3. 消元 = 矩阵乘法 (Elimination as Matrix Multiplication) ★

这一节把消元”代数化”——每一步行变换,其实是左乘一个矩阵。这是通向 LU 分解的桥梁。

3.1 初等矩阵 (Elementary Matrix)

把单位矩阵 $I$ 做一次行变换,得到的就是初等矩阵 $E$。神奇之处:用 $E$ 左乘 $A$,等于对 $A$ 做同样那次行变换(回忆视角 3:左乘影响行)。

主例里第一步的初等矩阵

"$R_2\leftarrow R_2-2R_1$" 对应

$$E_{21}=\left(\begin{array}{ccc}1& 0& 0\\ -2& 1& 0\\ 0& 0& 1\end{array}\right)(\text{在 }I\text{ 的 }(2,1)\text{ 位置放 }-2).$$

验证 $E_{21}A$ 的第 2 行:$(-2,1,0)\cdot A=-2(1,2,1)+(2,5,3)=(0,1,1)$——正是消元后的第 2 行 ✓。

3.2 整个消元 = 连续左乘

主例的三步消元(乘数 $2,3,-2$)合起来:

$$E_{32}{E}_{31}{E}_{21}A=U,U=\left(\begin{array}{ccc}1& 2& 1\\ 0& 1& 1\\ 0& 0& 1\end{array}\right).$$

其中

$$E_{21}=\left(\begin{array}{ccc}1& 0& 0\\ -2& 1& 0\\ 0& 0& 1\end{array}\right),E_{31}=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ -3& 0& 1\end{array}\right),E_{32}=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 2& 1\end{array}\right).$$

这正是 LU 的来源

把 $E$ 们移到右边:$A=(E_{32}{E}_{31}{E}_{21}{)}^{-1}U=LU$。下一节会看到,这个 $L$ 的元素恰好就是那三个乘数——消元的”账本”被完整地记在了 $L$ 里。

3.3 置换矩阵 (Permutation Matrix) $P$

如果某个主元位置是 $0$,消元卡住,就交换两行。“交换”也是左乘一个矩阵——把 $I$ 对应两行交换得到的置换矩阵。

主元为 0 → 换行

$$A=\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right),P=\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right),PA=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right).$$

左乘 $P$ 交换了两行,主元就位了。置换矩阵的性质:$P^{-1}=P^T$(它的逆就是转置,因为换回去就是再换一次)。

---

4. LU 分解 (LU Decomposition) ➕(Strang 重点)

4.1 想法:把 $A$ 拆成”下三角 × 上三角”

$$\boxed{A=LU}$$

• $U$ = 消元得到的上三角(upper triangular);
• $L$ = 下三角(lower triangular),对角线全为 $1$,下三角部分装的就是消元乘数。

4.2 ★ 为什么 $L$ 装的是乘数(关键洞察)

回到 $A=(E_{32}{E}_{31}{E}_{21}{)}^{-1}U$。神奇的事实:$E$ 的逆极其简单——$E_{21}$ 在 $(2,1)$ 放了 $-2$ 来消元,那它的逆就是在 $(2,1)$ 放 $+2$(把消元”撤销”)。而且这些逆相乘时,乘数直接归位、互不干扰。结果:

$$L=\left(\begin{array}{ccc}1& 0& 0\\ {\ell }_{21}& 1& 0\\ {\ell }_{31}& {\ell }_{32}& 1\end{array}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 2& 1& 0\\ 3& -2& 1\end{array}\right).$$

$L$ 就是消元乘数的”账本”:${\ell }_{ij}$ = 当初"$R_i\leftarrow R_i-{\ell }_{ij}{R}_j$"里那个乘数。不用再算,抄下来即可。

验证主例 $A=LU$

$$L=\left(\begin{array}{ccc}1& 0& 0\\ 2& 1& 0\\ 3& -2& 1\end{array}\right),U=\left(\begin{array}{ccc}1& 2& 1\\ 0& 1& 1\\ 0& 0& 1\end{array}\right).$$

用列视角逐行验证 $LU$:

$$\begin{array}{rl}\text{第 1 行}& :(1,0,0)U=(1,2,1),\\ \text{第 2 行}& :2\cdot (1,2,1)+1\cdot (0,1,1)=(2,5,3),\\ \text{第 3 行}& :3\cdot (1,2,1)-2\cdot (0,1,1)+1\cdot (0,0,1)=(3,4,2).\end{array}$$

拼起来正好是 $A=\left(\begin{array}{ccc}1& 2& 1\\ 2& 5& 3\\ 3& 4& 2\end{array}\right)$ ✓。

4.3 ★ 用 LU 解方程:为什么值得分解

要解 $A\mathbf{x}=\mathbf{b}$,即 $LU\mathbf{x}=\mathbf{b}$。分两步(都很快,因为三角矩阵直接代):

1. 前代 (forward substitution) 解 $L\mathbf{c}=\mathbf{b}$,求中间量 $\mathbf{c}$;
2. 回代 (back substitution) 解 $U\mathbf{x}=\mathbf{c}$,求 $\mathbf{x}$。

用 LU 解主例

$\mathbf{b}=(2,4,5)$。第一步 $L\mathbf{c}=\mathbf{b}$:

$$\{\begin{array}{l}{c}_1=2\\ 2c_1+c_2=4\\ 3c_1-2c_2+c_3=5\end{array}\Rightarrow c_1=2,c_2=4-4=0,c_3=5-6-0=-1.$$

即 $\mathbf{c}=(2,0,-1)$。第二步 $U\mathbf{x}=\mathbf{c}$:

$$\{\begin{array}{l}x+2y+z=2\\ y+z=0\\ z=-1\end{array}\Rightarrow z=-1,y=1,x=1.$$

$\mathbf{x}=(1,1,-1)$ ✓,和直接消元结果一致。

LU 的真正价值:一次分解,反复使用

如果要对同一个 $A$、很多不同的 $\mathbf{b}$ 解方程(工程中极常见:同一结构、不同载荷),分解 $A=LU$ 只需做一次($O(n^3)$);之后每个新 $\mathbf{b}$ 只要两步三角代入($O(n^2)$)。这比每次都重新消元划算得多——这也是为什么数值库内部普遍用 LU。

4.4 需要换行时:$PA=LU$

若消元中途必须换行,分解形式变成 $PA=LU$($P$ 是置换矩阵,记录所有换行)。思想不变:先用 $P$ 把行排好,再正常 LU。

---

5. 逆矩阵 (Inverse Matrix) ★

5.1 定义:矩阵的”倒数”

方阵 $A$ 的逆 $A^{-1}$ 满足

$$A{A}^{-1}=A^{-1}A=I.$$

有了它,$A\mathbf{x}=\mathbf{b}$ 的解可以”一步写出”:$\mathbf{x}=A^{-1}\mathbf{b}$。(注意:实际计算时几乎不会真去求 $A^{-1}$ 再乘,消元/LU 更快更稳;$A^{-1}$ 主要是理论工具。)

5.2 何时可逆(可逆 ⟺ 一串等价条件)

对 $n\times n$ 方阵 $A$,下面这些互相等价(任一成立则全部成立):

• $A$ 可逆;
• 消元能得到 $n$ 个非零主元(没有零主元);
• $A\mathbf{x}=0$ 只有零解 $\mathbf{x}=0$;
• $A\mathbf{x}=\mathbf{b}$ 对每个 $\mathbf{b}$ 有唯一解;
• $\det A\ne 0$(行列式,Stage 5 细讲);
• $A$ 的列线性无关(Stage 3 细讲)。

这就是"可逆矩阵定理"(Invertible Matrix Theorem)的雏形

这串等价条件是线代的”中央车站”,几乎所有概念都在这里交汇。现在记住前三条;到 Stage 3、5 会把后几条补全并证明它们等价。

5.3 $2\times 2$ 的逆公式(必背)

$$A=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)⟹A^{-1}=\frac{1}{ad-bc}\left(\begin{array}{cc}d& -b\\ -c& a\end{array}\right),\text{当 }ad-bc\ne 0.$$

口诀:主对角线对调、副对角线变号,再除以行列式 $ad-bc$。

$2\times 2$ 求逆

$A=\left(\begin{array}{cc}4& 7\\ 2& 6\end{array}\right)$,$ad-bc=24-14=10$。

$$A^{-1}=\frac{1}{10}\left(\begin{array}{cc}6& -7\\ -2& 4\end{array}\right)=\left(\begin{array}{cc}0.6& -0.7\\ -0.2& 0.4\end{array}\right).$$

验证:$\left(\begin{array}{cc}4& 7\\ 2& 6\end{array}\right)\left(\begin{array}{cc}0.6& -0.7\\ -0.2& 0.4\end{array}\right)=\left(\begin{array}{cc}2.4-1.4& -2.8+2.8\\ 1.2-1.2& -1.4+2.4\end{array}\right)=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)$ ✓。

5.4 ★ Gauss–Jordan 求逆:$[A|I]\to [I|A^{-1}]$

方法:把 $A$ 和单位矩阵 $I$ 并排成 $[A|I]$,对它做行变换,直到左边变成 $I$;此时右边自动变成 $A^{-1}$。

为什么这招有效(一句话原理)

行变换 = 左乘一串初等矩阵,记它们的总积为 $M$。当左边 $MA=I$ 时,说明 $M=A^{-1}$;而右边同时被 $M$ 作用,$M\cdot I=M=A^{-1}$。所以右边长出来的就是逆。

5.5 ★ 完整求一个 $3\times 3$ 的逆(用主例的 $A$)

求 $A^{-1}$,其中 $A=\left(\begin{array}{ccc}1& 2& 1\\ 2& 5& 3\\ 3& 4& 2\end{array}\right)$

起始 $[A|I]$:

$$\left[\begin{array}{cccccc}1& 2& 1& 1& 0& 0\\ 2& 5& 3& 0& 1& 0\\ 3& 4& 2& 0& 0& 1\end{array}\right]$$

向下消元(用与主例相同的乘数 $2,3,-2$):

$$\underset{R_3-3R_1}{\overset{R_2-2R_1}{\to }}\left[\begin{array}{cccccc}1& 2& 1& 1& 0& 0\\ 0& 1& 1& -2& 1& 0\\ 0& -2& -1& -3& 0& 1\end{array}\right]\stackrel{R_3+2R_2}{\to }\left[\begin{array}{cccccc}1& 2& 1& 1& 0& 0\\ 0& 1& 1& -2& 1& 0\\ 0& 0& 1& -7& 2& 1\end{array}\right]$$

左边已是上三角且主元全为 $1$。现在向上消元(清主元上方),得到 RREF:

$$\underset{R_1-R_3}{\overset{R_2-R_3}{\to }}\left[\begin{array}{cccccc}1& 2& 0& 8& -2& -1\\ 0& 1& 0& 5& -1& -1\\ 0& 0& 1& -7& 2& 1\end{array}\right]\stackrel{R_1-2R_2}{\to }\left[\begin{array}{cccccc}1& 0& 0& -2& 0& 1\\ 0& 1& 0& 5& -1& -1\\ 0& 0& 1& -7& 2& 1\end{array}\right]$$

左边变成 $I$,右边就是逆:

$$\boxed{A^{-1}=\left(\begin{array}{ccc}-2& 0& 1\\ 5& -1& -1\\ -7& 2& 1\end{array}\right)}$$

验证 $A{A}^{-1}=I$,逐个算第一行:
$(1,2,1)\cdot (-2,5,-7)=-2+10-7=1$;$(1,2,1)\cdot (0,-1,2)=0-2+2=0$;$(1,2,1)\cdot (1,-1,1)=1-2+1=0$ ✓(其余行同理,全部得 $I$)。

注意到了吗:同一套乘数

求逆的”向下消元”用的乘数 $2,3,-2$,和主例消元、和 LU 里 $L$ 的元素完全相同。这就是本笔记的主线:消元、LU、求逆三件事,共用同一套消元账本。理解了一个,就理解了三个。

5.6 ★ 乘积的逆:顺序反转(含证明)

$$\boxed{(AB{)}^{-1}=B^{-1}{A}^{-1}}$$

证明 $(AB{)}^{-1}=B^{-1}{A}^{-1}$

只需验证它乘 $AB$ 得 $I$。用结合律:

$$(B^{-1}{A}^{-1})(AB)=B^{-1}(A^{-1}A)B=B^{-1}IB=B^{-1}B=I.$$

同理 $(AB)(B^{-1}{A}^{-1})=I$。所以 $B^{-1}{A}^{-1}$ 确是 $(AB)$ 的逆。$■$

又是”先脱鞋”原则:逆把乘积顺序倒过来。直觉:$AB$ 是”先 $B$ 后 $A$“两个动作,要撤销就得”先撤 $A$ 再撤 $B$“。

5.7 转置的逆

$$(A^T{)}^{-1}=(A^{-1}{)}^T.$$

(转置和求逆可以交换次序。)

---

6. 拓展 (Extensions) ➕

6.1 可逆矩阵定理全景(预览)

把 5.2 的等价条件再扩一点,对 $n\times n$ 的 $A$,以下全部等价:
$A$ 可逆 $⟺$ $n$ 个非零主元 $⟺$ RREF 是 $I$ $⟺$ $A\mathbf{x}=0$ 只有零解 $⟺$ 列线性无关 $⟺$ 列张成 ${\mathbb{R}}^n$ $⟺$ $\det A\ne 0$ $⟺$ $0$ 不是特征值。后几条会在 Stage 3/5/6 逐一补证——把它当作贯穿全课的”主索引”。

6.2 ➕ 消元的计算复杂度(呼应你的算法背景)

对 $n\times n$ 矩阵,高斯消元约需 $\frac{1}{3}{n}^3$ 次乘加,即 $O(n^3)$。所以:

• 求逆 $O(n^3)$、解一次方程 $O(n^3)$;但有了 LU,额外每个 $\mathbf{b}$ 只需 $O(n^2)$。
• 这解释了”为什么解 $A\mathbf{x}=\mathbf{b}$ 不该先求 $A^{-1}$ 再乘”——求逆本身就是 $O(n^3)$ 且数值更不稳,直接 LU 又快又稳。这是数值线代里”能不求逆就不求逆”的工程原则。

6.3 ➕ 可选:用 NumPy 验证 LU 与逆

import numpy as np
import scipy.linalg as sla
 
A = np.array([[1,2,1],[2,5,3],[3,4,2]], dtype=float)
 
# LU 分解(scipy 带部分主元置换 P)
P, L, U = sla.lu(A)
print("L=\n", L); print("U=\n", U)
print("PA == LU ?", np.allclose(P @ A, L @ U))   # 注意 scipy 给的是 A = P@L@U
 
# 逆与解方程对比
b = np.array([2,4,5], dtype=float)
print("A^{-1} =\n", np.linalg.inv(A))
print("solve  :", np.linalg.solve(A, b))          # 推荐:不显式求逆
print("via inv:", np.linalg.inv(A) @ b)           # 能得同样结果，但更慢更不稳

库安装(使用国内镜像)

需要 numpy 和 scipy。用清华镜像安装(命令行执行):

pip install numpy scipy -i https://pypi.tuna.tsinghua.edu.cn/simple

---

7. 例题精讲 (Worked Examples)

例 1 — 矩阵乘法(注意维度)

$A=\left(\begin{array}{cc}2& 0\\ 1& 3\\ -1& 2\end{array}\right)$($3\times 2$),$B=\left(\begin{array}{ccc}1& -1& 2\\ 0& 4& 1\end{array}\right)$($2\times 3$)。$AB$ 是 $3\times 3$:

$$AB=\left(\begin{array}{ccc}2\cdot 1+0\cdot 0& 2\cdot (-1)+0\cdot 4& 2\cdot 2+0\cdot 1\\ 1\cdot 1+3\cdot 0& 1\cdot (-1)+3\cdot 4& 1\cdot 2+3\cdot 1\\ -1\cdot 1+2\cdot 0& -1\cdot (-1)+2\cdot 4& -1\cdot 2+2\cdot 1\end{array}\right)=\left(\begin{array}{ccc}2& -2& 4\\ 1& 11& 5\\ -1& 9& 0\end{array}\right).$$

(反过来 $BA$ 是 $2\times 2$,形状都不同——又一次提醒:乘法不可交换。)

例 2 — 判定解的类型并求解

$$\{\begin{array}{l}x+y+2z=3\\ 2x+3y+4z=7\\ x+2y+2z=4\end{array}$$

消元:$R_2-2R_1,R_3-R_1$:

$$\left[\begin{array}{cccc}1& 1& 2& 3\\ 0& 1& 0& 1\\ 0& 1& 0& 1\end{array}\right]\stackrel{R_3-R_2}{\to }\left[\begin{array}{cccc}1& 1& 2& 3\\ 0& 1& 0& 1\\ 0& 0& 0& 0\end{array}\right]$$

第 3 列无主元 → $z$ 自由,无穷多解。回代:$y=1$;$x+y+2z=3\Rightarrow x=2-2z$。通解 $\mathbf{x}=(2-2t,1,t)$。验证 $t=0$:$(2,1,0)\to (3,7,4)$ ✓。

例 3 — 用 LU 解(乘数账本)

$A=\left(\begin{array}{cc}2& 1\\ 6& 5\end{array}\right)$。消元 $R_2-3R_1$(乘数 $3$)得 $U=\left(\begin{array}{cc}2& 1\\ 0& 2\end{array}\right)$,故 $L=\left(\begin{array}{cc}1& 0\\ 3& 1\end{array}\right)$。解 $\mathbf{b}=(1,7)$:
前代 $L\mathbf{c}=\mathbf{b}$:$c_1=1,3c_1+c_2=7\Rightarrow c_2=4$。回代 $U\mathbf{x}=\mathbf{c}$:$2y=4\Rightarrow y=2$;$2x+y=1\Rightarrow x=-\frac{1}{2}$。解 $\mathbf{x}=(-\frac{1}{2},2)$。验证:$2(-\frac{1}{2})+2=1$,$6(-\frac{1}{2})+5\cdot 2=7$ ✓。

例 4 — 证明:逆是唯一的

命题:若 $A$ 有逆,则逆唯一。
证明:设 $B,C$ 都是 $A$ 的逆,即 $BA=I$ 且 $AC=I$。则
$B=BI=B(AC)=(BA)C=IC=C.$
所以 $B=C$,逆唯一。$■$

技巧:这类”唯一性”证明的套路是”从两个候选出发,用结合律把它们夹成相等”——和 Stage 1 自测题里”取特殊值”是同类的标准招式。

---

8. 衔接 21-241:考试怎么考 + 自测

8.1 这部分在 21-241 的考点

• 计算题(务必快准):消元解方程、求 $2\times 2$/$3\times 3$ 的逆、矩阵乘法、LU 分解。这些是 HW 主力,考试里属于”必须拿满”的部分。
• 概念/证明题(拉分):可能要你证明 $(AB{)}^{-1}=B^{-1}{A}^{-1}$、$(AB{)}^T=B^T{A}^T$、逆的唯一性,或论证”某矩阵何时可逆 / 为何 $A\mathbf{x}=0$ 只有零解”。
• 判类型题:给一个含参数的系统,问”参数取何值时无解 / 唯一 / 无穷多解”——这要你把消元做到底,盯住主元和矛盾行。

针对你的两个老问题(来自 Stage 1 批改)

(1) 别再跳”解释”子问。 这里很多题会问”为什么可逆 / 为什么无穷多解”——把理由写全(指出主元、自由变量、或那串等价条件),不要只丢一个矩阵或一个数。
(2) 顺序别写反。 转置和求逆都会反转乘积顺序($(AB{)}^{-1}=B^{-1}{A}^{-1}$,不是 $A^{-1}{B}^{-1}$)。这是本阶段最常见的丢分点,务必盯紧。

8.2 自测题(先做,再展开答案)

自测 1(矩阵乘法)

$A=\left(\begin{array}{cc}1& 2\\ 3& 4\end{array}\right)$,$B=\left(\begin{array}{cc}0& 1\\ 1& 0\end{array}\right)$。算 $AB$ 与 $BA$,它们相等吗?

答案 1

$AB=\left(\begin{array}{cc}1\cdot 0+2\cdot 1& 1\cdot 1+2\cdot 0\\ 3\cdot 0+4\cdot 1& 3\cdot 1+4\cdot 0\end{array}\right)=\left(\begin{array}{cc}2& 1\\ 4& 3\end{array}\right)$;$BA=\left(\begin{array}{cc}3& 4\\ 1& 2\end{array}\right)$。不相等($B$ 左乘是换行,右乘是换列)。

自测 2(消元解方程)

解 $\{\begin{array}{l}x+y+z=6\\ x+2y+3z=14\\ x+4y+9z=36\end{array}$。

答案 2

$R_2-R_1,R_3-R_1$:$\left[\begin{array}{cccc}1& 1& 1& 6\\ 0& 1& 2& 8\\ 0& 3& 8& 30\end{array}\right]$;再 $R_3-3R_2$:$\left[\begin{array}{cccc}1& 1& 1& 6\\ 0& 1& 2& 8\\ 0& 0& 2& 6\end{array}\right]$。回代:$z=3,y=8-6=2,x=6-2-3=1$。$\boxed{\mathbf{x}=(1,2,3)}$。验证 ✓。

自测 3(求逆 + 解方程)

(a) 求 $A=\left(\begin{array}{cc}1& 2\\ 3& 5\end{array}\right)$ 的逆。(b) 用它解 $A\mathbf{x}=\left(\begin{array}{c}1\\ 2\end{array}\right)$。

答案 3

(a) $ad-bc=5-6=-1$,$A^{-1}=\frac{1}{-1}\left(\begin{array}{cc}5& -2\\ -3& 1\end{array}\right)=\left(\begin{array}{cc}-5& 2\\ 3& -1\end{array}\right)$。
(b) $\mathbf{x}=A^{-1}\mathbf{b}=\left(\begin{array}{cc}-5& 2\\ 3& -1\end{array}\right)\left(\begin{array}{c}1\\ 2\end{array}\right)=\left(\begin{array}{c}-5+4\\ 3-2\end{array}\right)=\left(\begin{array}{c}-1\\ 1\end{array}\right)$。验证 $A\mathbf{x}=(-1+2,-3+5)=(1,2)$ ✓。

自测 4(含参数,判类型)

对哪些实数 $k$,系统 $\{\begin{array}{l}x+2y=1\\ 2x+ky=2\end{array}$ 分别有唯一解 / 无穷多解 / 无解?

答案 4

消元 $R_2-2R_1$:$\left[\begin{array}{ccc}1& 2& 1\\ 0& k-4& 0\end{array}\right]$。

• $k\ne 4$:主元 $k-4\ne 0$,唯一解($y=0,x=1$)。
• $k=4$:第二行变 $[00|0]$,$y$ 自由,无穷多解($x=1-2t,y=t$)。
• 无解不会发生(右端那 $0$ 始终相容)。

这道题就是 21-241 爱考的”含参判类型”——把理由(主元是否为零)写清楚。

自测 5(证明,顺序反转)

设 $A,B$ 均可逆。证明 $(AB{A}^{-1}{)}^{-1}=A{B}^{-1}{A}^{-1}$。

答案 5

验证它乘 $AB{A}^{-1}$ 得 $I$:
$(A{B}^{-1}{A}^{-1})(AB{A}^{-1})=A{B}^{-1}(A^{-1}A)B{A}^{-1}=A{B}^{-1}B{A}^{-1}=A(B^{-1}B)A^{-1}=A{A}^{-1}=I.■$

反复用结合律”内层先抵消”。注意顺序——这正是 8.1 提醒的易错点。

---

9. 一页速记 + 进入 Stage 3 的检查清单

Stage 2 速记卡

• 矩阵乘法 $c_{ij}={\sum }_k{a}_{ik}{b}_{kj}$;维度 $(m\times n)(n\times p)=(m\times p)$;四视角(元素/列/行/外积);不可交换 $AB\ne BA$。
• 三种行变换(倍加/数乘/交换)不改变解;对增广矩阵 $[A|\mathbf{b}]$ 操作。
• 高斯消元 → 上三角(REF)→ 回代;RREF 唯一,主元化 $1$ 且上下清零。
• 解三类:矛盾行 → 无解;每列有主元 → 唯一;有自由列 → 无穷多(自由变量数 = 无主元列数)。
• 消元 = 左乘初等矩阵 $E$;换行 = 左乘置换 $P$($P^{-1}=P^T$)。
• LU 分解 $A=LU$:$U$ 是上三角,$L$ 装消元乘数;解方程 = 前代 $L\mathbf{c}=\mathbf{b}$ + 回代 $U\mathbf{x}=\mathbf{c}$;一次分解、反复用。
• 逆矩阵 $A{A}^{-1}=I$;$2\times 2$ 公式”对调变号除以 $ad-bc$“;Gauss–Jordan $[A|I]\to [I|A^{-1}]$。
• 顺序反转:$(AB{)}^{-1}=B^{-1}{A}^{-1}$,$(AB{)}^T=B^T{A}^T$。
• 可逆 ⟺ $n$ 个非零主元 ⟺ $A\mathbf{x}=0$ 只有零解 ⟺ $\det A\ne 0$ ⟺ 列线性无关(后两条 Stage 3/5 补)。

进入 Stage 3 前,确认你能:

• 不查笔记算一个 $3\times 3$ 矩阵乘法,并能从列视角解释结果;
• 对一个 $3\times 3$ 系统独立完成消元 + 回代,并判断它是唯一/无解/无穷多;
• 把一个 $3\times 3$ 做 LU 分解,并指出 $L$ 里每个数来自哪一步消元;
• 用 Gauss–Jordan 求一个 $3\times 3$ 的逆并验证 $A{A}^{-1}=I$;
• 默写并证明 $(AB{)}^{-1}=B^{-1}{A}^{-1}$,且解释为什么顺序要反转;
• 说清”$A$ 可逆”的至少三个等价条件。

全部打勾 → 你已经为 Stage 3(向量空间与四个基本子空间) 准备好了。

---

一句话收尾

Stage 2 看似在教三套独立技术(乘法、消元、求逆),其实它们由同一套消元乘数串成一条线:消元产生 $U$,乘数装进 $L$,Gauss–Jordan 把同样的过程推到底得到 $A^{-1}$。而所有这些的尽头是同一个问题:$A\mathbf{x}=\mathbf{b}$ 何时可解、解是什么。 这个问题的彻底答案——用”四个子空间”来回答——就是 Stage 3 的主题。