正交投影

Introduction

正交投影是将向量垂直投影到一个子空间的过程。

Definition

给定向量 $v$ 和子空间 $W$ 的一个基 $\{w_1,w_2,\dots ,w_k\}$，向量 $v$ 在 $W$ 上的正交投影 ${\text{proj}}_W(v)$ 为：
${\text{proj}}_W(v)={\sum }_{i=1}^k\frac{v\cdot w_i}{w_i\cdot w_i}{w}_i$

Properties

• 最小二乘性质：正交投影使得 $v$ 与 $W$ 上的投影点之间的距离最小。
• 线性性：正交投影是线性的。

Examples

• 在二维平面上，向量 $v=(x,y)$ 在 $x$ 轴上的正交投影为 $(x,0)$。
• 在三维空间中，向量 $v=(x,y,z)$ 在 $xy$ 平面上的正交投影为 $(x,y,0)$。

Applications

正交投影在信号处理、统计学和计算机图形学中有重要应用。例如，在统计学中，回归分析中的残差即为响应变量在解释变量空间的正交投影。