最小二乘法

这是微积分中使用的最小二乘法, 与概率论中的最小二乘法稍有不同.

对于$n$个样本$(x_i,y_i)$, 我们希望找到一个直线可以最好地接近样本结果
$y_i=a{x}_i+b$

构造一个函数$M(a,b)$
$M(a,b)={\sum }_{i=1}^n(y_i-a{x}_i-b{)}^2$

求这个函数的最小值, 就是求对a, b的偏导数, 找到极值点, 利用海塞矩阵判断极值点性质.