钟鼓楼

一、内积的形式

向量 $X$ 与向量 $Y$ 的内积为

$$X^TY$$

这个时候我们熟悉的转置（准确说是熟悉由陌生，因为转置的意义并不好理解）就出现了。

如果 $X, Y$ 仅仅是坐标，需要在基 $A$ 的作用下发挥作用，那么写出来的效果就更神奇了

$$(AX)^T(AY) = X^TA^TAY$$

也就是说，此时出现了我们最为熟悉的 $A^TA$ 结构。

一、最小二乘法

1.1 总论

最小二乘法的命名来自于对于拟合的评价指标，采用最小二乘法估计的方式，也就是如下所示

$$E = \sum^n (\hat y_i - y_i)^2$$

我们希望让 $E$ 达到最小，其中 $\hat y_i$ 是第 $i$ 个预测值，$y_i$ 是第 $i$ 个实际值 。

而之所以“最小二乘法”被提炼成一种方法，是因为 $E$ 的形式恰好可以表示成一种更加“线性代数的形式”，即

一、线性规划（LP）

1.1 标准型

线性规划可以转化成标准型，但是可以发现有两种标准型，分别对应软件程序和数学形式，如下所示：

LP 求解器一般接口

一、定义

$k$ 阶、齐次、常系数、差分方程

$$y_{n + k} + a_{k - 1}y_{n + k - 1} + a_{k - 2}y_{n + k - 2} + \dots + a_0y_{n} = 0$$

$k$ 阶、非齐次、常系数、差分方程

$$y_{n + k} + a_{k - 1}y_{n + k - 1} + a_{k - 2}y_{n + k - 2} + \dots + a_0y_{n} = f(n)$$

$k$ 阶、齐次、常系数、差分方程的特征方程

$$\lambda_{n + k} + a_{k - 1}\lambda_{n + k - 1} + a_{k - 2}\lambda_{n + k - 2} + \dots + a_0\lambda_{n} = 0$$

---

一、例子

之后的所有讲解，都是基于这个例子的，所以在头部统一列出

假定某消费者购房需要贷款 30 万元，期限为 30 年，已知贷款年利率为 5.1%，问每月应还款多少？

符号约定如下

一、正交矩阵

正交矩阵的定义如下

$$UU^T = I$$

$UU^T$ 这种写法虽然看似独特，但是并不是很晦涩的，当我们形容向量 $X$ 与其自身做内积的时候，用的就是 $XX^T$，$UU^T$ 无非是利用“矩阵可以看成向量组”的特性，对于多个向量同时进行内积运算，当

$$UU^T = diag$$

也就是只要结果是一个对角阵，就说明 $U$ 里面的向量彼此之间是正交的（也就是内积结果为 0），而 $UU^T = I$ 这个条件相比于彼此正交要更加强，他指的是不但正交，而且具有一种归一化的性质。

将 $U$ 用于变换，产生的结果被称为“正交变换”，也就是“旋转，轴对称”这种保持图形形状和大小不变的变换。