补充数学-内积

一、内积的形式

向量 $X$ 与向量 $Y$ 的内积为

$X^TY$

这个时候我们熟悉的转置（准确说是熟悉由陌生，因为转置的意义并不好理解）就出现了。

如果 $X, Y$ 仅仅是坐标，需要在基 $A$ 的作用下发挥作用，那么写出来的效果就更神奇了

$(AX)^T(AY) = X^TA^TAY$

也就是说，此时出现了我们最为熟悉的 $A^TA$ 结构。

我们熟悉的应用矩阵的地方是线性变换，它一般呈现这种形式

$a_{11}x_1 + a_{12}x_2 = y_1 \\ a_{21}x_1 + a_{22}x_2 = y_2$

然后就会被矩阵描述成

$Y = AX$

但是实际上还有一种常见的东西被叫做二次型，大概是指最高次为 2 次的多项式，比如说

$(x_1 + x_2 + x_3)^2 = x_1^2 + x_2^2 + x_3^2 + 2x_1x_2 + 2x_2x_3 + 2x_1x_3$

其实也可以被矩阵概括成

$X^TAX$

其中

$A = \left[ \begin{matrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{matrix} \right]$

这种形式同样值得研究，毕竟圆锥曲线可以用这个表示。

关于 $y$ 在 $x$ 方向上的投影（如果认为投影是有向的），那么可以写作

$\hat y = \frac{y^T x}{x^Tx} x$

那么相应的，过 $y$ 做 $x$ 的法线就是

$y - \hat y = y - \frac{y^T x}{x^Tx} x$

其本质是将投影量减掉。

类似的，如果有多个 $u$ （这是一组单位正交基）构成一个高维平面，那么 $y$ 在这个平面上的投影是

$\hat y = y^Tu_1 \cdot u_1 + y^Tu_2 \cdot u_2 + y^Tu_n \cdot u_n$

也就是

$\hat y = UU^T$