补充数学 - 内积

一、内积的形式

向量 $X$ 与向量 $Y$ 的内积为

$$X^TY$$

这个时候我们熟悉的转置（准确说是熟悉由陌生，因为转置的意义并不好理解）就出现了。

如果 $X, Y$ 仅仅是坐标，需要在基 $A$ 的作用下发挥作用，那么写出来的效果就更神奇了

$$(AX)^T(AY) = X^TA^TAY$$

也就是说，此时出现了我们最为熟悉的 $A^TA$ 结构。

---

二、二次型与对称矩阵

我们熟悉的应用矩阵的地方是线性变换，它一般呈现这种形式

$$\begin{aligned} a_{11}x_1 + a_{12}x_2 = y_1 \\ a_{21}x_1 + a_{22}x_2 = y_2 \end{aligned}$$

然后就会被矩阵描述成

$$Y = AX$$

但是实际上还有一种常见的东西被叫做二次型，大概是指最高次为 2 次的多项式，比如说

$$(x_1 + x_2 + x_3)^2 = x_1^2 + x_2^2 + x_3^2 + 2x_1x_2 + 2x_2x_3 + 2x_1x_3$$

其实也可以被矩阵概括成

$$X^TAX$$

其中

$$A = \left[ \begin{matrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{matrix} \right]$$

这种形式同样值得研究，毕竟圆锥曲线可以用这个表示。

---

三、投影与法线

关于 $y$ 在 $x$ 方向上的投影（如果认为投影是有向的），那么可以写作

$$\hat y = \frac{y^T x}{x^Tx} x$$

那么相应的，过 $y$ 做 $x$ 的法线就是

$$y - \hat y = y - \frac{y^T x}{x^Tx} x$$

其本质是将投影量减掉。

类似的，如果有多个 $u$ （这是一组单位正交基）构成一个高维平面，那么 $y$ 在这个平面上的投影是

$$\hat y = y^Tu_1 \cdot u_1 + y^Tu_2 \cdot u_2 + y^Tu_n \cdot u_n$$

也就是

$$\hat y = UU^T$$