ResNet

ResNet 基于残差连接（Residual Connection）理论，可以避免网络层数增多时的退化问题和梯度问题。正是因为 ResNet ，才有了深度学习（网络层数才上去）。其数学原理为：

$$y=FFN(x)+x$$

有一种说法是，如果我们有无限精度的浮点数机器（而不是现在这样的 Float32, Float16），那么是不需要残差连接的。换句话说，残差连接是为了抵消由于多层网络导致的精度下降问题（向量经过多次空间变换，开始变得“模糊”，就像近视的人看远方物体一样）。