卷积神经网络训练过程中，参数都会发生变化。为了使饱和的非线性激活函数能够训练，则要求使用较低的学习率和合适的参数初始化，这样就降低了训练的速度。这种现象也称为内部协变量转移。将批量标准化引入模型训练，这样就可以使用高一点的学习率，对参数初始化要求不是很严苛。也能起到正则化的作用，可以提高10几倍，同时能够替代网络的dropout层。
使用类似sigmoid函数，随着x的增大，会使导数趋向于0，梯度不更新。
把训练过程中神经网络内部结点的变化称为内部协变量转移，消除它可以加快训练过程，批量标准化就是减小它的一个方法。
协方差：第一个是方差公式，第二个是协方差公式
协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。
单独标准化每个特征，使其具有零均值和单位方差
- 我的微信小程序
- 这是我的微信小程序扫一扫
-
- 我的微信公众号
- 我的微信公众号扫一扫
-
评论