AI 编译器优化的几种方法

网络inference阶段conv层和BN层的融合

层融合，合并卷积层和BN层

关于BN层

深度学习中的batch的大小对学习效果有何影响？

batch的概念

Batch大小是一个超参数，用于定义在更新内部模型参数之前要处理的样本数。将批处理视为循环迭代一个或多个样本并进行预测。在批处理结束时，将预测与预期输出变量进行比较，并计算误差。从该错误中，更新算法用于改进模型，例如沿误差梯度向下移动。训练数据集可以分为一个或多个Batch。当所有训练样本用于创建一个Batch时，学习算法称为批量梯度下降。当批量是一个样本的大小时，学习算法称为随机梯度下降。当批量大小超过一个样本且小于训练数据集的大小时，学习算法称为小批量梯度下降。

· 批量梯度下降。批量大小=训练集的大小

· 随机梯度下降。批量大小= 1

· 小批量梯度下降。1 <批量大小<训练集的大小

在小批量梯度下降的情况下，流行的批量大小包括32,64和128个样本。您可能会在文献和教程中看到这些值在模型中使用。

如果数据集没有按批量大小均匀分配怎么办？

在训练模型时经常会发生这种情况。它只是意味着最终批次的样品数量少于其他批次。或者，您可以从数据集中删除一些样本或更改批处理大小，以便数据集中的样本数按批次大小均匀划分。

caffe中常用层: BatchNorm层详解_BigCowPeking-CSDN博客_batchnorm层

BN层的概念