卷积神经网络的隐藏层: 卷积神经网络的隐藏层会由卷积层和池化层组成。在每个卷积层,我们把一个小型的过滤器,在原始图片中扫过和进行卷积操作。卷积操作就是矩阵相乘,然后把结果加总。与此同时,该过滤器也在训练过程中被优化。在训练几遍后,过滤器会筛选出不同的特征。 池化层一般用于降低纬度。图片会包含很多像素点,当图片特征纬度大幅下降时,将会使得神经网络学习变得简单很多。池化层在减少参数的个数(纬度)时有非常显著的作用。也会减少计算成本,避免过拟和。目前有两种普遍的池化操作: Max Pooling-选择最大值; Average Pooling-汇总所有值,然后取平均 (1) Batch(批):使用训练集中的一小部分样本对模型权重进行一次反向传播的参数更新,这一小部分样本被称为“一批数据”;1个batch包含的样本的数目,即一次训练所选取的样本数,通常设为2的n次幂,常用的包括64,128,256。 网络较小时选用256,较大时选用64。 (2)Iteration(迭代):使用一个Batch数据对模型进行一次参数更新的过程,称为“一次训练”;全部数据被训练的次数。 (3)Epoch(代):使用训练集的全部数据进行一次完整训练,称为“一代训练”;完成一次epoch所需的batch个数=训练集大小/批大小。