BGD(批量梯度下降)一个batch的w梯度计算方式

batch epoch

batch:批,epoch:轮 epoches:轮数

假设有2000个样本,一个batch 200个样本,则一个epoch需要10batch
假设有200个神经元,则每个样本对应一个200维的神经元,一个batch神经元的size为[200,200]
在这里插入图片描述

神经网络反向传播求w的梯度

假设一个batch有200个样本,反向传播会出现200个梯度,而w的梯度等于这两百个梯度求平均
在这里插入图片描述