BP

BP算法

BP

Posted by Mark on March 16, 2019

BP算法

前向传播

对于k,k+1 层的前向传播为:

反向传播

损失函数

Loss对k层$w^{(k)}, b^{(k)}$偏导数为:

假设:$\delta^{(k)} = \frac{\partial{L(y, \hat{y})}}{\partial{z^{(k)}}}$

计算$z^{(k)}$的导数

计算$\frac{\partial{z^{(k)}}}{\partial{w^{(k)}}}$

计算$\frac{\partial{z^{(k)}}}{\partial{b^{(k)}}}$

计算

反向传播

$$