Layers

Notation

• Grad of a function f wrt A : ${\nabla }_{A}f$
• Neuron Pre activation : Z
• Activations : Y
• Tensor shape : (w,h,c)
• Matrix multi : $A\cdot B$
• Hadmard prod (coeff wise) : $A\circ B$