Relu

• $ReLU(x)=max(0,x)$
• $\frac{d}{d_x}ReLU(X)=\{\begin{array}{ll}0& x\ge 0\\ 1& otherwise\end{array}$
• He init
• MLP, CNN : Hidden
• 
• Leaky Relu
• PRelu
• Noisy Relu