leakyrelu

[adduu345]

We use leakyrelu to implement the deep training technique.

x = torch.nn.functional.leaky_relu(x,self.act_learn)

这行代码，self.act_learn=1, 相当于不做激活， 它的作用仅仅是将网络变深吗？