Tensorflow中如何高效实现Leaky ReLU操作？

本文共计852个文字，预计阅读时间需要4分钟。

从GitHub上转来的，其实是颇具创意的想法，什么时候自己也能写出这样精妙的代码就好了。原地实现高效的Leaky ReLU代码如下：我做了些改进，因为实际在tensorflow中使用，就将原来的ab替换为...

从github上转来，实在是厉害的想法，什么时候自己也能写出这种精妙的代码就好了

原地址：简易高效的LeakyReLu实现

代码如下：

我做了些改进，因为实在tensorflow中使用，就将原来的abs()函数替换成了tf.abs()

import tensorflow as tf def LeakyRelu(x, leak=0.2, name="LeakyRelu"): with tf.variable_scope(name): f1 = 0.5 * (1 + leak) f2 = 0.5 * (1 - leak) return f1 * x + f2 * tf.abs(x) # 这里和原文有不一样的，我没试验过原文的代码，但tf.abs()肯定是对的

补充知识：激活函数ReLU、Leaky ReLU、PReLU和RReLU

“激活函数”能分成两类——“饱和激活函数”和“非饱和激活函数”。

sigmoid和tanh是“饱和激活函数”，而ReLU及其变体则是“非饱和激活函数”。使用“非饱和激活函数”的优势在于两点：

1.首先，“非饱和激活函数”能解决所谓的“梯度消失”问题。

2.其次，它能加快收敛速度。