如何在使用Keras时正确应用Leaky ReLU等高级激活函数？

本文共计923个文字，预计阅读时间需要4分钟。

在Keras实现CNN等系列网络时，我们经常使用ReLU作为激活函数，一般写法如下：

pythonfrom keras import layersfrom keras import modelsmodel=models.Sequential()model.add(layers.Conv2D(32, (3, 3), activation='relu'))

在用Keras来实现CNN等一系列网络时，我们经常用ReLU作为激活函数，一般写法如下：

from keras import layers from keras import models model = models.Sequential() model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1))) model.add(layers.MaxPooling2D((2, 2))) model.add(layers.Conv2D(64, (3, 3), activation='relu')) model.add(layers.MaxPooling2D((2, 2))) model.add(layers.Conv2D(64, (3, 3), activation='relu'))

上面这段代码实现了一个基本的卷积神经网络，用ReLU作为激活函数,关于ReLU具体内容不做详细介绍。还有一些常用的主流激活函数：

softmax: 在多分类中常用的激活函数，是基于逻辑回归的。

Softplus：softplus(x)=log(1+e^x)，近似生物神经激活函数，最近出现的。

Relu：近似生物神经激活函数，最近出现的。