一、Selu激活函数torch
Selu激活函数是深度学习中常用的激活函数之一,常用于卷积神经网络中,可以使得梯度不会消失或爆炸。在Pytorch中,我们可以使用torch.nn.SELU来使用Selu激活函数。其定义如下:
import torch.nn as nn import torch.nn.functional as F class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc1 = nn.Linear(28 * 28, 256) self.fc2 = nn.Linear(256, 64) self.fc3 = nn.Linear(64, 10) def forward(self, x): x = F.selu(self.fc1(x)) x = F.selu(self.fc2(x)) x = self.fc3(x) return x
二、Selu激活函数的特点
Selu激活函数是一种自适应的激活函数,可以将网络的输出规范化为一个稳定值。在Selu激活函数中,输入为负值时激活函数表现为指数函数,而在正值时则表现为线性函数,这种特性可以保持梯度不会消失或爆炸。
Selu激活函数还可以通过自身的归一化来对输入数据进行处理,常数$\alpha$和$\lambda$的设定可以让数据的均值和方差保持为一个常数,这样可以有效地处理数据的偏态分布问题。
使用Selu激活函数的神经网络可以取得非常好的效果,在图像分类、语音识别等领域都有广泛的应用。
三、Selu激活函数torch代码
我们可以使用以下代码在pytorch中实现Selu激活函数:
import torch.nn.functional as F def selu(x, alpha=1.67326, scale=1.0507): """ Selu激活函数 """ return scale * ( F.threshold(-alpha*x, -1) + F.elu(x, 1) )
四、Relu激活函数
Relu激活函数是一种常用的激活函数,可以有效地解决梯度消失问题。其定义如下:
$$f(x)=\max(0,x)$$
当$x<0$时,输出为0,当$x>=0$时,输出为$x$。
五、Relu激活函数公式
Relu激活函数的公式为:
$$f(x)=\begin{cases} x, & \text{if } x \geq 0 \\ 0, & \text{otherwise} \end{cases}$$
六、Silu激活函数
Silu激活函数是一种新的激活函数,可以简单地写作Sigmoid Linear Unit,其定义如下:
$$f(x)=x\cdot\sigma(x)$$
其中$\sigma(x)$为Sigmoid函数
七、Relu激活函数的作用
Relu激活函数可以解决深度神经网络中的梯度消失问题,使得网络的训练速度更快、效果更好。Relu激活函数公式简单,计算速度快,因此被广泛地应用于卷积神经网络中。
八、Relu激活函数是线性函数
当$x>=0$时,Relu激活函数输出为$x$,因此可以看作是一种线性函数。而当$x<0$时,Relu激活函数输出为0,因此在$x<0$时,它是一个非线性函数。
九、Swish激活函数
Swish激活函数是一种目前比较流行的激活函数,其定义如下:
$$f(x)=\frac{x}{1+e^{-\beta x}}$$
其中$\beta$是一个可调的超参数。
Swish激活函数是在Sigmoid激活函数的基础上发展而来的,可以同时具备Sigmoid和Relu的一些优点,如低频的平滑可微分性和高频的非线性性。