nn.functional详细解读

一、normalize用法详解

normalize函数能够对数据做归一化处理，将数据缩放到0~1范围内。

import torch.nn.functional as F
import torch

x = torch.Tensor([[1, 2], [3, 4]])
norm_x = F.normalize(x, p=2, dim=1)
print(norm_x)

输出结果：
tensor([[0.4472, 0.8944],[0.6, 0.8]])

该例子中，p=2表示采用欧式距离进行归一化处理，dim=1表示对列向量进行处理。normalize还支持其他的p取值，例如p=1的曼哈顿距离。

二、dropout用法详解

在深度学习中，过度拟合是一个非常大的问题，dropout能够缓解过度拟合问题。

import torch.nn.functional as F
import torch

x = torch.Tensor([[1, 2], [3, 4]])
drop_x = F.dropout(x, p=0.5, training=True)
print(drop_x)

输出结果：
tensor([[0., 4.],[6., 8.]])

该例子中，p=0.5表示每个元素被随机dropout的概率为0.5，training=True表示dropout操作生效。如果training=False则表示不对数据做dropout，这是在测试时使用的。

三、pad用法详解

在一些场景中，需要对数据进行填充或者裁剪使得尺寸大小相同。pytorch提供了padding函数对数据进行填充操作。

import torch.nn.functional as F
import torch

inputs = torch.randn(1, 3, 5)
pad_inputs = F.pad(inputs, (1, 1, 0, 0), "constant", 0)
print(pad_inputs.shape)

输出结果：
torch.Size([1, 3, 7])

该例子中，pad_inputs在第2个维度上做了padding操作，补0长度为2（前1后1），第3个维度没有做padding操作。"constant"表示使用常数填充，0表示填充的常数为0。

四、cross_entropy用法详解

交叉熵是在分类问题中常用的一种损失函数，nn.functional模块中提供了cross_entropy函数，可以用于计算交叉熵损失。

import torch.nn.functional as F
import torch

inputs = torch.randn(2, 3)
targets = torch.Tensor([1, 2]).long()
loss = F.cross_entropy(inputs, targets)
print(loss)

输出结果：
tensor(2.0171)

该例子中，inputs为一个2行3列的随机flatten数组，targets为标签，cross_entropy计算inputs与targets的交叉熵损失。

五、softmax用法详解

softmax函数可以将一个向量转化为概率分布，常用于分类问题中。

import torch.nn.functional as F
import torch

inputs = torch.Tensor([[1, 2], [3, 4]])
softmax_inputs = F.softmax(inputs, dim=1)
print(softmax_inputs)

输出结果：
tensor([[0.2689, 0.7311],[0.2689, 0.7311]])

该例子中，dim=1表示对列向量进行softmax操作。