一、什么是Adam优化器
Adam(Adaptive Moment Estimation)是一种常用的基于梯度下降的优化算法，它结合了Adagrad和RMSprop算法，能够快速自适应地调整学习率。它不仅适用于大规模数据和高维参数的深度学习模型，而且具有很好的鲁棒性和泛化能力。
二、Adam优化器参数设置
在使用Adam优化器时，需要设置一些参数，包括学习率、β1和β2、ϵ等。下面我们来详细讨论如何设置这些参数。
1. 学习率
学习率α决定了每次梯度更新的步长，它是Adam优化器中最重要的超参数之一。通常，初始的学习率可以设置为0.001或0.0001，并使用学习率衰减技术来减小学习率。
# 设置Adam优化器
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
# 设置学习率衰减
scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, patience=2, threshold=0.001)
2. β1和β2
β1和β2分别表示梯度的一阶矩估计和二阶矩估计的指数衰减率。根据Adam算法的原理，β1通常取0.9，β2通常取0.999。
3. ϵ
ϵ是一个很小的常数，用来避免分母为0的情况，在Adam算法中通常取1e-8。
三、优化器设置最佳实践
在使用Adam优化器时，有一些最佳实践可以帮助我们更好地调整参数和提高模型性能。
1. 学习率调整
学习率的初始值对模型的性能影响极大，过小的学习率会导致收敛过慢，过大的学习率会导致振荡不收敛。因此，在使用Adam优化器时，我们通常使用学习率衰减技术来自适应地调整学习率，以保证模型的收敛速度和稳定性。
2. 参数初始化
良好的参数初始化可提高模型的性能和收敛速度。通常，我们使用一些传统的初始化方法，如均匀分布初始化、高斯分布初始化和xavier初始化等，也可以使用预训练模型的参数作为初始值。
3. 正则化
正则化技术可以有效解决过拟合问题，常用的正则化方法包括L1正则化、L2正则化和Dropout等。在使用Adam优化器时，我们可以通过在损失函数中添加正则化项来控制模型的复杂度。
4. 批次大小调整
批次大小是指在每次参数更新时，使用的样本数。适当的批次大小能够提高模型的训练速度和准确率。通常，我们可以在训练初期使用较大的批次大小，以加快模型的收敛速度，然后逐渐降低批次大小，以提高模型的精度。
五、完整代码示例
import torch
import torch.nn as nn
import torch.optim as optim
from torch.optim.lr_scheduler import ReduceLROnPlateau
# 定义模型
class MyNet(nn.Module):
def __init__(self):
super(MyNet, self).__init__()
self.conv1 = nn.Conv2d(3, 16, kernel_size=3, stride=1, padding=1)
self.conv2 = nn.Conv2d(16, 32, kernel_size=3, stride=1, padding=1)
self.fc1 = nn.Linear(32*8*8, 128)
self.fc2 = nn.Linear(128, 10)
self.relu = nn.ReLU()
self.pool = nn.MaxPool2d(kernel_size=2, stride=2)
self.softmax = nn.Softmax(dim=1)
def forward(self, x):
x = self.conv1(x)
x = self.relu(x)
x = self.pool(x)
x = self.conv2(x)
x = self.relu(x)
x = self.pool(x)
x = x.view(-1, 32*8*8)
x = self.fc1(x)
x = self.relu(x)
x = self.fc2(x)
x = self.softmax(x)
return x
# 数据加载
train_loader = torch.utils.data.DataLoader(train_data, batch_size=128, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_data, batch_size=128, shuffle=True)
# 设置Adam优化器
model = MyNet()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
# 设置学习率衰减
scheduler = ReduceLROnPlateau(optimizer, patience=2, threshold=0.001)
# 训练模型
for epoch in range(10):
model.train()
for i, (inputs, labels) in enumerate(train_loader):
optimizer.zero_grad()
outputs = model(inputs)
loss = criterion(outputs, labels)
loss.backward()
optimizer.step()
scheduler.step(loss)
model.eval()
with torch.no_grad():
total = 0
correct = 0
for j, (inputs, labels) in enumerate(test_loader):
outputs = model(inputs)
_, predicted = torch.max(outputs.data, 1)
total += labels.size(0)
correct += (predicted == labels).sum().item()
acc = 100 * correct / total
print('Epoch [{}/{}], Loss: {:.4f}, Test Accuracy: {:.2f}%'.format(epoch+1, 10, loss.item(), acc))
