小批量梯度下降算法详解

发布时间：2023-05-17

一、梯度下降法原理和步骤

梯度下降法是机器学习中常用的优化算法，可以帮助我们得到函数的最小值。它的原理是通过不断地迭代，找到函数的局部最小值或全局最小值。步骤如下：

  1. 给定一个初始值。
  2. 将该值代入函数，得到梯度。
  3. 将梯度乘以一个步长，从而得到一个新的位置。
  4. 重复步骤2和3，直到函数的值不再下降为止。 梯度下降法的缺点是容易陷入局部最小值，不一定能够找到全局最小值。

二、随机梯度下降的优缺点

随机梯度下降与梯度下降法类似，只是在每一次迭代时，只考虑一个样本的损失函数。优点是收敛速度快，缺点是比较不稳定，容易收敛到局部最小值。此外，随机梯度下降算法也容易受到噪声的影响。

三、小批量梯度下降的优点

小批量梯度下降是随机梯度下降和梯度下降的一种折中方案，它在每次迭代时，使用小批量样本的损失函数来更新参数。相比于随机梯度下降，它的优点在于更加稳定，容易收敛到全局最小值。而相对于梯度下降法，它的优点在于训练速度更快，内存占用更小，可以处理更大规模的数据集。

四、小批量梯度下降中的小批量体现在

小批量指的是每次更新参数时使用的样本数。一般来说，该值是在几百个到几千个之间。小批量梯度下降可以看作是梯度下降和随机梯度下降的结合体，比起全量梯度下降和随机梯度下降，小批量梯度下降的代价函数误差比全量梯度下降小，参数的更新比随机梯度下降更加稳定。

五、小批量梯度下降法步骤

  1. 给定一个初始值。
  2. 将该值代入函数，得到损失函数。
  3. 从训练数据中随机抽取一小批量样本。
  4. 计算该小批量样本的损失函数，并计算梯度。
  5. 将梯度乘以一个步长，从而得到一个新的位置。
  6. 重复步骤3到5，直到满足停止条件。

六、小批量梯度下降公式

假设代价函数为 $ J(\theta) $，$ \theta $ 为参数向量。则小批量梯度下降的更新公式如下：

     θ = θ - α(1/m)∑^i_j=1∇_θJ_i(θ)

其中，$ m $ 为小批量样本的大小，$ α $ 为学习率，$ ∇_θJ_i(θ) $ 为对于第 $ i $ 个样本的损失函数求导结果。该公式表示，每一次更新参数时，我们需要对本批量样本中的每个样本求得损失函数的梯度，然后对这些梯度做平均，得到一个平均梯度。最后，将参数向量减去学习率乘以平均梯度，进行参数的更新。

七、小批量梯度下降法adm

ADM 是 Adaptive Moment Estimation 的缩写，是一种常用的、自适应学习率的优化方法。在小批量梯度下降中，通常结合 ADM 使用。ADM 考虑了梯度的一阶矩估计和二阶矩估计，以此来自适应地调整学习率。

八、小批量随机梯度下降法

小批量随机梯度下降是小批量梯度下降和随机梯度下降的结合，即每次使用一小批量样本来计算梯度，同时也引入了一定的随机性。

九、小批量梯度下降法matlab实现

在 MATLAB 中，我们可以使用如下代码实现小批量梯度下降算法：

    alpha = 0.01;
    batch_size = 128;
    theta = randn(num_features, 1);
    num_batches = ceil(num_train_examples / batch_size);
    for epoch = 1:max_epochs
        perm = randperm(num_train_examples);
        x_train = x_train(:, perm);
        y_train = y_train(:, perm);
        for batch = 1:num_batches
            x_batch = x_train(:, (batch-1)*batch_size+1:batch*batch_size);
            y_batch = y_train(:, (batch-1)*batch_size+1:batch*batch_size);
            gradient = (1/batch_size) * x_batch * (sigmoid(x_batch' * theta) - y_batch)';
            theta = theta - alpha * gradient;
        end
    end

其中，batch_size 为小批量样本的大小，theta 为参数向量，num_batches 为迭代次数，perm 为随机打乱的样本索引。算法利用嵌套循环，对于每一个 epoch 和 batch，都计算一次损失函数的梯度，进行一次参数的更新。

推荐文章