深入分析model.fit_generator函数

一、数据生成器

1、model.fit_generator负责的任务就是训练神经网络模型，但是要训练，需要大量的数据集。一般来讲，数据集的大小有限制，如果直接放入内存中进行训练，会非常耗时。这时就需要使用数据生成器来进行数据的生成和提供。

2、数据生成器可以解决内存有限的问题，每次只产一组数据输入模型中，来获取输出，并反馈Loss给模型，模型在此基础上进行参数更新。相比较于直接将所有数据一次性读入内存提高了运行效率。Keras提供了fit_generator函数，从而使训练过程变得更加容易。

3、数据生成器的实现需要调用keras.preprocessing.image.ImageDataGenerator()方法，并且指定一些参数。其中要注意的参数主要是rescale, shear_range, zoom_range, horizontal_flip等，分别指的是对图片进行缩放、剪裁、旋转、翻转等操作。

# 定义数据生成器
from keras.preprocessing.image import ImageDataGenerator

train_datagen = ImageDataGenerator(
        rescale=1./255,           # 图像缩放
        shear_range=0.2,          # 剪裁
        zoom_range=0.2,           # 缩放
        horizontal_flip=True)     # 翻转
val_datagen = ImageDataGenerator( rescale=1./255 )

# 提供数据, flow_from_directory读取本地文件
batch_size = 64
train_generator = train_datagen.flow_from_directory(
        train_data_dir,           # 训练数据路径
        target_size=(height, width),
        batch_size=batch_size,
        class_mode='binary')      # 图片分类，返回generator类
val_generator = val_datagen.flow_from_directory(
        val_data_dir,
        target_size=(height, width),
        batch_size=batch_size,
        class_mode='binary')

二、fit_generator参数详解

1、fit_generator函数也是负责训练模型，函数参数相对于fit函数会有所变化。如：steps_per_epoch、epochs、validation_data等。下面详细解释一下各个参数的含义。

2、 generator: 直接提供数据集的迭代器，这个generator只能包含图片的数据（x），而且不包含数据标签，比较少用。

3、 steps_per_epoch: 一个epoch包含的训练次数，每次批量size等于batch_size。比如总共有1000张图片，batch_size为10，那一个epoch需要训练1000/10=100次。

4、 epochs: 整个数据集迭代多少遍，才算完成一次训练。epochs越大，模型训练时间越长。

5、 validation_data: 验证集的数据，长度和batch_size有关，所以可以为空

history = model.fit_generator(
    train_generator,
    steps_per_epoch=train_generator.samples/train_generator.batch_size,    # 一个epoch的训练次数
    epochs=epochs,
    validation_data=val_generator,
    validation_steps=val_generator.samples/val_generator.batch_size,       # 一个epoch的验证次数
    verbose=1)

三、使用model.fit_generator的注意事项

1、使用fit_generator需要注意一些错误问题，这些错误可能会引起抛出异常(perhaps a result of too many generator iterations),而且这些错误在不同的环境下可能是不可重复的。

2、原因在于如果生成器返回的样本数量不是generator.batch_size的倍数，Keras会抛出异常。所以在完成训练之后，需要对训练好的模型进行一些存储操作，以便长时间保持模型不变。

3、同时，在对新数据进行预测的时候，需要注意图像的缩放等操作，否则会出现不符合预期的结果。

四、总结

本文对model.fit_generator函数进行了详细的解释和分析，讲述了使用过程中需要注意的问题和方法。对于使用Keras平台进行数据生成和训练的工程师来说，这篇文章非常实用。