定义且训练一个合适的深度网络,能够识别一张全新的图像,归入到 CIFAR-1010 个类别中的一个

该项目是一个从实践出发,学习 KerasTensorflow 的项目中的一部分 项目地址

CIFAR-10 数据集

avatar

这是一个包含 10 个类别的 RGB 三通道彩色图片数据集,具有以下特点:

  • 数据集图片为 3 通道图像而不是灰度图像
  • 尺寸为 32 × 32
  • 50000 张训练图片和 10000 张测试图片

TensorFlow 官方示例

Tensorflow 官方示例提供了一份代码 https://www.tensorflow.org/tutorials/images/deep_cnn

文 件用 途
cifar10_input.pyTensorFlow 中加载 CIFAR-10 数据集
cifar10.py建立 CIFAR-10 模型
cifar10_train.py使用单个 GPUCPU 训练模型
cifar10_multi_gpu_train.py使用多块 GPU 训练模型
cifar10_eval.py使用测试集测试模型的性能

Keras 版本

简单版本

源码详见项目目录下的 simple.ipynb 项目地址

导入数据集

可以直接通过内置的 cifar10 模块导入数据集,然而下载数据集慢,所以考虑用离线下载。 keras 数据集的位置在 ~/.keras/datasets 下,下载数据集后放到该目录下,再调用 keras 的时候就会自动使用本地的数据集。

1
(x_train, y_train), (x_test, y_test) = cifar10.load_data()

数据预处理

对标签进行 one-hot 编码处理

1
2
3
# 转换为 one-hot 编码
y_train = np_utils.to_categorical(y_train, NB_CLASSES)
y_test = np_utils.to_categorical(y_test, NB_CLASSES)

将图像数据转换为 float 类型,并且归一化处理

1
2
3
4
5
# float 类型归一化处理
x_train = x_train.astype('float32')
x_test = x_test.astype('float32')
x_train /= 255
x_test /= 255

搭建模型

网格采用 32 个卷积滤波器,每个大小是 3 × 3 。输出的维度和输入的形状相同 padding='same' 所以也应该是 32 × 32 ,并且激活函数是 ReLU。之后进行 2 × 2 大小的最大池化运算,并关闭 25% 的神经元。

1
2
3
4
5
model.add(Conv2D(32, (3, 3), padding='same',
input_shape=(32, 32, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))

接着使用 展平层(Flatten)512 个单元构成全连接网络,并用 ReLU 激活。

1
2
3
model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))

关闭一半的神经元,加上作为输出的有 10 个类的 softmax 层,每个类对应一个类别。

1
2
3
model.add(Dropout(0.5))
model.add(Dense(NB_CLASSES))
model.add(Activation('softmax'))

训练模型

训练前先把训练集分为两部分,一部分训练,另一部分验证。训练集用来构建模型,校验集用来选择选择表现最好的方法,测试集是为了在新的未见过的数据上检验模型的性能。

1
2
model.fit(x_train, y_train, batch_size=BATCH_SIZE, epochs=NB_EPOCH,
validation_split=VALIDATION_SPLIT, verbose=VERBOSE)

更深的卷积神经网络

源码见项目目录下 v2.ipynb 项目地址

上面的准确度只有 0.6658 通过定义一个更深的、有更多卷积操作的网络,能够提高模型的准确率

所以这里定义这样一个模型,同样训练 20 轮能够达到 80% 以上的准确率

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
conv2d_1 (Conv2D) (None, 32, 32, 32) 896
_________________________________________________________________
activation_1 (Activation) (None, 32, 32, 32) 0
_________________________________________________________________
conv2d_2 (Conv2D) (None, 32, 32, 32) 9248
_________________________________________________________________
activation_2 (Activation) (None, 32, 32, 32) 0
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 16, 16, 32) 0
_________________________________________________________________
dropout_1 (Dropout) (None, 16, 16, 32) 0
_________________________________________________________________
conv2d_3 (Conv2D) (None, 16, 16, 64) 18496
_________________________________________________________________
activation_3 (Activation) (None, 16, 16, 64) 0
_________________________________________________________________
conv2d_4 (Conv2D) (None, 14, 14, 64) 36928
_________________________________________________________________
activation_4 (Activation) (None, 14, 14, 64) 0
_________________________________________________________________
max_pooling2d_2 (MaxPooling2 (None, 7, 7, 64) 0
_________________________________________________________________
dropout_2 (Dropout) (None, 7, 7, 64) 0
_________________________________________________________________
flatten_1 (Flatten) (None, 3136) 0
_________________________________________________________________
dense_1 (Dense) (None, 512) 1606144
_________________________________________________________________
activation_5 (Activation) (None, 512) 0
_________________________________________________________________
dropout_3 (Dropout) (None, 512) 0
_________________________________________________________________
dense_2 (Dense) (None, 10) 5130
_________________________________________________________________
activation_6 (Activation) (None, 10) 0
=================================================================
Total params: 1,676,842
Trainable params: 1,676,842
Non-trainable params: 0
_________________________________________________________________

扩展数据集

源码见项目目录下 v3.ipynb 项目地址

深度学习通常要求拥有充足数量的训练样本。一般来说,数据的总量越多,训练得到的模型的效果就会越好。在数据集有限的情况下,通常通过 数据增强(Data Augmentation) 来改善模型的训练效果。 数据增强 就是对输入的图像进行一些简单的平移、缩放、颜色等颜色变化,这些不会影响图像类别的操作,人工增大训练集样本的个数,从而获得更充足的训练数据,使模型训练的效果更好。

keras 已经提供了图像增强的 API 直接调用就可以

1
from keras.preprocessing.image import ImageDataGenerator

rotation_range 表示图片旋转的值, width_shift_rangeheight_shift_range 是对图片做随机水平或垂直变化时的范围, zoom_range 是随机缩放图片的变化值, horizontal_flip 是对选中的一般图片进行随机的水平翻转, fill_mode 表示填充新像素的策略

1
2
3
4
5
6
7
datagen = ImageDataGenerator(
rotation_range=40,
width_shift_range=0.2,
height_shift_range=0.2,
zoom_range=0.2,
horizontal_flip=True,
fill_mode='nearest')

给上面设置好的图片生成器匹配数据

1
datagen.fit(x_train)

在训练的时候,调用图片生成器,使生成器针对模型并发运行。可以让图像在 CPU 上拓展时, 在 GPU 上并行训练。注意,此时训练非常耗时。

1
2
model.fit_generator(datagen.flow(x_train, y_train, batch_size=BATCH_SIZE),
steps_per_epoch=x_train.shape[0], epochs=NB_EPOCH, verbose=VERBOSE)

关于卷积神经网络的相关内容还可以通过复现一个实战项目练手 人脸表情识别与卡通化