3.5.1 使用HDF5格式保存模型
通常把Keras模型保存为HDF5格式，该文件包含模型结构、模型权重值及优化器状态。使用HDF5格式时，即使你不再有权访问创建模型的代码，也可以从该文件重新创建相同的模型。
继续以印第安人发生糖尿病的二元分类问题为例，创建一个小型深度学习模型，并将整个模型都保存到HDF5文件中。
> # 在当前目录中创建models文件夹
> dir.create('models',showWarnings = TRUE)
> # # 导入数据集
> dataset <- read.csv('../data/pima-indians-diabetes.csv',skip = 9,header = F)
> X = as.matrix(dataset[,1:8])
> y = dataset[,9]
> # 定义及编译模型
> library(keras)
> # 定义及编译模型
> library(keras)
> model <- keras_model_sequential()
> model %>%
+ layer_dense(units = 12,input_shape = c(8),kernel_initializer = 'uniform', activation = 'relu') %>%
+ layer_dense(units = 8,kernel_initializer = 'uniform',activation = 'relu') %>%
+ layer_dense(units = 1,kernel_initializer = 'uniform',activation = 'sigmoid') %>%
+ compile(loss='binary_crossentropy',optimizer = 'adam',metrics = c('accuracy'))
> # 训练模型
> model %>% fit(
+ X, y,
+ batch_size = 10,
+ epochs = 100,
+ verbose = 0,
+ validation_split = 0.33
+ )
> # 保存整个模型
> save_model_hdf5(model,'models/model.h5')
> # 查看保存的文件
> list.files('models')
[1] "model.h5"
运行完以上程序代码后，在models文件夹中生成了保存整个模型的model.h5文件，可以通过load_model_hdf5将其导入。
> # 加载HDF5文件
> new_model <- load_model_hdf5('models/model.h5')
> # 利用加载的模型对X进行预测
> new_prediction <- predict(new_model,X)
> # 利用之前训练好的模型对X进行预测
> prediction <- predict(model,X)
> # 判断两次预测结果是否完全相同
> all.equal(new_prediction,prediction)
[1] TRUE
我们还可以将整体模型导出为TensorFlow的SavedModel格式，SaveModel是TensorFlow对象的独立序列化格式。注意，model_to_save_model仅适用于TensorFlow1.14及以上版本。
> # 保存为SaveModel格式
> model_to_saved_model(model,'models/savemodel/')
> list.files('models/savemodel/')
[1] "assets" "saved_model.pb" "variables"
> # 重新创建完全一致的模型
> new_model1 <- model_from_saved_model('models/savemodel/')
> # 与之前的预测结果进行对比
> new_prediction1 <- predict(new_model1,X)
> all.equal(new_prediction1,prediction)
[1] TRUE
SaveModel在新文件夹savemodel中创建的文件包含如下内容。
- 一个包含模型权重的TensorFlow检查点。
- 一个包含基础TensorFlow图的SaveModel原型。保存单独的图形以进行预测、训练和评估。如果模型不是以前编译过的，则仅导出推理图。
- 模型的结构配置（如果存在的话）。
有时候，如果你只对结构感兴趣，则无须保存权重值或优化器。在这种情况下，可以通过get_config()方法得到模型的结构，该方法返回一个命名列表，使得可以从头开始初始化重新创建相同的模型，而无须获取先前模型在训练期间学到的任何信息。
> config <- get_config(model)
> config
{'name': 'sequential', 'layers': [{'class_name': 'Dense', 'config': {'name': 'dense', 'trainable': True, 'batch_input_shape': (None, 8), 'dtype': 'float32', 'units': 12, 'activation': 'relu', 'use_bias': True, 'kernel_initializer': {'class_name': 'RandomUniform', 'config': {'minval': -0.05, 'maxval': 0.05, 'seed': None}}, 'bias_initializer': {'class_name': 'Zeros', 'config': {}}, 'kernel_regularizer': None, 'bias_regularizer': None, 'activity_regularizer': None, 'kernel_constraint': None, 'bias_constraint': None}}, {'class_name': 'Dense', 'config': {'name': 'dense_1', 'trainable': True, 'dtype': 'float32', 'units': 8, 'activation': 'relu', 'use_bias': True, 'kernel_initializer': {'class_name': 'RandomUniform', 'config': {'minval': -0.05, 'maxval': 0.05, 'seed': None}}, 'bias_initializer': {'class_name': 'Zeros', 'config': {}}, 'kernel_regularizer': None, 'bias_regularizer': None, 'activity_regularizer': None, 'kernel_constraint': None, 'bias_constraint': None}}, {'class_name': 'Dense', 'config': {'name': 'dense_2', 'trainable': True, 'dtype': 'float32', 'units': 1, 'activation': 'sigmoid', 'use_bias': True, 'kernel_initializer': {'class_name': 'RandomUniform', 'config': {'minval': -0.05, 'maxval': 0.05, 'seed': None}}, 'bias_initializer': {'class_name': 'Zeros', 'config': {}}, 'kernel_regularizer': None, 'bias_regularizer': None, 'activity_regularizer': None, 'kernel_constraint': None, 'bias_constraint': None}}]}
通过from_config()函数得到一个重新初始化的模型，该模型仅仅继承了之前模型的网络结构，并不包含模型训练得到的权重值（此时的权重值为初始化值）和优化器，如图3-25所示。
> reinitialized_model <- from_config(config) > summary(reinitialized_model)
图3-25 通过from_config()函数得到重新初始化的模型
现在，利用重新初始化的模型对训练数据集进行预测，并判断是否与最初模型model的预测结果一致。
> new_prediction2 <- predict(reinitialized_model,X) > all.equal(new_prediction2,prediction) [1] "Mean relative difference: 0.3864167"
从返回结果可知，两个结果是有差异的，原因在于我们重新初始化的模型只保留了模型结构，并不会保留模型状态（权重值和优化器）。
我们可以利用get_weights()函数得到模型权重值，返回一个数组列表。比如，在定义网络时，bias（偏置）项的初始化权重值默认为0。下面利用get_weights()函数查看model和reinitialized_model两者第一个隐藏层偏置项的权重值。
> # 查看第一个隐藏层的偏置项的权重值 > get_weights(model)[[2]] [1] -0.032459475 0.000000000 0.853002846 0.884543836 1.109097242 [6] 0.820603907 -0.349359781 0.788280964 -1.016711950 -0.009251177 [11] -0.999970675 -0.015671620 > get_weights(reinitialized_model)[[2]] [1] 0 0 0 0 0 0 0 0 0 0 0 0
可见，reinitialized_model仅仅继承了model的网络结构，并未保留model中的网络权重值，因为reinitialized_model每层中各神经元的偏置项的权重值均为0。可以利用set_weights()函数将reinitialized_model的权重值设置为与model的权重值一致。
> # 设置权重值 > weight <- get_weights(model) > set_weights(reinitialized_model,weight) > get_weights(reinitialized_model)[[2]] [1] -0.032459475 0.000000000 0.853002846 0.884543836 1.109097242 [6] 0.820603907 -0.349359781 0.788280964 -1.016711950 -0.009251177 [11] -0.999970675 -0.015671620 > new_prediction3 <- predict(reinitialized_model,X) > all.equal(new_prediction3,prediction) [1] TRUE
我们可以组合使用get_config()/from_config()和get_weights()/set_weights()，以相同状态重新创建模型。但是，与save_model_hdf5()不同，这将不包括训练配置和优化器。所以，如果想使用该模型进行训练，我们必须先使用compile()函数重新编译网络。
> # 直接编译会出错
> reinitialized_model %>% fit(
+ X, y,
+ batch_size = 10,
+ epochs = 100,
+ verbose = 0,
+ validation_split = 0.33)
Error in py_call_impl(callable, dots$args, dots$keywords) :
RuntimeError: You must compile your model before training/testing. Use `model.compile(optimizer, loss)`.
错误提示说明在利用reinitialized_model模型训练前需要利用compile()函数进行网络编译。
我们也可以通过save_model_weights_hdf5()函数将模型权重保存到磁盘中，并通过load_model_weights_hdf5()函数将其导入R。
> # 保存模型权重值到磁盘中 > save_model_hdf5(model,'models/model_weights.h5') > # 加载到R中 > new_model3 <- from_config(get_config(model)) > load_model_weights_hdf5(new_model3,'models/model_weights.h5')
新创建的new_models模型与reinitialized_model相同，注意，此模型的优化器也未保留。所以，最简单的保存模型的方法如下：
save_model_hdf5(model, "model.h5")
new_model <- load_model_hdf5("model.h5")