machine-learning - Keras文本预处理-将Tokenizer对象保存到文件中以进行评分

我已经按照以下步骤（广泛地）使用Keras库训练了情感分类器模型。


使用Tokenizer对象/类将文本语料库转换为序列
使用model.fit（）方法建立模型
评估这个模型


现在，使用该模型进行评分，我能够将模型保存到文件中并从文件中加载。但是我还没有找到一种方法来将Tokenizer对象保存到文件中。没有这个，我每次需要评分甚至一个句子时都必须处理语料库。有没有解决的办法？

最佳答案

最常见的方法是使用pickle或joblib。这里有一个有关如何使用pickle来保存Tokenizer的示例：

import pickle

# saving
with open('tokenizer.pickle', 'wb') as handle:
    pickle.dump(tokenizer, handle, protocol=pickle.HIGHEST_PROTOCOL)

# loading
with open('tokenizer.pickle', 'rb') as handle:
    tokenizer = pickle.load(handle)