基于tensorflow 2.4.1-gpu版本实现的
- 先实现tensorflow的模型，然后用
model=ASR_LSTM()
tf.saved_model.save(model, checkpoint_path)
- 在checkpoint_path生成
saved_model.pb的模型 - 使用tf-lite加载，进行量化
量化范围指定
import tensorflow as tf
import sys saved_model_dir = sys.argv[1]
tf_lite_model = sys.argv[2] # converted_model.tfliteconverter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.OPTIMIZE_FOR_SIZE]
tflite_quant_model = converter.convert()
open(tf_lite_model, "wb").write(tflite_quant_model)
- tf-lite实现前向，和tensorflow的结果进行对比
- tf-lite的模型可以用训练数据再finetune一下，便于根据上下限更好的进行参数量化
