我正在尝试将经过训练的模型从检查点文件转换为tflite。我正在使用tf.lite.LiteConverter。浮点转换在合理的推理速度下运行良好。但是INT8转换的推断速度非常慢。我试图通过馈入一个非常小的网络进行调试。我发现INT8模型的推理速度通常比float模型慢。
在INT8 tflite文件中，我发现了一些称为ReadVariableOp的张量，在TensorFlow的官方mobilenet tflite模型中不存在。
我不知道是什么原因导致INT8推理的缓慢。
最佳答案
您可能使用了x86 cpu而不是带有arm指令的cpu。您可以在这里引用它https://github.com/tensorflow/tensorflow/issues/21698#issuecomment-414764709
关于tensorflow - tflite量化推论非常慢，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/58349690/