python - 每个 channel 的Tensorflow量化

使用当前的Tensorflow quantization ops，我将如何在推理期间模拟每通道量化？此paper将每层量化定义为


  我们可以为整个张量指定一个量化器（由比例尺和零点定义），称为每层量化


和每通道量化为


  对于每个卷积内核，每通道量化具有不同的比例和偏移。


假设我们有这个子图

import tensorflow as tf

x = np.random.uniform(size=500*80*64*1)
      .astype('float32')
      .reshape(500, 80, 64, 1)
W1 = tf.get_variable('W1', 9, 5, 1, 96],
                    initializer=tf.truncated_normal_initializer(stddev=0.1))
h1 = tf.nn.conv2d(x, w, strides=[1, 1, 1, 1], padding='VALID')

在当前的当前API下，我可能会做类似的事情来在推理时模拟每层量化

import tensorflow as tf

x = np.random.uniform(size=500*80*64*1)
      .astype('float32')
      .reshape(500, 80, 64, 1)
min_x = tf.reduce_min(x)
max_x = tf.reduce_max(x)

W1 = tf.get_variable('W1', 9, 5, 1, 96],
                    initializer=tf.truncated_normal_initializer(stddev=0.1))
min_W1 = tf.reduce_min(W1)
max_W1 = tf.reduce_max(W1)

qX = tf.quantize(A, min_X, max_X, tf.quint8, mode='MIN_FIRST')
qW = tf.quantize(W, min_W, max_W, tf.quint8, mode='MIN_FIRST')

# This is how one would simulate per layer quantization for convolution.
qAW = tf.nn.quantized_conv2d(qX[0], qW[0], qX[1], qX[2], qW[1], qW[2],
strides = [1, 1, 1, 1], padding='VALID')

我的问题是如何模拟每个通道的量化？据我了解，tf.quantization.quantize实际上是在按层进行量化，而不是按通道进行量化。同样，tf.nn.quantized_conv2d实际上是对量化层内核卷积进行量化层输入。

根据我对每通道量化的理解，将有k，output_min和output_max。在我的示例中，k是96（内核数，类似于此API）。

张量流中是否有任何现有的Ops可以处理每个通道的量化，或者是否可以使其与现有的ops一起使用？

最佳答案

目前，尚无法在tflite上模拟每个通道的量化推断。
正如我所看到的，如今的tensorflow开发人员正在实现experimental symmetric per channel quantization。但是没有办法测试