我是张量流分布和双射器的新手。我知道他们在设计tensorflow分发程序包时会将张量的形状分为三组:[样本形状,batch_shape,event_shape]。但是我发现很难理解为什么当我们定义一个新的bijector类时,它们总是将父类的事件维定义为1。例如,以下代码是Real-NVP bijector类,并且在其init函数中:

super(NVPCoupling, self).__init__(
                event_ndims=1, validate_args=validate_args, name=name)


但是据我所知,这个真正的NVP类正在作用于事件维为D的张量上,对吗?

def net(x, out_size):
        return layers.stack(x, layers.fully_connected, [512, 512, out_size])

    # Affine Coupling layer for Real-NVP


    class NVPCoupling(tfb.Bijector):
        """NVP affine coupling layer for 2D units.
        """

        def __init__(self, D, d, layer_id=0, validate_args=False, name="NVPCoupling"):
            """
            Args:
              d: First d units are pass-thru units.
            """
            # first d numbers decide scaling/shift factor for remaining D-d numbers.
            super(NVPCoupling, self).__init__(
                event_ndims=1, validate_args=validate_args, name=name)
            self.D, self.d = D, d
            self.id = layer_id
            # create variables here
            tmp = tf.placeholder(dtype=DTYPE, shape=[1, self.d])
            self.s(tmp)
            self.t(tmp)

        def s(self, xd):
            with tf.variable_scope('s%d' % self.id, reuse=tf.AUTO_REUSE):
                return net(xd, self.D - self.d)

        def t(self, xd):
            with tf.variable_scope('t%d' % self.id, reuse=tf.AUTO_REUSE):
                return net(xd, self.D - self.d)

        def _forward(self, x):
            xd, xD = x[:, :self.d], x[:, self.d:]
            yD = xD * tf.exp(self.s(xd)) + self.t(xd)  # [batch, D-d]
            return tf.concat([xd, yD], axis=1)

        def _inverse(self, y):
            yd, yD = y[:, :self.d], y[:, self.d:]
            xD = (yD - self.t(yd)) * tf.exp(-self.s(yd))
            return tf.concat([yd, xD], axis=1)

        def _forward_log_det_jacobian(self, x):
            event_dims = self._event_dims_tensor(x)
            xd = x[:, :self.d]
            return tf.reduce_sum(self.s(xd), axis=event_dims)


同样,当我们使用样本张量训练它时,该张量的形状为[batch_size,D]。但是tmp占位符的形状为[1,self.d],而不是[Batch_size,self.d]。这是什么原因。
希望一些专家可以澄清这一点。谢谢。

最佳答案

event_ndims是事件维数,而不是输入的大小。因此,event_ndims=1对向量进行运算,event_ndims=2对矩阵进行运算,依此类推。请参见__init__类的Bijector文档字符串。

08-20 00:43