我是张量流分布和双射器的新手。我知道他们在设计tensorflow分发程序包时会将张量的形状分为三组:[样本形状,batch_shape,event_shape]。但是我发现很难理解为什么当我们定义一个新的bijector类时,它们总是将父类的事件维定义为1。例如,以下代码是Real-NVP bijector类,并且在其init函数中:
super(NVPCoupling, self).__init__(
event_ndims=1, validate_args=validate_args, name=name)
但是据我所知,这个真正的NVP类正在作用于事件维为D的张量上,对吗?
def net(x, out_size):
return layers.stack(x, layers.fully_connected, [512, 512, out_size])
# Affine Coupling layer for Real-NVP
class NVPCoupling(tfb.Bijector):
"""NVP affine coupling layer for 2D units.
"""
def __init__(self, D, d, layer_id=0, validate_args=False, name="NVPCoupling"):
"""
Args:
d: First d units are pass-thru units.
"""
# first d numbers decide scaling/shift factor for remaining D-d numbers.
super(NVPCoupling, self).__init__(
event_ndims=1, validate_args=validate_args, name=name)
self.D, self.d = D, d
self.id = layer_id
# create variables here
tmp = tf.placeholder(dtype=DTYPE, shape=[1, self.d])
self.s(tmp)
self.t(tmp)
def s(self, xd):
with tf.variable_scope('s%d' % self.id, reuse=tf.AUTO_REUSE):
return net(xd, self.D - self.d)
def t(self, xd):
with tf.variable_scope('t%d' % self.id, reuse=tf.AUTO_REUSE):
return net(xd, self.D - self.d)
def _forward(self, x):
xd, xD = x[:, :self.d], x[:, self.d:]
yD = xD * tf.exp(self.s(xd)) + self.t(xd) # [batch, D-d]
return tf.concat([xd, yD], axis=1)
def _inverse(self, y):
yd, yD = y[:, :self.d], y[:, self.d:]
xD = (yD - self.t(yd)) * tf.exp(-self.s(yd))
return tf.concat([yd, xD], axis=1)
def _forward_log_det_jacobian(self, x):
event_dims = self._event_dims_tensor(x)
xd = x[:, :self.d]
return tf.reduce_sum(self.s(xd), axis=event_dims)
同样,当我们使用样本张量训练它时,该张量的形状为[batch_size,D]。但是tmp占位符的形状为[1,self.d],而不是[Batch_size,self.d]。这是什么原因。
希望一些专家可以澄清这一点。谢谢。
最佳答案
event_ndims
是事件维数,而不是输入的大小。因此,event_ndims=1
对向量进行运算,event_ndims=2
对矩阵进行运算,依此类推。请参见__init__
类的Bijector
文档字符串。