python - 如何使用 global_step 计算调用 tf.cond 的谓词？

我想根据 global step 的值执行不同的计算。这是我正在尝试做的一个最小的例子:

import tensorflow as tf

global_step = tf.train.get_or_create_global_step()
incr_global_step = global_step.assign(global_step + 1)

w = tf.cond(tf.equal(tf.mod(global_step, 2), 0),
            lambda : tf.get_variable('w1', initializer=tf.zeros([], dtype=tf.int32)),
            lambda : tf.get_variable('w2', initializer=tf.ones([], dtype=tf.int32)))

with tf.Session() as sess:
  sess.run(tf.global_variables_initializer())
  for _ in range(4):
    print(sess.run([w, incr_global_step]))

我收到以下错误:

FailedPreconditionError (see above for traceback): Attempting to use uninitialized value global_step
 [[Node: global_step/read = Identity[T=DT_INT64, _class=["loc:@global_step"], _device="/job:localhost/replica:0/task:0/cpu:0"](global_step)]]

这是预期的行为吗？如果是这样，我做错了什么？

我正在使用 tensorflow 1.2

最佳答案

所以是的，这确实很奇怪。我能够通过以下修改运行您的代码:

import tensorflow as tf

global_step = tf.train.get_or_create_global_step()
incr_global_step = global_step.assign(global_step + 1)

w = tf.cond(tf.equal(tf.mod(global_step.initialized_value(), 2), 0),
            lambda : tf.get_variable('w1', initializer=tf.zeros([], dtype=tf.int32)),
            lambda : tf.get_variable('w2', initializer=tf.ones([], dtype=tf.int32)).initialized_value())

with tf.Session() as sess:
  sess.run(tf.global_variables_initializer())
  for _ in range(4):
    print(sess.run([w, incr_global_step]))

请注意，我必须将 initialized_value 添加到 global_step 和 'w2' 中的变量 tf.cond ，但不知何故不能添加到 'w1' (你也可以把它放进去，它会工作，但如果你不这样做，它就不会归档，显然)。正如文档中提到的，这种方法通常不是必需的，它只是提供了一个变量的“ View ”，保证在变量初始化后使用。为什么 tf.cond 要求你使用它，为什么以这种不一致的方式，我不知道。

除此之外，请注意，您运行代码的方式实际上并不是确定性的。一般来说，你会得到这个:

[1, 1]
[0, 2]
[1, 3]
[0, 4]

但不总是。这是我刚刚得到的输出:

[0, 1]
[0, 2]
[1, 3]
[0, 4]

这是因为增量和条件运行的顺序是不确定的。最好明确说明依赖关系，因此如果您希望 w 在增量后运行，您可以这样做:

import tensorflow as tf

global_step = tf.train.get_or_create_global_step()
incr_global_step = global_step.assign(global_step + 1)

with tf.control_dependencies([incr_global_step]):
    w = tf.cond(tf.equal(tf.mod(global_step.initialized_value(), 2), 0),
                lambda : tf.get_variable('w1', initializer=tf.zeros([], dtype=tf.int32)).initialized_value(),
                lambda : tf.get_variable('w2', initializer=tf.ones([], dtype=tf.int32)).initialized_value())

with tf.Session() as sess:
  sess.run(tf.global_variables_initializer())
  for _ in range(4):
    print(sess.run([w, incr_global_step]))

令人惊讶的是，我也需要为 initialized_value 添加 'w1'。这真的很矛盾。此外，在这种情况下的输出是:

[0, 2]
[1, 3]
[0, 4]
[1, 5]

现在，让我烦恼的是增量的结果从 2 开始。看起来增量运行的次数比预期的多。所以我觉得 tf.cond 以某种方式强制执行一次额外的第一次运行，这将是其奇怪行为的原因。

如果你想要相反的，有 w 在增量之前运行，你可以这样做:

import tensorflow as tf

w = tf.cond(tf.equal(tf.mod(global_step.initialized_value(), 2), 0),
            lambda : tf.get_variable('w1', initializer=tf.zeros([], dtype=tf.int32)),
            lambda : tf.get_variable('w2', initializer=tf.ones([], dtype=tf.int32)).initialized_value())

with tf.control_dependencies([w]):
    incr_global_step = global_step.assign(global_step + 1)

with tf.Session() as sess:
  sess.run(tf.global_variables_initializer())
  for _ in range(4):
    print(sess.run([w, incr_global_step]))

是的，我不再需要 'w1' 的 initialized_value 了。这产生:

[0, 1]
[1, 2]
[0, 3]
[1, 4]

我认为，这里的增量是有道理的。

关于python - 如何使用 global_step 计算调用 tf.cond 的谓词？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/45549625/