我在TensorFlow中实现了一个网络,需要花费很长时间来训练,因此想对其进行分析以查看哪些部分导致了较长的运行时间。

为此,我按照here指令捕获运行时和内存信息。我的代码如下所示:

// define network
loss = ...
train_op = tf.train.AdamOptimizer().minimize(loss, global_step=global_step)

// run forward and backward prop for one batch
run_metadata = tf.RunMetadata()
options = tf.RunOptions(trace_level=tf.RunOptions.FULL_TRACE)
_,loss,sum = sess.run([train_op,loss,sum], feed_dict=fd, options=options, run_metadata=run_metadata)
writer.add_run_metadata(run_metadata, 'step_%d' % step)


然后,我可以在TensorBoard中看到“会话运行”。但是,一旦加载会话运行,图形中的大多数操作就会变为橙色,如下所示,并且它们没有运行时或内存信息:

tensorflow - Tensorboard并不显示所有操作的运行时/内存-LMLPHP

根据传说,这些操作是“未使用的”。但是事实并非如此,因为除了“损失”和“选择”之外,几乎所有其他内容都像这样显示。显然,必须使用整个网络来计算损耗。所以我真的不明白为什么这样显示图表。

我在Tesla K40c上使用TF 1.3。

最佳答案

我曾经遇到过与Tensorboard相同的问题,除了渐变和优化器操作之外,我的会话运行中未注册任何内容。

我通过将Tensorflow的版本升级到1.4版本来修复它。

10-08 07:56