我是tensorflow的新手，并想通过MNIST数据集的可用训练钩Training Hooks在tf.estimator.DNNRegressor中实现早期停止。如果在某些指定的步数上损失没有改善，则提前停止钩将停止训练。 Tensorflow文档仅提供Logging hooks的示例。有人可以编写代码片段来实现它吗？
最佳答案
这是一个EarlyStoppingHook示例实现：
import numpy as np
import tensorflow as tf
import logging
from tensorflow.python.training import session_run_hook
class EarlyStoppingHook(session_run_hook.SessionRunHook):
"""Hook that requests stop at a specified step."""
def __init__(self, monitor='val_loss', min_delta=0, patience=0,
mode='auto'):
"""
"""
self.monitor = monitor
self.patience = patience
self.min_delta = min_delta
self.wait = 0
if mode not in ['auto', 'min', 'max']:
logging.warning('EarlyStopping mode %s is unknown, '
'fallback to auto mode.', mode, RuntimeWarning)
mode = 'auto'
if mode == 'min':
self.monitor_op = np.less
elif mode == 'max':
self.monitor_op = np.greater
else:
if 'acc' in self.monitor:
self.monitor_op = np.greater
else:
self.monitor_op = np.less
if self.monitor_op == np.greater:
self.min_delta *= 1
else:
self.min_delta *= -1
self.best = np.Inf if self.monitor_op == np.less else -np.Inf
def begin(self):
# Convert names to tensors if given
graph = tf.get_default_graph()
self.monitor = graph.as_graph_element(self.monitor)
if isinstance(self.monitor, tf.Operation):
self.monitor = self.monitor.outputs[0]
def before_run(self, run_context): # pylint: disable=unused-argument
return session_run_hook.SessionRunArgs(self.monitor)
def after_run(self, run_context, run_values):
current = run_values.results
if self.monitor_op(current - self.min_delta, self.best):
self.best = current
self.wait = 0
else:
self.wait += 1
if self.wait >= self.patience:
run_context.request_stop()
此实现基于Keras implementation。
要将其与CNN MNIST example一起使用，请创建钩子并将其传递给
train。early_stopping_hook = EarlyStoppingHook(monitor='sparse_softmax_cross_entropy_loss/value', patience=10)
mnist_classifier.train(
input_fn=train_input_fn,
steps=20000,
hooks=[logging_hook, early_stopping_hook])
在此示例中，
sparse_softmax_cross_entropy_loss/value是损失op的名称。编辑1：
似乎在使用估计量时（或我找不到）没有找到损失节点的“官方”方法。
对于
DNNRegressor，此节点的名称为dnn/head/weighted_loss/Sum。这是在图中找到它的方法：
在模型目录中启动tensorboard。在我的情况下，我没有设置任何目录，因此estimator使用临时目录并打印以下行：
WARNING:tensorflow:Using temporary folder as model directory: /tmp/tmpInj8SC启动张量板：
tensorboard --logdir /tmp/tmpInj8SC
在浏览器中将其打开，然后导航至GRAPHS选项卡。
在图中找到损失。按以下顺序展开块：
dnn→head→weighted_loss，然后单击Sum节点（请注意，已连接名为loss的摘要节点）。右侧信息“窗口”中显示的名称是所选节点的名称，需要将其传递给
monitor参数pf EarlyStoppingHook。默认情况下，
DNNClassifier的“丢失”节点具有相同的名称。 DNNClassifier和DNNRegressor都具有可选参数loss_reduction，该参数会影响丢失节点的名称和行为（默认为losses.Reduction.SUM）。编辑2：
有一种无需查看图表即可发现损失的方法。
您可以使用
GraphKeys.LOSSES集合获得损失。但是这种方式只有在训练开始后才有效。因此，您只能在挂钩中使用它。例如，您可以从
monitor类中删除EarlyStoppingHook参数并更改其begin函数以始终使用集合中的第一个损失：self.monitor = tf.get_default_graph().get_collection(tf.GraphKeys.LOSSES)[0]
您可能还需要检查集合中是否有丢失。