python - 谷歌云机器学习超参数调整避免Nans

我正在运行google云机器学习测试版-并使用tensorflow的hypertune设置。
在超参数优化的一些子运行中，我的损失变成了NaNs，这会导致计算崩溃，进而停止超参数优化工作。

Error reported to Coordinator: <class  'tensorflow.python.framework.errors.InvalidArgumentError'>,
Nan in summary histogram for: softmax_linear/HistogramSummary [[Node: softmax_linear/HistogramSummary = HistogramSummary[T=DT_FLOAT,
_device="/job:master/replica:0/task:0/cpu:0"]
(softmax_linear/HistogramSummary/tag, softmax_linear/softmax_linear)]]
Caused by op u'softmax_linear/HistogramSummary', defined at: File
"/usr/lib/python2.7/runpy.py", line 162, in _run_module_as_main

处理这些问题的标准方法是什么？我应该保护损失功能吗？
谢谢

最佳答案

您应该通过检查NaNs来保护丢失功能。由程序引发的任何崩溃或异常都被Cloud ML视为试用失败，如果足够多的试用失败，则整个作业都将失败。
如果试验顺利进行而不设任何不符合要求的概要，则审判将被认为是不可行的，而重新审理类似于不太可能再次审理，但这不会是一个错误。