我有以下架构:
Conv1
Relu1
Pooling1
Conv2
Relu2
Pooling3
FullyConnect1
FullyConnect2
我的问题是，我应该在哪里应用批处理规范化？在TensorFlow中执行此操作的最佳功能是什么？
最佳答案
原始batch-norm paper规定在ReLU激活之前使用批处理规范。但是有证据表明，激活后使用batchnorm可能更好。这是Francois Chollet对Keras GitHub的评论:
第二个问题:在tensorflow中，您可以使用高级 tf.layers.batch_normalization 函数或低级 tf.nn.batch_normalization 。
关于python - 哪里可以在标准CNN上应用批量归一化，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/47143521/