machine-learning - 虚拟批处理规范化和批处理规范化有什么区别？

我知道什么是批量标准化，但我不太了解如何进行虚拟批量标准化。您如何选择参考样品？

最佳答案

区别在于，前者的每个批次x都是基于参考样本示例中收集的统计数据进行归一化的，这些参考样本被选择一次并在训练开始时进行了固定，而在后者中，该批次自身进行了归一化。后者受每个小批量生产中样品相互依存的影响。

我认为这就像您在locally weighted linear regression中选择查询点的方式一样。您只需根据自己的经验选择一个即可。

实际上，demo in the official repository在他们开始训练时仅使用第一批。

if not hasattr(self, name):
    vbn = VBN_cls(tensor, name, half=half)
    setattr(self, name, vbn)
    return vbn.reference_output

如果在整个培训过程中保持不变，则可以选择任何批次作为参考批次。

关于machine-learning - 虚拟批处理规范化和批处理规范化有什么区别？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/50917182/