我正在阅读本文Understanding Deep learning requires rethinking generalization,但无法弄清楚为什么在第5页的2.2含义下,Redemacher复杂性该界限是微不足道的?
由于我们的randomiyation测试表明许多神经网络完美地拟合了带有随机标签的训练集,因此我们期望对应模型类H的Rad(H)= 1。这当然是Rademacher复杂度的微不足道的上限,导致在实际设置中有用的泛化界限。
显然我缺少有关Radmacher的一些知识,因为我不明白他们如何得出这个结论。如果有人可以向我解释我将非常感谢
最佳答案
在本文中,函数h
的边界为1,因此Rademacher复杂度的平均值为1(您将n
项的总和等于1并除以n
)。