我正在阅读本文Understanding Deep learning requires rethinking generalization,但无法弄清楚为什么在第5页的2.2含义下,Redemacher复杂性该界限是微不足道的?


  由于我们的randomiyation测试表明许多神经网络完美地拟合了带有随机标签的训练集,因此我们期望对应模型类H的Rad(H)= 1。这当然是Rademacher复杂度的微不足道的上限,导致在实际设置中有用的泛化界限。


显然我缺少有关Radmacher的一些知识,因为我不明白他们如何得出这个结论。如果有人可以向我解释我将非常感谢

最佳答案

在本文中,函数h的边界为1,因此Rademacher复杂度的平均值为1(您将n项的总和等于1并除以n)。

08-24 14:21