我想在样本外测试集预测中计算机器学习回归的RMSE的置信区间。
我的训练集是样本的前80％，“样本外”测试集是样本的后20％。我将测试集预测的RMSE视为样本外性能，并希望计算该RMSE的CI。
我的一个想法是在前80％中重新采样训练集，但是每次迭代都使用相同的测试集。这似乎代表了在不同可能的训练场景下测试集上RMSE的配置项。但是，这不能说明测试集中可能存在的变化。
这种方法明智吗？有没有更好的方法来解决我的问题？谢谢！
最佳答案
您是否有理由将测试集固定为观察的精确样本？
一种方法是将数据集按照您当前使用的80-20的比例重复地分为训练集和测试集。每次随机（带替换）拆分后，照常进行。也就是说，训练模型，然后根据测试数据计算RMSE。例如，您可以执行这种形式的10,000个引导程序，保存关联的RMSE值，并计算这些值的置信区间。
参见例如Hastie et al的第5章。
关于machine-learning - Bootstrap置信区间用于预测，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/48854791/