是否有任何实用程序/软件包可在某些带有标签的测试数据上显示回归模型的各种性能指标?我可以轻松编写一些基本内容,例如RMSE,R平方等,但也许可以使用一些额外的实用程序进行可视化,或者报告预测置信度/方差的分布,或者其他我没想到的东西。通常在大多数培训实用程序(如插入号的火车)中都报告了此情况,但仅在培训数据(AFAICT)上报告过。提前致谢。

最佳答案

可以使用推荐的程序包引导来计算模型参数的引导置信区间。这是一个非常通用的软件包,需要您编写一个简单的包装函数以返回感兴趣的参数,使模型与一些提供的数据拟合,并返回模型系数之一,同时还要照顾其余的工作,进行采样和计算间隔等

还考虑插入符号包,它是围绕大量建模功能的包装,但也提供了使用独立的测试集或对训练数据进行重采样(k倍,自举)使用一系列指标比较模型性能的工具。 。脱字号备有充分的文档,并且非常易于使用,尽管要充分利用它,您确实需要熟悉要使用的建模功能。

10-04 11:13
查看更多