互信息与预测分类的准确性或预测的MSE的关系是什么？数据挖掘中是否可能具有高精度/低MSE和低互信息性？
最佳答案
为几对概率分布定义了互信息。关于它与其他数量的关系，可以说的大部分内容在很大程度上取决于您如何计算和表示这些概率分布（例如，离散概率分布与连续概率分布）。
给定一组概率分布，分类准确性和相互信息之间的关系为studied in the literature。简而言之，至少对于离散的概率分布而言，一个数量会限制另一个数量。
我不了解有关MSE和相互信息之间关系的任何正式研究。
综上所述，如果我有一个具体的数据集，并且两个变量的互信息得分较低，而回归模型中的MSE却很低，那么我将认真研究一下如何计算互信息。之所以会发生这种情况，是因为有100种方法中有99种是因为香农熵的原始公式（以及扩展的互信息）用于连续/浮点数据，即使该方法仅适用于离散数据。
关于machine-learning - 相互信息和预测准确性，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/48588207/