韩佳玮的《数据挖掘》第二版(属性选择方法-第297页至第300页)介绍了如何计算每个属性(年龄，收入，信用等级)和类别(“购买”或"is"或“否”)所获得的信息增益。
在该示例中，每个属性值是离散的，例如。年龄可以是青年/中/高级，收入可以是高/低/中，信用等级一般/优秀等。
我想知道如何将相同的信息增益应用于采用非离散数据的属性。例如收入属性采用任何货币金额，例如100.68、120.90等。
如果有1000个学生，则可能有1000个不同的数量值。
我们如何将相同的信息增益应用于非离散数据？任何教程/示例示例/视频url都会有很大帮助。
最佳答案
当目标变量是离散的(分类的)时，您只需在要考虑的左/右拆分中的类别的经验分布上计算熵，然后将它们的加权平均值与没有拆分的熵进行比较。
对于收入等连续目标变量，类似地定义为differential entropy。为了您的目的，您将假定集合中的值具有正态分布，并据此计算微分熵。从维基百科:
那只是值的方差的函数。注意，这是自然的，而不是熵的比特。要与上面的香农熵进行比较，您必须进行转换，这只是一个乘法。
关于machine-learning - 非离散数据集的信息增益，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/19192356/