python - 用于确定k均值中的k的k倍交叉验证？

在文档聚类过程中，作为数据预处理步骤，我首先应用奇异矢量分解来获得U，S和Vt，然后通过选择合适的特征值数量来截断Vt，这现在给了我一个很好的文档文档我读过here的相关性。现在，我在矩阵Vt的列上执行聚类，以将相似的文档聚类在一起，为此，我选择了k均值，初始结果对我来说是可以接受的(k = 10聚类)，但是我想对选择进行深入探讨k值本身。为了确定k均值中的簇k的数量，我是suggested来研究交叉验证。

在实现它之前，我想弄清楚是否存在使用numpy或scipy实现它的内置方法。目前，我执行kmeans的方法是简单地使用scipy中的函数。

import numpy, scipy

# Preprocess the data and compute svd
U, S, Vt = svd(A) # A is the TFIDF representation of the original term-document matrix

# Obtain the document-document correlations from Vt
# This 50 is the threshold obtained after examining a scree plot of S
docvectors = numpy.transpose(self.Vt[0:50, 0:])

# Prepare the data to run k-means
whitened = whiten(docvectors)
res, idx = kmeans2(whitened, 10, iter=20)

假设到目前为止我的方法是正确的(如果我错过了一些步骤，请纠正我)，在此阶段，使用输出执行交叉验证的标准方法是什么？关于如何将其应用于k均值的任何引用/实现/建议将不胜感激。

最佳答案

要运行k倍交叉验证，您需要某种质量的度量来进行优化。这可以是分类度量(例如precision或F)，也可以是专门的度量(例如V-measure)。

即使我知道的聚类质量度量也需要标记的数据集(“基本事实”)才能起作用。分类的区别在于，您只需要对部分数据进行标记即可进行评估，而k均值算法可以利用所有数据来确定质心，从而确定聚类。

V-measure和several other scores是在scikit-learn中实现的，还有通用的cross validation代码和“网格搜索”模块，可使用k倍CV根据指定的评估方法进行优化。 免责声明:尽管我没有写任何提及的代码，但我参与了scikit-learn开发。

关于python - 用于确定k均值中的k的k倍交叉验证？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/6629165/