本博文主要内容有
1、kmeans算法简介
2、kmeans执行过程
3、关于查看mahout中聚类结果的一些注意事项
4、kmeans算法图解
5、mahout的kmeans算法实现原理
6、kmeans算法运行时参数介绍
7、使用mahout自带的fpg算法来对我们的测数据
8、使用开始使用mahout自带的kmeans算法来对我们的测数据
K-means算法
Kmeans的介绍
（1）Kmeans算法是最为经典的基于划分的聚类方法，是十大经典数据挖掘算法之一。
（2）Kmeans算法的基本思想是：以空间中k个点为中心聚类，对最靠近它们的对象归类。
（3）通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。
关于kmeans迭代的体验，可以见博客。
mahout-distribution-0.9.tar.gz的安装的与配置、启动与运行自带的mahout算法
Kmeans的执行过程
1、假设要把样本集分为c个类别，算法描述如下：
（1）适当选择c个类的初始中心；
（2）在第k次迭代中，对任意一个样本，求其到c各中心的距离，将该样本归到距离最短的中心所在的类；
（3）利用均值等方法更新该类的中心值；
（4）对于所有的c个聚类中心，如果利用（2）（3）的迭代法更新后，值保持不变，则迭代结束，否则继续迭代。
2、该算法的最大优势在于简介和快速。算法的关键在于初始中心的选择和距离公式。
关于查看mahout中聚类结果的一些注意事项
mahout seqdumper ： 将SequenceFile文件转换成可读的文本形式，对应的源文件是org.apache.mahout.utils.SequenceFileDumper.java
mahout vectordump ： 将向量文件转成可读的文本形式，对应的源文件是org.apache.mahout.utils.vectors.VectorDumper.java
mahout clusterdump : 分析最后聚类的输出结果，对应的源文件是org.apache.mahout.utils.clustering.ClusterDumper.java
mahout-distribution-0.9.tar.gz的安装的与配置、启动与运行自带的mahout算法
比如
[hadoop@djt002 ~]$ $MAHOUT_HOME/bin/mahout seqdumper -i /user/hadoop/output/data/part-m- -o ~/res.txt
这里，我仅仅是用自带的来测试下。大家根据自己的实际去做。
注意：
/user/hadoop/output
这个输出目录，是mahout自带的kmeans算法里已经写死了的，所以每次，必须清空。
然后
sz res.txt 或者 cat res.txt
例如：
现有一份杂乱的样本数据，我们希望数据最后按照某些类别来划分（红豆分为红豆，绿豆分为绿豆等意思）。
聚类算法会从n个类的初始中心开始（如果没有人为设置，其会按照随机的初始中心开始）
什么意思呢？来看一张图。下面是kmeans算法图解。
第一张图（左1图）是，我没有指定中心点，让它自己去选，去聚类。
第二张图（中1图），是我们定义的一个k。
上图中，左一的圆圈图表示原始数据在随机的初始中心划分后的的分布，但是可以看出很明显cluster1中有很多是靠近cluster2的数据点
所以kmeans会根据规则再次计算出更加合适的中心点来进行划分。
这个规则就是：计算每个数据点，到原始中心cluster1和cluster2的距离，离谁比较近就划分到谁那边去（形如中间的圆圈图）。然后将cluster1和cluster2中的数据分别求平均值，得到的两个平均值成为新的cluster1和cluster2中心点。
但是很明显这样划分还是不够合理，所以kmeans会继续迭代计算每个数据到新的中心点的距离，离谁比较近就划分给谁，然后在分别求平均值得到新的中心点
直到cluster1和cluster2中的数据平均值不在发生变化时认为此时是最理想的划分方式（也可以进行人工的干预）。
kmeans图解
下面展示了对n个样本点进行kmeans聚类的效果，这里K取2。
（a） 准备数据，比如样本数据如图所示。即未聚类的初始点集
（b） 假设确定两个值，cluster1 和 cluster2。为什么是两个簇，是我们自己定义的。随机选取两个点作为聚类中心
（c） mahout中kmeans会去找每个点， 比较距离1和距离2哪个近，依次迭代下去。计算每个点到聚类中心的聚类，并聚类到离该点最近的聚类中去
（d）然后呢，把那些红点全部一起取个平均值，把那些蓝点也全部一起取个平均值。 计算每个聚类中所有点的坐标平均值，并将这个平均值作为新的聚类中心。
（e） 同时，再根据这平均值后得到的这两个点，分别再算距离。依次迭代，。重复(c)，计算每个点到聚类中心的聚类，并聚类到离该点最近的聚类中去
(e） 进一步精确啦！
（f）重复(d)，计算每个聚类中所有点的坐标平均值，并将这个平均值作为新的聚类中心
当然，我们若还要进一步更加精确的话，循环（a）(b)(c)(d)(e)这几步。
Mahout kmeans的实现（其实就是源码过程）
（1）参数input指定待聚类的所有数据点，clusters指定初始聚类中心
如果指定参数k，由org.apache.mahout.clustering.kmeans.RandomSeedGenerator.buildRandom通过org.apache.hadoop.fs直接从input指定文件中随机读取k个点放入cluster中。
（2）根据原数据点和上次迭代（或初始聚类）的聚类中心计算本次迭代的聚类中心，输出到cluster-N目录下。该过程由org.apache.mahout.clustering.kmeans下的KMeansMapper\KMeansCombiner\KMeansReducer\KMeansDriver实现
KMeansMapper：在configure中初始化mapper时读入上一次跌打产生或初始聚类中心（每个mapper都读入所有的聚类中心）；
map方法对输入的每个点，计算距离其最近的类，并加入其中输出key为该点所属聚类ID,value为KMeansInfo实例，包含点的个数和各分量的累加和。
KMeansCombiner: 本地累积KMeansMapper输出的同一聚类ID下的点个数和各分量的和
KMeansReducer : 累加同一聚类ID下的点个数和各分量的和，求本地迭代的聚类中心；并根据输入Delta判断该聚类是否收敛；上一次迭代聚类中心与本次迭代聚类中心距离 < Delta；输出各聚类中心和其是否收敛标记。
KMeansDriver : 控制迭代过程直至超过最大迭代次数或所有聚类都已收敛，每轮迭代后，KMeansDriver读取其clusters-N目录下的所有聚类，若所有聚类已经收敛，则整个kmeans聚类过程收敛了。
参数调整：
manhout kmeans聚类有两个重要参数: 收敛Delta 和 最大迭代次数。
参数介绍
bin/mahout kmeans \
-i <input vectors directory> \
-c <input clusters directory> \
-o <output working directory> \
-k <optional number of initial clusters to sample from input vectors> \
-dm <DistanceMeasure> \
-x <maximum number of iterations> \
-cd <optional output directory if present>
-ow <overwrite output directory if present>
-cl <run input vector clustering after computing Canopies>
-xm <execution method : sequential or mapreduce>
注意： 当-k被指定的时候， -c目录下的所有聚类都被重写，将从输入的数据向量中随机抽取-k个点作为初始聚类的中心。
kmeans流程图
案例零售retail.dat
http://fimi.ua.ac.be/data/
通过官网下载得到数据，或者拿最下面的数据也可以。
测试数据下载tail.txt（电商购物车数据）
[hadoop@djt002 mahoutData]$ pwd
/usr/local/mahout/mahoutData
[hadoop@djt002 mahoutData]$ ll
total
-rw-r--r-- hadoop hadoop Apr : data.txt
[hadoop@djt002 mahoutData]$ rz [hadoop@djt002 mahoutData]$ ll
total
-rw-r--r-- hadoop hadoop Apr : data.txt
-rw-r--r-- hadoop hadoop Apr : tail.txt
[hadoop@djt002 mahoutData]$
将这个数据tail.txt上传到hdfs://djt002://9000/user/hadoop/testdata/下（通过以下命令）
[hadoop@djt002 mahoutData]$ $HADOOP_HOME/bin/hadoop fs -put /usr/local/mahout/mahoutData/tail.txt hdfs://djt002:9000/user/hadoop/testdata/ 或者
[hadoop@djt002 mahoutData]$ $HADOOP_HOME/bin/hadoop fs -copyFromLocal /usr/local/mahout/mahoutData/tail.txt hdfs://djt002:9000/user/hadoop/testdata/
[hadoop@djt002 mahoutData]$ pwd
/usr/local/mahout/mahoutData
[hadoop@djt002 mahoutData]$ ll
total
-rw-r--r-- hadoop hadoop Apr : data.txt
-rw-r--r-- hadoop hadoop Apr : tail.txt
[hadoop@djt002 mahoutData]$ rz [hadoop@djt002 mahoutData]$ ll
total
-rw-r--r-- hadoop hadoop Apr : data.txt
-rw-r--r-- hadoop hadoop Apr : retail.dat
-rw-r--r-- hadoop hadoop Apr : tail.txt
[hadoop@djt002 mahoutData]$ $HADOOP_HOME/bin/hadoop fs -mkdir hdfs://djt002:9000/user/hadoop/mahoutData
[hadoop@djt002 mahoutData]$ $HADOOP_HOME/bin/hadoop fs -put /usr/local/mahout/mahoutData/retail.dat hdfs://djt002:9000/user/hadoop/mahoutData/
[hadoop@djt002 mahoutData]$
注意，是不需输入路径和输出路径的啊!（自带的jar包里都已经写死了的）
（注意：如果你是选择用mahout压缩包里自带的kmeans算法的话，则它的输入路径是testdata是固定死的，
即hdfs:djt002://9000/user/hadoop/testdata/ ）
并且每次运行hadoop都要删掉原来的output目录！
[hadoop@djt002 mahoutData]$ $HADOOP_HOME/bin/hadoop fs -rm hdfs://djt002:9000/user/hadoop/testdata/data.txt
[hadoop@djt002 mahoutData]$ $HADOOP_HOME/bin/hadoop fs -rm hdfs://djt002:9000/user/hadoop/testdata/tail.txt
通过以下命令去清空输入目录（没办吧，因为mahout自带的kmeans算法已经写死了）（为了保证输入数据每次只有一个，不混淆）
通过以下命令去清空输出目录（没办吧，因为mahout自带的kmeans算法已经写死了）
[hadoop@djt002 mahoutData]$ $HADOOP_HOME/bin/hadoop fs -rm -r hdfs://djt002:9000/user/hadoop/output/*
使用mahout自带的fpg算法来对我们的测数据
这里选择mahout中的自带的FpGrowth算法
$MAHOUT_HOME/bin/mahout fpg -i /user/hadoop/mahoutData/retail.dat -0 /user/hadoop/output -method mapreduce -s 1000 -regex '[]'
各个参数的意义：
-i:指定输入数据的路径
-o:指定输出结果的路径
-method:指定使用mapreduce方法
-s:最小支持度
-regex:使用指定的正则来匹配过滤数据
我这里是，用的是自定义的是输入路径和输出路径。
当然你也可以，用默认的输入路径是/user/hadoop/testdata ， 默认的输出路径是/user/hadoop/output
$MAHOUT_HOME/bin/mahout fpg -i /user/hadoop/testdata/retail.dat - /user/hadoop/output -method mapreduce -s -regex '[]'
[hadoop@djt002 mahoutData]$ $MAHOUT_HOME/bin/mahout fpg -i /user/hadoop/mahoutData/retail.dat -0 /user/hadoop/output -method mapreduce -s 1000 -regex '[]'
Running on hadoop, using /usr/local/hadoop/hadoop-2.6.0/bin/hadoop and HADOOP_CONF_DIR=
MAHOUT-JOB: /usr/local/mahout/mahout-distribution-0.9/mahout-examples-0.9-job.jar
17/04/28 20:09:16 WARN driver.MahoutDriver: Unable to add class: fpg
java.lang.ClassNotFoundException: fpg
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:191)
at org.apache.mahout.driver.MahoutDriver.addClass(MahoutDriver.java:237)
at org.apache.mahout.driver.MahoutDriver.main(MahoutDriver.java:128)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
17/04/28 20:09:16 WARN driver.MahoutDriver: No fpg.props found on classpath, will use command-line arguments only
Unknown program 'fpg' chosen.
对于mahout0.9及其以后版本，不能直接这么来干。
org.apache.mahout.fpm.pfpgrowth.FPGrowthDriver 等价于 fpg
得换成如下
[hadoop@djt002 mahoutData]$ $HADOOP_HOME/bin/hadoop jar /usr/local/mahout/mahout-distribution-0.9/mahout-examples-0.9-job.jar org.apache.mahout.fpm.pfpgrowth.FPGrowthDriver -i /user/hadoop/testdata/retail.dat -o /user/hadoop/output -method mapreduce -s 1000 -regex '[]'
或者（自定义输入路径和输出路径）
[hadoop@djt002 mahoutData]$ $HADOOP_HOME/bin/hadoop jar /usr/local/mahout/mahout-distribution-0.9/mahout-examples-0.9-job.jar org.apache.mahout.fpm.pfpgrowth.FPGrowthDriver -i /user/hadoop/mahoutData/retail.dat -o /user/hadoop/output -method mapreduce -s 1000 -regex '[]'
[hadoop@djt002 ~]$ $HADOOP_HOME/bin/hadoop jar /usr/local/mahout/mahout-distribution-0.9/mahout-examples-0.9-job.jar org.apache.mahout.fpm.pfpgrowth.FPGrowthDriver -i /user/hadoop/testdata/retail.dat -o /user/hadoop/output --method mapreduce --s --regex '[]' -k
现在开始使用mahout自带的kmeans算法来对我们的测数据
这里是用默认的输入路径/user/hadoop/testdata 和 默认的输出路径 /user/hadoop/output
[hadoop@djt002 mahoutData]$ $HADOOP_HOME/bin/hadoop jar /usr/local/mahout/mahout-distribution-0.9/mahout-examples-0.9-job.jar org.apache.mahout.clustering.syntheticcontrol.kmeans.Job
或者，你可以用自定义的输入路径和输出路径
[hadoop@djt002 mahoutData]$ $HADOOP_HOME/bin/hadoop jar /usr/local/mahout/mahout-distribution-0.9/mahout-examples-0.9-job.jar org.apache.mahout.clustering.syntheticcontrol.kmeans.Job -i /user/hadoop/mahoutData/retail.txt -o /user/hadoop/output
如果你在这一步，遇到这个问题，则见
Error: org.apache.mahout.math.CardinalityException: Required cardinality 10 but got 30问题解决办法
同样的，运行结果的数据要通过seqdumper来查看
$MAHOUT_HOME/bin/mahout seqdumper -i /user/hadoop/output/data/part-m- -o ~/retail_kmeans.txt
或者
$MAHOUT_HOME/bin/mahout seqdumper -i /user/hadoop/output/cluster-1/ -o ~/retail_kmeans.txt
这些都是自己弄的。
cat
~/retail_kmeans.txt
http://www.cnblogs.com/fengfenggirl/p/associate_mahout.html
http://book.51cto.com/art/201406/442565.htm