K表示使用Mahout进行聚类

时间:2011-11-25 17:01:48

标签: cluster-analysis data-mining mahout k-means

我正在使用给定here的聚类技术来聚类大型数据集,这在Mahout示例中给出。但是,当我想象特定的聚类时,我得到下图。

Mahout k-means visualization.

我真的很难理解这实际意味着什么并且有几个问题。

  1. 所有彩色线条表示什么?
  2. 这么多集群是什么意思?
  3. 为什么几个地区人满为患,为什么其他地区不拥挤?
  4. 为什么很少有彩色线条相互重叠?

1 个答案:

答案 0 :(得分:3)

k-means不是最先进的聚类技术。圆圈作为一种可视化技术具有误导性,它实际上将数据空间划分为Voronoi单元格(在维基百科上查找)。它也喜欢类似大小的集群。

  1. 我假设不同的颜色表示k-means的不同迭代。它需要多次运行来优化其结果(通常只达到局部最小值,不同的运行将导致不同的结果)。所以结果还不是很稳定,我想。它们只是缓慢移动,这就是它们不重叠的原因。

  2. 簇数是k-means的参数。它通常表示为k。 k-means无法确定簇的数量,但如果使用多个k值运行,则可以测试哪个结果最适合数据集。

  3. k-means不看密度。你需要一个基于密度的聚类算法。 k-means更喜欢类似大小的集群。你的“k”可能太高了。

  4. 由于它们是迭代更新的,因此不同的迭代不应该重叠太多。