基于密度的分布式聚類方法

　　 聚類是數(shù)據(jù)挖掘領(lǐng)域中的一種重要的數(shù)據(jù)分析方法．它根據(jù)數(shù)據(jù)間的相似度，將無(wú)標(biāo)注數(shù)據(jù)劃分為若干聚簇.CSDP是一種基于密度的聚類算法，當(dāng)數(shù)據(jù)量較大或數(shù)據(jù)維數(shù)較高時(shí)，聚類的效率相對(duì)較低．為了提高聚類算法的效率，提出了一種基于密度的分布式聚類方法MRCSDP，利用MapReduce框架對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行聚類．該方法定義了獨(dú)立計(jì)算單元和獨(dú)立計(jì)算塊的概念，首先，將數(shù)據(jù)拆分為若干數(shù)據(jù)塊，構(gòu)建獨(dú)立計(jì)算單元和獨(dú)立計(jì)算塊，在集群中分配獨(dú)立計(jì)算塊的任務(wù)：然后進(jìn)行分布式計(jì)算，得到數(shù)據(jù)塊的局部密度，將局部密度合并得到全局密度，根據(jù)全局密度計(jì)算中心值，由全局密度和中心值得到每個(gè)數(shù)據(jù)塊中候選聚簇中心：最后，從候選聚簇中心選舉出最終的聚簇中心.MRCSDP在充分降低時(shí)間復(fù)雜度的基礎(chǔ)上得到較好的聚類效果．實(shí)驗(yàn)結(jié)果表明，分布式環(huán)境下的聚類方法MRCSDP相對(duì)于CSDP更能快速、有效地處理大規(guī)模數(shù)據(jù)。并使各節(jié)點(diǎn)負(fù)載均衡．