基于Hash改進(jìn)的k-means算法并行化設(shè)計(jì)

　　為了解決kmeans算法在Hadoop平臺(tái)下處理海量高維數(shù)據(jù)時(shí)聚類效果差，以及已有的改進(jìn)算法不利于并行化等問(wèn)題，提出了一種基于Hash改進(jìn)的并行化方案。將海量高維的數(shù)據(jù)映射到一個(gè)壓縮的標(biāo)識(shí)空間，進(jìn)而挖掘其聚類關(guān)系，選取初始聚類中心，避免了傳統(tǒng)k-means算法對(duì)隨機(jī)選取初始聚類中心的敏感性，減少了k-means算法的迭代次數(shù)。又結(jié)合MapReduce框架將算法整體并行化，并通過(guò)Partition、Combine等機(jī)制加強(qiáng)了并行化程度和執(zhí)行效率。實(shí)驗(yàn)表明，該算法不僅提高了聚類的準(zhǔn)確率和穩(wěn)定性，同時(shí)具有良好的處理速度。