一種在分布式環(huán)境下實現(xiàn)冪迭代聚類的方法

　　為解決冪迭代聚類算法并行實現(xiàn)中存在的編程繁瑣、效率低下等問題，基于Spark大規(guī)模數(shù)據(jù)通用計算引擎及其GraphX組件，提出了一種在分布式環(huán)境下實現(xiàn)冪迭代聚類的方法。首先，利用某種相似性度量方法，將原始數(shù)據(jù)轉(zhuǎn)換成一個可以視為圖的親和矩陣；然后，通過頂點切割，把行歸一化后的親和矩陣切分成若干個小圖，分別存儲在不同的機器上；最后，利用Spark基于內(nèi)存計算的特點，對存儲在集群中的圖進行多次迭代計算，得到這個圖的一個切割，圖的每一個劃分子圖對應(yīng)一個類簇。在不同規(guī)模的數(shù)據(jù)集和不同executor個數(shù)下進行的實驗結(jié)果表明，基于GraphX的分布式冪迭代聚類算法具有良好的可擴展性，算法運行時間與executor個數(shù)呈負相關(guān)的線性關(guān)系，在6個executor下，與單個executor相比，算法的加速比達到了2.09到3.77。同時，通過與基于Hadoop的冪迭代聚類進行對比，在新聞數(shù)量為40000篇時，運行時間降低了6l%。