K-means算法介紹

簡(jiǎn)單來說，K-means算法是一種無監(jiān)督算法，不需要事先對(duì)數(shù)據(jù)集打上標(biāo)簽，即ground-truth，也可以對(duì)數(shù)據(jù)集進(jìn)行分類，并且可以指定類別數(shù)目 牧師-村民模型

K-means 有一個(gè)著名的解釋：牧師—村民模型：

有四個(gè)牧師去郊區(qū)布道，一開始牧師們隨意選了幾個(gè)布道點(diǎn)，并且把這幾個(gè)布道點(diǎn)的情況公告給了郊區(qū)所有的村民，于是每個(gè)村民到離自己家最近的布道點(diǎn)去聽課。聽課之后，大家覺得距離太遠(yuǎn)了，于是每個(gè)牧師統(tǒng)計(jì)了一下自己的課上所有的村民的地址，搬到了所有地址的中心地帶，并且在海報(bào)上更新了自己的布道點(diǎn)的位置。牧師每一次移動(dòng)不可能離所有人都更近，有的人發(fā)現(xiàn)A牧師移動(dòng)以后自己還不如去B牧師處聽課更近，于是每個(gè)村民又去了離自己最近的布道點(diǎn)……就這樣，牧師每個(gè)禮拜更新自己的位置，村民根據(jù)自己的情況選擇布道點(diǎn)，最終穩(wěn)定了下來。

牧師的目的非常明顯，就是要讓每個(gè)來上自己課的村民走的路程最少

算法步驟 指定k個(gè)中心點(diǎn) 更新數(shù)據(jù)點(diǎn)所屬類別：計(jì)算每個(gè)數(shù)據(jù)點(diǎn)到這k個(gè)點(diǎn)的歐氏距離，距離最小即為這個(gè)數(shù)據(jù)點(diǎn)的類別 更新中心點(diǎn)坐標(biāo)：對(duì)每一個(gè)類別的數(shù)據(jù)點(diǎn)求平均，平均值即為新的中心點(diǎn)位置偽代碼

獲取m個(gè)n維的數(shù)據(jù)隨即選取k個(gè)點(diǎn)作為初始中心點(diǎn)while keep_changing:for i in range(m):for j in range(k):計(jì)算每個(gè)點(diǎn)到center的距離判斷離哪個(gè)點(diǎn)更近for center in range(k):更新類別中心點(diǎn)的坐標(biāo)

用Python實(shí)現(xiàn)K-means聚類算法

import numpy as npimport matplotlib.pyplot as pltimport sklearn.datasets as datasetsdef create_data(): X,y = datasets.make_blobs(n_samples=1000,n_features=2,centers=[[1,0],[5,4],[2,3],[10,8],[7,4]]) return X,ydef init_centers(data,k): m, n =data.shape # m 樣本個(gè)數(shù)，n特征個(gè)數(shù) center_ids = np.random.choice(m,k) centers = data[center_ids] return centersdef cal_dist(ptA,ptB): return np.linalg.norm(ptA-ptB)def kmeans_process(data,k): centers = init_centers(data, k) m, n = data.shape keep_changing = True pred_y = np.zeros((m,)) while keep_changing:keep_changing = False# 計(jì)算剩余樣本所屬類別for i in range(m): min_distance = np.inf for center in range(k):distance = cal_dist(data[i,:],centers[center,:])if distance<min_distance: # 判斷離哪個(gè)更近 min_distance = distance idx = center # 類別換下 if pred_y[i] != idx: # 判斷是否發(fā)生了改變keep_changing = True pred_y[i] = idx# 更新類別中心點(diǎn)坐標(biāo)for center in range(k): cluster_data = data[pred_y==center] centers[center,:] = np.mean(cluster_data, axis=0) # 求相同類別數(shù)據(jù)點(diǎn)的質(zhì)心點(diǎn)print(centers) return centers, pred_yif __name__ == ’__main__’: X, y = create_data() centers , pred_y = kmeans_process(data=X, k=5) plt.scatter(X[:,0], X[:,1], s=3, c=pred_y) plt.scatter(centers[:,0], centers[:,1], s=10, c=’k’) plt.show()

效果圖

到此這篇關(guān)于Python實(shí)現(xiàn)K-means聚類算法并可視化生成動(dòng)圖步驟詳解的文章就介紹到這了,更多相關(guān)Python可視化K-means聚類算法內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！