1. 項(xiàng)目概述從數(shù)據(jù)迷霧到清晰圖景剛接觸數(shù)據(jù)分析或者機(jī)器學(xué)習(xí)的朋友可能都聽過“聚類”這個(gè)詞。聽起來有點(diǎn)玄乎但其實(shí)它的核心思想特別樸素物以類聚人以群分。給你一堆沒有標(biāo)簽的數(shù)據(jù)點(diǎn)比如一堆顧客的消費(fèi)記錄或者一堆文章的關(guān)鍵詞向量聚類算法要做的就是自動(dòng)地把相似的東西歸到一堆把不相似的東西分開。它不告訴你這一堆具體叫什么名字那是分類算法干的活但它能幫你發(fā)現(xiàn)數(shù)據(jù)內(nèi)部自然形成的“小團(tuán)體”或“結(jié)構(gòu)”。在數(shù)學(xué)建模競賽里這簡直是處理無標(biāo)簽數(shù)據(jù)、進(jìn)行探索性數(shù)據(jù)分析、降維或者作為復(fù)雜模型預(yù)處理步驟的“瑞士軍刀”。我自己在帶學(xué)生打數(shù)模比賽和做實(shí)際數(shù)據(jù)分析項(xiàng)目時(shí)聚類往往是打開局面的第一步。今天我就結(jié)合這些年踩過的坑和總結(jié)的經(jīng)驗(yàn)把幾個(gè)主流的聚類算法掰開揉碎了講清楚重點(diǎn)不只是它們?cè)趺从酶菫槭裁催@么用以及在什么場景下該選誰。2. 核心算法原理與選型邏輯面對(duì)一堆數(shù)據(jù)該用哪種聚類方法這不是拍腦袋決定的每種算法背后都有其獨(dú)特的“世界觀”和適用邊界。選錯(cuò)了輕則效果不佳重則得出完全誤導(dǎo)性的結(jié)論。2.1 距離度量聚類的基礎(chǔ)語言在談具體算法前必須統(tǒng)一“語言”即如何衡量兩個(gè)數(shù)據(jù)點(diǎn)的“相似”或“不相似”。這就是距離度量。不同的度量標(biāo)準(zhǔn)會(huì)直接改變聚類的結(jié)果。歐氏距離最直觀就是多維空間中的直線距離。公式是 \sqrt{\sum_{i1}^{n}(x_i - y_i)^2}。它適用于各個(gè)維度重要性相同、且量綱一致的數(shù)據(jù)通常需要先標(biāo)準(zhǔn)化。比如根據(jù)身高和體重對(duì)人群聚類用歐氏距離就挺合適。曼哈頓距離也叫城市街區(qū)距離計(jì)算的是各維度絕對(duì)差之和。公式是 \sum_{i1}^{n}|x_i - y_i|。它對(duì)異常值不如歐氏距離敏感。想象一下在棋盤格狀的城市里你不能穿樓只能沿街道走走的最短路徑就是曼哈頓距離。余弦相似度衡量的是兩個(gè)向量方向的差異而非距離。公式是 \frac{A \cdot B}{||A|| \cdot ||B||}。它在文本聚類中極其重要。比如兩篇文章用詞頻率可能差異很大一篇長一篇短但主題相似它們的詞向量方向就會(huì)接近余弦相似度高。此時(shí)若用歐氏距離可能會(huì)錯(cuò)誤地認(rèn)為它們不相似。注意選擇距離度量是第一步也是最容易被忽視的一步。對(duì)于混合型數(shù)據(jù)既有數(shù)值型又有分類型需要專門的處理比如用Gower距離。在數(shù)學(xué)建模中務(wù)必在論文中闡明你選擇某種距離度的理由這是嚴(yán)謹(jǐn)性的體現(xiàn)。2.2 K-means經(jīng)典的中心化劃分K-means的核心思想簡單暴力我先假定數(shù)據(jù)能分成K個(gè)簇然后找K個(gè)“中心點(diǎn)”質(zhì)心讓每個(gè)點(diǎn)到其所屬簇質(zhì)心的距離平方和最小。算法步驟初始化隨機(jī)選擇K個(gè)數(shù)據(jù)點(diǎn)作為初始質(zhì)心。分配遍歷所有數(shù)據(jù)點(diǎn)計(jì)算它們到每個(gè)質(zhì)心的距離將其歸入距離最近的質(zhì)心所在的簇。更新重新計(jì)算每個(gè)簇所有點(diǎn)的平均值將該平均值作為新的質(zhì)心。迭代重復(fù)步驟2和3直到質(zhì)心的位置不再發(fā)生顯著變化或達(dá)到最大迭代次數(shù)。它的優(yōu)勢很明顯原理簡單實(shí)現(xiàn)容易對(duì)于球形分布、簇大小相近的數(shù)據(jù)效率很高。但它的缺陷也同樣突出必須預(yù)先指定K值這在實(shí)際中往往是未知的。雖然可以用肘部法則、輪廓系數(shù)等方法來輔助選擇但增加了復(fù)雜性和不確定性。對(duì)初始質(zhì)心敏感不同的隨機(jī)種子可能導(dǎo)致完全不同的聚類結(jié)果。解決方案是多次運(yùn)行取最優(yōu)SSE最小的一次。對(duì)噪聲和異常值敏感一個(gè)遠(yuǎn)離群體的離群點(diǎn)會(huì)嚴(yán)重拉偏質(zhì)心的位置。只能發(fā)現(xiàn)球狀簇對(duì)于流形、環(huán)形等復(fù)雜形狀的數(shù)據(jù)K-means無能為力。K-means這是對(duì)K-means初始化的一個(gè)重大改進(jìn)。它不再完全隨機(jī)選初始點(diǎn)而是讓初始質(zhì)心彼此盡可能遠(yuǎn)離。具體步驟是第一個(gè)質(zhì)心隨機(jī)選選下一個(gè)質(zhì)心時(shí)計(jì)算每個(gè)點(diǎn)到已選質(zhì)心的最短距離距離越大的點(diǎn)被選中的概率越高。這樣能顯著提高算法的穩(wěn)定性和最終結(jié)果的質(zhì)量在大多數(shù)情況下都應(yīng)該使用K-means而非原始版本。2.3 DBSCAN基于密度的“掃地機(jī)器人”如果你受夠了預(yù)先指定K值并且數(shù)據(jù)形狀可能很怪異那么DBSCANDensity-Based Spatial Clustering of Applications with Noise是你的菜。它不預(yù)設(shè)簇的個(gè)數(shù)而是基于一個(gè)核心觀點(diǎn)簇是由密度相連的點(diǎn)的最大集合構(gòu)成的噪聲點(diǎn)存在于低密度區(qū)域。它有兩個(gè)關(guān)鍵參數(shù)Eps (ε)鄰域半徑。定義一個(gè)點(diǎn)的鄰域范圍。MinPts最小點(diǎn)數(shù)。對(duì)于一個(gè)點(diǎn)如果其Eps鄰域內(nèi)至少包含MinPts個(gè)點(diǎn)包括自己則該點(diǎn)稱為核心點(diǎn)。算法過程更像一個(gè)探索游戲隨機(jī)選擇一個(gè)未訪問的點(diǎn)。如果它是核心點(diǎn)則以此為核心開始創(chuàng)建一個(gè)新簇并遞歸地將其所有密度可達(dá)的點(diǎn)通過核心點(diǎn)鏈?zhǔn)竭B接都加入該簇。如果它是非核心點(diǎn)但可能被其他核心點(diǎn)密度可達(dá)則暫時(shí)標(biāo)記為邊界點(diǎn)后續(xù)會(huì)被歸入某個(gè)簇。如果它既不是核心點(diǎn)也無法從任何核心點(diǎn)到達(dá)則標(biāo)記為噪聲點(diǎn)。重復(fù)直到所有點(diǎn)都被訪問。DBSCAN的強(qiáng)大之處不需要指定簇?cái)?shù)K自動(dòng)發(fā)現(xiàn)。能識(shí)別任意形狀的簇只要密度連通環(huán)形、月牙形都可以。能有效處理噪聲點(diǎn)直接將其分離出來而不是強(qiáng)行歸入某個(gè)簇。它的挑戰(zhàn)參數(shù)敏感Eps和MinPts的選擇需要經(jīng)驗(yàn)或借助如k-距離圖等工具。參數(shù)設(shè)置不當(dāng)可能導(dǎo)致將所有點(diǎn)視為一個(gè)簇或全部視為噪聲。對(duì)密度差異大的簇效果不佳如果數(shù)據(jù)中不同簇的密度本身差異很大很難找到一個(gè)統(tǒng)一的Eps和MinPts來同時(shí)很好地刻畫它們。高維災(zāi)難在高維空間中所有點(diǎn)之間的距離都趨于相似使得基于距離的密度定義失效。2.4 層次聚類構(gòu)建數(shù)據(jù)的譜系樹層次聚類提供了一種不同的視角它不產(chǎn)生單一的聚類結(jié)果而是產(chǎn)生一個(gè)樹狀結(jié)構(gòu)譜系圖展示了數(shù)據(jù)點(diǎn)在不同粒度下是如何一步步合并或分裂的。這讓你可以自由選擇在哪個(gè)“高度”切割這棵樹來得到你想要的簇的數(shù)目。主要分為兩種方法凝聚層次聚類自底向上開始時(shí)每個(gè)點(diǎn)自成一簇然后迭代地將最相似距離最近的兩個(gè)簇合并直到所有點(diǎn)合并為一簇。需要定義簇間距離的計(jì)算方法單鏈接、全鏈接、平均鏈接等。分裂層次聚類自頂向下開始時(shí)所有點(diǎn)屬于一簇然后迭代地分裂最不相似的簇直到每個(gè)點(diǎn)自成一簇。這種方法計(jì)算量通常更大。其中單鏈接、全鏈接、平均鏈接的區(qū)別至關(guān)重要單鏈接取兩個(gè)簇中所有點(diǎn)對(duì)之間的最短距離。容易產(chǎn)生“鏈?zhǔn)叫?yīng)”擅長發(fā)現(xiàn)非球形的長條狀簇但對(duì)噪聲敏感。全鏈接取兩個(gè)簇中所有點(diǎn)對(duì)之間的最長距離。傾向于產(chǎn)生緊湊的、大小相近的球狀簇對(duì)噪聲相對(duì)魯棒。平均鏈接取兩個(gè)簇中所有點(diǎn)對(duì)之間的平均距離。是前兩者的折中也是最常用的方法之一。層次聚類的優(yōu)點(diǎn)是可以看到完整的聚類過程并通過譜系圖直觀選擇K值。缺點(diǎn)是計(jì)算復(fù)雜度高通常為O(n^3)或O(n^2 log n)不適合大數(shù)據(jù)集而且一旦合并或分裂步驟不可逆。3. 實(shí)戰(zhàn)流程從數(shù)據(jù)到洞察理論懂了上手才是關(guān)鍵。一個(gè)完整的聚類分析流程遠(yuǎn)不止調(diào)用一個(gè)sklearn.cluster.KMeans那么簡單。3.1 數(shù)據(jù)預(yù)處理磨刀不誤砍柴工聚類的效果極度依賴于輸入數(shù)據(jù)的質(zhì)量。糟糕的數(shù)據(jù)預(yù)處理會(huì)直接導(dǎo)致“垃圾進(jìn)垃圾出”。缺失值處理對(duì)于少量缺失可以考慮刪除或使用均值/中位數(shù)/眾數(shù)填充。對(duì)于聚類有時(shí)直接刪除缺失樣本是更安全的選擇避免填充引入的偏差影響距離計(jì)算。數(shù)據(jù)標(biāo)準(zhǔn)化/歸一化這是必須的步驟如果特征A的范圍是0-100特征B的范圍是0-1那么計(jì)算距離時(shí)特征A將完全主導(dǎo)結(jié)果。常用的方法有Z-score標(biāo)準(zhǔn)化(x - mean) / std。將數(shù)據(jù)轉(zhuǎn)換為均值為0標(biāo)準(zhǔn)差為1的分布。適用于數(shù)據(jù)分布近似正態(tài)的情況。Min-Max歸一化(x - min) / (max - min)。將數(shù)據(jù)縮放到[0, 1]區(qū)間。對(duì)異常值敏感。在建模論文中必須明確寫出你采用了哪種標(biāo)準(zhǔn)化方法及原因。特征選擇與降維如果特征非常多且可能存在冗余聚類在高維空間會(huì)變得困難“維數(shù)災(zāi)難”。可以考慮使用主成分分析PCA或t-SNE等降維方法在保留大部分信息的前提下將數(shù)據(jù)投影到低維空間再進(jìn)行聚類。這不僅能提升效率還能可視化結(jié)果。3.2 模型訓(xùn)練與參數(shù)調(diào)優(yōu)以最常用的K-means和DBSCAN為例看看在實(shí)際代碼和調(diào)參中要注意什么。K-means實(shí)戰(zhàn)要點(diǎn)from sklearn.cluster import KMeans from sklearn.preprocessing import StandardScaler import matplotlib.pyplot as plt # 1. 標(biāo)準(zhǔn)化數(shù)據(jù) scaler StandardScaler() X_scaled scaler.fit_transform(your_data) # 2. 利用肘部法則初步選擇K inertia [] K_range range(1, 11) for k in K_range: kmeans KMeans(n_clustersk, initk-means, random_state42, n_initauto) kmeans.fit(X_scaled) inertia.append(kmeans.inertia_) # 保存SSE plt.plot(K_range, inertia, bx-) plt.xlabel(k) plt.ylabel(Inertia) plt.title(The Elbow Method) plt.show()肘部法則看的是SSE下降的拐點(diǎn)。但有時(shí)拐點(diǎn)不明顯就需要結(jié)合輪廓系數(shù)。from sklearn.metrics import silhouette_score silhouette_scores [] for k in range(2, 11): # 輪廓系數(shù)要求至少2個(gè)簇 kmeans KMeans(n_clustersk, initk-means, random_state42, n_initauto) cluster_labels kmeans.fit_predict(X_scaled) silhouette_avg silhouette_score(X_scaled, cluster_labels) silhouette_scores.append(silhouette_avg) print(fFor n_clusters {k}, the average silhouette_score is : {silhouette_avg:.4f}) # 選擇輪廓系數(shù)最高的K best_k range(2, 11)[silhouette_scores.index(max(silhouette_scores))] print(fBest K based on silhouette score: {best_k})DBSCAN實(shí)戰(zhàn)要點(diǎn) DBSCAN的參數(shù)調(diào)試更藝術(shù)一些。一個(gè)常用的方法是繪制k-距離圖。from sklearn.neighbors import NearestNeighbors import numpy as np # 計(jì)算每個(gè)點(diǎn)到其第MinPts個(gè)最近鄰的距離 neighbors NearestNeighbors(n_neighborsMinPts) # 先假設(shè)一個(gè)MinPts比如5 neighbors_fit neighbors.fit(X_scaled) distances, indices neighbors_fit.kneighbors(X_scaled) # 將這些距離按升序排序 distances np.sort(distances[:, MinPts-1], axis0) plt.plot(distances) plt.xlabel(Points sorted by distance) plt.ylabel(f{MinPts}th nearest neighbor distance) plt.title(k-distance Graph for Eps selection) plt.show()在k-距離圖中尋找一個(gè)“拐點(diǎn)”或“膝蓋點(diǎn)”該點(diǎn)對(duì)應(yīng)的距離值可以作為Eps的一個(gè)較好估計(jì)。拐點(diǎn)之后曲線急劇上升意味著這些點(diǎn)遠(yuǎn)離其鄰居可能是噪聲或另一個(gè)簇的邊緣。MinPts通常從一個(gè)較小的值如數(shù)據(jù)維度*2開始嘗試。3.3 結(jié)果評(píng)估與可視化聚類是無監(jiān)督學(xué)習(xí)沒有絕對(duì)正確的標(biāo)簽因此評(píng)估更具挑戰(zhàn)性。內(nèi)部評(píng)估指標(biāo)僅基于數(shù)據(jù)本身輪廓系數(shù)計(jì)算一個(gè)點(diǎn)與同簇其他點(diǎn)的平均距離內(nèi)聚度a和與最近其他簇所有點(diǎn)的平均距離分離度b。輪廓系數(shù) s (b - a) / max(a, b)。取值范圍[-1, 1]越接近1表示聚類越好。Calinski-Harabasz指數(shù)簇間離散度與簇內(nèi)離散度的比值。值越大越好。Davies-Bouldin指數(shù)計(jì)算任意兩簇的“相似度”基于簇內(nèi)距離和簇間距離取平均值。值越小越好。外部評(píng)估指標(biāo)如果有真實(shí)標(biāo)簽調(diào)整蘭德指數(shù)衡量聚類結(jié)果與真實(shí)標(biāo)簽的相似度取值范圍[-1, 1]值越大越好隨機(jī)結(jié)果為0?；バ畔⒑饬績蓚€(gè)分布的共享信息量?？梢暬?對(duì)于二維或三維數(shù)據(jù)直接散點(diǎn)圖著色是最直觀的。對(duì)于高維數(shù)據(jù)可以先使用PCA或t-SNE降維至2D或3D再繪圖。可視化不僅能看簇的劃分還能觀察簇的形狀、密度以及噪聲點(diǎn)的分布是驗(yàn)證聚類效果不可替代的一環(huán)。4. 避坑指南與高階技巧這些經(jīng)驗(yàn)很多是教科書和官方文檔里不會(huì)寫的但卻是決定項(xiàng)目成敗的關(guān)鍵。4.1 參數(shù)選擇的陷阱與實(shí)戰(zhàn)心得K-means的“n_init”和“random_state”n_init指定了用不同質(zhì)心種子運(yùn)行算法的次數(shù)最終返回SSE最小的結(jié)果。一定要設(shè)置一個(gè)較大的值比如10或‘a(chǎn)uto’并結(jié)合random_state固定隨機(jī)種子以保證結(jié)果可復(fù)現(xiàn)。我見過太多人因?yàn)楹雎赃@個(gè)參數(shù)每次運(yùn)行結(jié)果都不一樣還以為算法不穩(wěn)定。DBSCAN的“MinPts”經(jīng)驗(yàn)法則一個(gè)常用的起點(diǎn)是 MinPts 數(shù)據(jù)維度 1。對(duì)于維度很高或數(shù)據(jù)量很大的情況可能需要適當(dāng)調(diào)大。MinPts太小如2會(huì)導(dǎo)致算法對(duì)噪聲極度敏感容易將噪聲鏈誤認(rèn)為簇。層次聚類的“鏈接方法”選擇如果你的數(shù)據(jù)可能有噪聲避免使用單鏈接因?yàn)樗鼤?huì)因少數(shù)噪聲點(diǎn)而將本應(yīng)分開的簇連接起來鏈?zhǔn)叫?yīng)。全鏈接和平均鏈接更魯棒。如果懷疑簇的形狀復(fù)雜且非球形可以嘗試單鏈接但必須謹(jǐn)慎評(píng)估結(jié)果。距離度量的“量綱詛咒”重申一萬次也不為過不標(biāo)準(zhǔn)化就做聚類等于白做。特別是當(dāng)特征具有不同物理意義和量綱時(shí)如年齡和收入標(biāo)準(zhǔn)化是強(qiáng)制步驟。4.2 復(fù)雜場景下的策略簇大小不均怎么辦K-means會(huì)傾向于將大簇分裂因?yàn)樗哪繕?biāo)是最小化整體方差。此時(shí)可以考慮使用加權(quán)K-means或者轉(zhuǎn)向?qū)哟尉垲愂褂肳ard‘s方法后者傾向于生成大小均勻的簇。對(duì)于極度不均勻的情況DBSCAN可能直接失效因?yàn)楹茈y找到統(tǒng)一的密度參數(shù)。數(shù)據(jù)包含分類變量怎么辦直接用歐氏距離不合適。需要將分類變量進(jìn)行獨(dú)熱編碼但要注意這會(huì)增加維度并賦予分類變量過高的權(quán)重。更好的方法是使用K-Prototypes算法混合K-means和K-modes或者使用專門處理混合數(shù)據(jù)的距離度量如Gower距離。如何確定“最佳”聚類數(shù)沒有銀彈。永遠(yuǎn)不要只依賴一個(gè)指標(biāo)。我的標(biāo)準(zhǔn)流程是1) 畫肘部圖看拐點(diǎn)2) 計(jì)算輪廓系數(shù)、CH指數(shù)等多個(gè)指標(biāo)看它們?cè)谀膫€(gè)K值達(dá)成共識(shí)或出現(xiàn)峰值3) 結(jié)合業(yè)務(wù)背景和可視化結(jié)果進(jìn)行人工判斷。有時(shí)候從業(yè)務(wù)角度解釋得通的K即使指標(biāo)不是最優(yōu)也可能是更好的選擇。處理超大規(guī)模數(shù)據(jù)傳統(tǒng)的層次聚類和DBSCAN樸素實(shí)現(xiàn)復(fù)雜度太高。此時(shí)可以考慮使用Mini-Batch K-means它是K-means的變種每次迭代使用隨機(jī)小批量數(shù)據(jù)更新質(zhì)心大大加快了速度。使用BIRCH或CLARA等專門為大數(shù)據(jù)設(shè)計(jì)的聚類算法。對(duì)數(shù)據(jù)進(jìn)行采樣在樣本上聚類再將結(jié)果推廣到全集需謹(jǐn)慎要保證樣本代表性。4.3 結(jié)果解讀與業(yè)務(wù)落地聚類結(jié)果本身不是終點(diǎn)如何解讀并產(chǎn)生業(yè)務(wù)價(jià)值才是。給簇打標(biāo)簽算法產(chǎn)出的是冷冰冰的簇編號(hào)。你需要分析每個(gè)簇中樣本的特征計(jì)算簇內(nèi)各特征的均值、中位數(shù)、分布結(jié)合業(yè)務(wù)知識(shí)為每個(gè)簇賦予一個(gè)“人格化”的標(biāo)簽。例如在客戶分群中你可能得到“高價(jià)值活躍用戶”、“低頻價(jià)格敏感型用戶”、“潛在流失用戶”等。避免過度解讀聚類只是發(fā)現(xiàn)了數(shù)據(jù)中的統(tǒng)計(jì)規(guī)律不代表必然的因果關(guān)系。一個(gè)簇內(nèi)的用戶行為相似可能是由某個(gè)未觀測到的共同原因?qū)е碌牟荒芪鋽嗟卣J(rèn)為簇內(nèi)特征之間存在因果。與后續(xù)分析結(jié)合聚類常常是起點(diǎn)。例如可以先對(duì)用戶聚類再對(duì)不同簇的用戶分別構(gòu)建精準(zhǔn)營銷模型分類/回歸或者分析不同簇對(duì)某個(gè)活動(dòng)的響應(yīng)率A/B測試框架。在數(shù)學(xué)建模論文中清晰的流程圖數(shù)據(jù)預(yù)處理 - 聚類 - 結(jié)果分析 - 策略建議能極大提升邏輯性和說服力。聚類算法是把探索數(shù)據(jù)內(nèi)部結(jié)構(gòu)的利器但也充滿了細(xì)節(jié)和陷阱。從理解每種算法的核心假設(shè)開始謹(jǐn)慎地進(jìn)行數(shù)據(jù)預(yù)處理和參數(shù)選擇多角度評(píng)估結(jié)果最后落腳到業(yè)務(wù)解釋這才是從“會(huì)用算法”到“用好算法”的關(guān)鍵跨越。在實(shí)際項(xiàng)目中我常常會(huì)同時(shí)運(yùn)行多種聚類算法對(duì)比它們的結(jié)果。如果不同算法得出的主要簇結(jié)構(gòu)一致那么這個(gè)結(jié)構(gòu)就非常穩(wěn)健值得深入挖掘如果差異很大就需要回頭審視數(shù)據(jù)本身或問題定義是否清晰了。