簡介這是一套圍繞學(xué)生校園消費(fèi)行為分析題的Python建模項(xiàng)目專為高校期末大作業(yè)、課程設(shè)計(jì)等場景打造。資源包共6個(gè)文件包含5個(gè)Python腳本和1個(gè)原始數(shù)據(jù)壓縮包腳本按照不同任務(wù)模塊編寫如基本數(shù)據(jù)探查、消費(fèi)特征提取、關(guān)聯(lián)分析或預(yù)測建模等下載解壓后無需額外修改即可運(yùn)行并可直接作為答辯材料的基礎(chǔ)工程。整個(gè)zip體積僅4.89MB目錄層級簡潔便于按任務(wù)順序理解代碼邏輯。目前已有618人學(xué)習(xí)下載是同類作業(yè)中熱度較高的參考模板。讀者可獲得一整套可復(fù)用的分析流程框架、數(shù)據(jù)預(yù)處理與建模代碼、任務(wù)拆解思路及結(jié)果展示方式尤其適合希望快速搭建項(xiàng)目骨架、降低排錯(cuò)成本的同學(xué)。1. 校園消費(fèi)行為分析到底在做什么先把期末大作業(yè)的驗(yàn)收點(diǎn)擺出來晚上十點(diǎn)半的食堂刷卡機(jī)前排著剛下晚課的學(xué)生一張一卡通流水背后是幾十萬條可以建模的數(shù)據(jù)。這份期末大作業(yè)最容易踩的誤區(qū)是以為把數(shù)據(jù)丟給 sklearn跑出一個(gè)聚類結(jié)果就完事。真實(shí)的驗(yàn)收點(diǎn)有三個(gè)——能不能把原始流水清洗成一張可分析的特征表能不能用合適的建模方法分出有業(yè)務(wù)含義的人群以及能不能在答辯現(xiàn)場十分鐘內(nèi)把「數(shù)據(jù)—特征—模型—結(jié)論」這條鏈路講清楚。這里的 Python 建模落點(diǎn)不是比拼準(zhǔn)確率而是比拼可解釋性適合正在做數(shù)據(jù)分析課設(shè)、數(shù)學(xué)建模入門、或者想認(rèn)真完成期末大作業(yè)的同學(xué)。2. 數(shù)據(jù)清洗與特征工程把一卡通流水變成能建模的二維表2.1 拿到原始流水后先別急著建模先檢查字段和樣本校園一卡通消費(fèi)流水在不同學(xué)校的導(dǎo)出格式略有差異但核心字段基本穩(wěn)定卡號或?qū)W號、交易時(shí)間、交易金額、商戶名稱、商戶類型、收支標(biāo)志。最好的習(xí)慣是先用 Excel 或 pandas 打開前 100 行肉眼看一遍數(shù)據(jù)長得什么樣而不是直接開始寫聚合代碼。曾經(jīng)有人拿到數(shù)據(jù)后直接按卡號分組求均值結(jié)果發(fā)現(xiàn)「人均消費(fèi)」只有 0.15 元一查才知道有大量刷卡充值記錄混在消費(fèi)記錄里充值金額都是整百把均值拉低了。我一般會先寫一段極簡的檢查代碼輸出數(shù)據(jù)的行數(shù)、唯一卡數(shù)、時(shí)間范圍和金額分布這幾個(gè)指標(biāo)能快速暴露數(shù)據(jù)集的真實(shí)規(guī)模和分析難度。重點(diǎn)是看三段信息交易時(shí)間是不是統(tǒng)一格式、金額列有沒有負(fù)數(shù)、同一張卡同一秒同一商戶是否存在重復(fù)記錄。這三類問題如果不處理后續(xù)所有統(tǒng)計(jì)口徑都會偏而且偏得悄無聲息。import pandas as pd df pd.read_csv(card_flow.csv, parse_dates[trade_time]) print(總記錄數(shù):, len(df)) print(唯一卡號數(shù):, df[card_no].nunique()) print(時(shí)間范圍:, df[trade_time].min(), -, df[trade_time].max()) print(金額描述:) print(df[amount].describe()) print(負(fù)數(shù)金額條數(shù):, (df[amount] 0).sum()) print(重復(fù)記錄條數(shù):, df.duplicated().sum())這段代碼先讀數(shù)據(jù)再把交易時(shí)間解析為 datetime 類型。nunique 用于數(shù)出去重后的卡號數(shù)量duplicated 用來判斷全字段重復(fù)的行有多少。輸出結(jié)果之后你會對本次建模的數(shù)據(jù)形態(tài)有個(gè)整體印象數(shù)據(jù)量是幾萬還是幾十萬時(shí)間跨度是三個(gè)月還是一整年負(fù)數(shù)是偶爾幾筆還是大面積存在。先看全貌再動(dòng)手避免后續(xù)在錯(cuò)誤假設(shè)上堆代碼。2.2 處理退款負(fù)數(shù)、充值記錄和重復(fù)刷卡常見的坑有兩個(gè)方向。第一個(gè)方向是負(fù)金額食堂窗口操作失誤后的退款、超市退貨、洗衣房余額退回都會造成負(fù)數(shù)交易。如果分析目標(biāo)是「消費(fèi)行為」我建議把負(fù)數(shù)交易單獨(dú)拎出來只在退款分析里用不混進(jìn)消費(fèi)頻率和消費(fèi)金額的計(jì)算。第二個(gè)方向是充值記錄一卡通充值本質(zhì)是轉(zhuǎn)賬不是消費(fèi)通常交易類型字段里會有「充值」「消費(fèi)」的標(biāo)記沒有標(biāo)記的話可以用商戶類型或者金額規(guī)律來過濾。刪除或標(biāo)記這些記錄后再處理重復(fù)刷卡。有些食堂閘機(jī)數(shù)據(jù)會同時(shí)寫入兩條相同記錄時(shí)間戳精確到秒且金額一樣這種情況直接用 drop_duplicates 刪掉。但要注意如果刷完卡發(fā)現(xiàn)有退款退款記錄和原消費(fèi)記錄成對出現(xiàn)此時(shí)不能簡單按全字段去重否則會把正常的一進(jìn)一出也刪掉。處理時(shí)我通常只對「卡號 商戶 時(shí)間 金額」四字段完全相同的行去重保留第一次出現(xiàn)。df df[df[amount] 0].copy() # 先排除退款和充值只看正向消費(fèi) df_clean df.drop_duplicates( subset[card_no, merchant, trade_time, amount], keepfirst ) print(清洗后記錄數(shù):, len(df_clean))這里的邏輯是先假設(shè)金額大于 0 都是消費(fèi)需要你確認(rèn)自己的數(shù)據(jù)里有沒有負(fù)的消費(fèi)、有沒有正數(shù)充值。drop_duplicates 的 subset 參數(shù)非常關(guān)鍵它指定了「按哪些列判斷重復(fù)」避免把同一時(shí)間在同一個(gè)商戶買兩筆相同金額商品的正常行為誤刪。keep 參數(shù)用 first 保留第一條在時(shí)間序列場景下等于默認(rèn)選擇先發(fā)生的記錄。2.3 時(shí)間特征拆分星期、小時(shí)、早晚高峰一卡通流水里的交易時(shí)間是最有建模價(jià)值的字段它決定了你能不能在報(bào)告里畫「一天消費(fèi)曲線」和「一周消費(fèi)熱力圖」。清洗完成后我會把時(shí)間拆成三個(gè)新列小時(shí)、星期、是否為工作日。小時(shí)用來判斷早餐、午餐、晚餐、夜宵的高峰分布星期用來分析周末和上學(xué)日的差異工作日標(biāo)記則幫助后續(xù)分群時(shí)識別作息規(guī)律。dt df_clean[trade_time] df_clean[hour] dt.dt.hour df_clean[weekday] dt.dt.weekday # 0周一, 6周日 df_clean[is_workday] df_clean[weekday].apply(lambda x: 1 if x 5 else 0)dt.hour 和 dt.weekday 是 pandas 的 datetime 訪問器效率高且不容易寫錯(cuò)。weekday 范圍是 0 到 60 代表周一6 代表周日。is_workday 是自定義規(guī)則默認(rèn)周一至周五算工作日。如果你的學(xué)校周六還有課或者周五下午就放假這個(gè)標(biāo)記要按自己學(xué)校的校歷調(diào)整不能照抄默認(rèn)值。2.4 構(gòu)建「以人為單位」的消費(fèi)特征表建模時(shí)最常用的主體是「人」也就是每張卡對應(yīng)一行特征。把流水按卡號分組統(tǒng)計(jì)消費(fèi)總金額、總次數(shù)、平均金額、消費(fèi)活躍天數(shù)、高頻時(shí)段等字段最終得到一張寬表。這張表就是后續(xù) KMeans、DBSCAN 的輸入。daily df_clean.groupby([card_no]).agg( total_amount(amount, sum), total_count(amount, count), avg_amount(amount, mean), active_days(trade_time, nunique), avg_hour(hour, mean), ) daily[count_per_active_day] daily[total_count] / daily[active_days] print(daily.head())groupby 后面的 agg 是 pandas 推薦的聚合寫法每一行指定新列名、原始列和聚合函數(shù)。total_amount 是總消費(fèi)額total_count 是總刷卡次數(shù)active_days 是去重后的活躍天數(shù)用 nunique 統(tǒng)計(jì)。avg_hour 是消費(fèi)時(shí)間的均值它有一個(gè)隱患跨午夜的作息會被平均到奇怪的位置比如晚上 23 點(diǎn)和凌晨 1 點(diǎn)的平均會得到 12 點(diǎn)。這種情況我用「圓形均值」處理或者干脆把它換成前三個(gè)固定時(shí)段的消費(fèi)占比。2.5 衍生特征三餐占比、夜間消費(fèi)比例、消費(fèi)熵基礎(chǔ)特征只能描述消費(fèi)多少不能描述消費(fèi)習(xí)慣。期末答辯時(shí)最能打動(dòng)老師的是「這個(gè)簇的人早餐比例明顯高」而不是「這個(gè)簇平均消費(fèi) 12.3 元」。因此我額外構(gòu)建三類衍生特征。第一類是三餐和夜宵占比用小時(shí)區(qū)間切分。第二類是夜間消費(fèi)比例把 23 點(diǎn)到次日 5 點(diǎn)定義為夜宵時(shí)段統(tǒng)計(jì)夜宵金額占總金額的比例。第三類是消費(fèi)熵衡量一個(gè)人刷卡金額的分散程度——如果一個(gè)人每頓都是 10 元整熵很低如果忽而 3 元忽而 40 元熵很高說明飲食結(jié)構(gòu)波動(dòng)大。def meal_type(hour): if 6 hour 10: return breakfast elif 10 hour 15: return lunch elif 15 hour 20: return dinner elif 20 hour 24 or hour 5: return night else: return other df_clean[meal] df_clean[hour].apply(meal_type) meal_cross pd.crosstab(df_clean[card_no], df_clean[meal], normalizeindex) def entropy(series): p series[series 0] return -(p * np.log(p)).sum()import numpy as np from scipy.stats import entropy as scipy_entropy def cal_entropy_by_group(group): val_counts group[amount].value_counts(normalizeTrue) return scipy_entropy(val_counts)第一個(gè)函數(shù)按小時(shí)區(qū)間把每筆交易歸入早餐、午餐、晚餐或夜宵。pd.crosstab 配合 normalizeindex 得到每張卡在不同餐段的消費(fèi)次數(shù)占比。第二個(gè)函數(shù)計(jì)算金額分布的熵我直接調(diào)用 scipy.stats.entropy它接受概率分布數(shù)組并返回非負(fù)熵值。熵越大代表不同金額的分布越分散越小代表消費(fèi)金額集中在少數(shù)幾個(gè)固定檔位比如總是刷 8 元和 12 元套餐。2.6 標(biāo)準(zhǔn)化為什么用 StandardScaler不用 MinMaxScaler特征表建好后量綱差異非常明顯消費(fèi)總金額可能是幾千早餐占比只有 0.1。如果直接把原始值喂給聚類算法金額會主導(dǎo)距離計(jì)算。常見做法是做標(biāo)準(zhǔn)化。StandardScaler 會把每個(gè)特征變成均值為 0、方差為 1 的分布適合 KMeans 和 DBSCAN 這種基于距離的模型。MinMaxScaler 會把數(shù)據(jù)壓縮到 0~1 區(qū)間問題在于它很容易被極端值拉偏而校園消費(fèi)里炒飯、夜宵或校外大額支出很容易產(chǎn)生極端值。from sklearn.preprocessing import StandardScaler feature_cols [total_amount, total_count, avg_amount, active_days, count_per_active_day, breakfast_ratio, dinner_ratio, night_ratio, entropy] X daily[feature_cols].fillna(0) scaler StandardScaler() X_scaled scaler.fit_transform(X)fillna(0) 是因?yàn)橛行┛赡軟]有夜宵記錄占比為空。fit_transform 在這段代碼里直接完成了兩步操作fit 計(jì)算均值和標(biāo)準(zhǔn)差transform 應(yīng)用標(biāo)準(zhǔn)化。等到建模階段你只需把 X_scaled 傳入聚類算法。注意保留原始特征表 daily后面畫圖、打標(biāo)簽、寫報(bào)告都需要它而不是直接使用標(biāo)準(zhǔn)化后的矩陣。3. 建模方案KMeans、DBSCAN、孤立森林怎么選3.1 先定目標(biāo)再選模型不要先跑代碼很多期末作業(yè)翻車的原因是拿到數(shù)據(jù)就開始找聚類代碼跑完卻講不清每一類代表什么。建模之前必須回答一個(gè)問題這次分析到底要得出什么結(jié)論如果你的題目是「分析學(xué)生消費(fèi)行為」最合理的目標(biāo)是分群畫像把學(xué)生分成規(guī)律干飯型、高消費(fèi)夜宵型、低消費(fèi)節(jié)儉型等若干類。如果你的題目是「識別異常消費(fèi)」那應(yīng)該用異常檢測模型而不是聚類。如果你的題目是「根據(jù)前兩個(gè)月消費(fèi)預(yù)測后一個(gè)月」那就進(jìn)入回歸或時(shí)間序列的范疇不是同一套流程。在這份校園消費(fèi)分析作業(yè)里最常見也最容易講清楚的是「聚類 畫像」。KMeans 能分出消費(fèi)水平不同的群體每個(gè)群體的特征中心就是畫像。DBSCAN 則適合發(fā)現(xiàn)不規(guī)則形狀的群體還有機(jī)會把「每天只刷一頓飯」的極端群體標(biāo)記為噪聲點(diǎn)。孤立森林不是聚類它的用途是識別偏離正常消費(fèi)模式的人。建議把它們放在同一份作業(yè)里分別回答「共性分群」和「異常個(gè)體」兩個(gè)問題報(bào)告結(jié)構(gòu)會很完整。3.2 聚類數(shù)怎么定肘部法則和輪廓系數(shù)KMeans 需要手動(dòng)指定簇?cái)?shù) k這個(gè) k 不能拍腦袋。業(yè)界用的兩個(gè)指標(biāo)分別是 SSE 肘部法則和輪廓系數(shù)。SSE 是簇內(nèi)樣本到中心點(diǎn)的距離平方和k 越大 SSE 越小但下降到某個(gè)點(diǎn)后收益驟減那個(gè)拐點(diǎn)就是肘部。輪廓系數(shù)則衡量每個(gè)樣本和自身簇的相似度同類別緊湊、不同類別分離時(shí)系數(shù)高范圍是 -1 到 1越接近 1 越好。from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score sse [] sil [] k_range range(2, 9) for k in k_range: km KMeans(n_clustersk, random_state42, n_init10) labels km.fit_predict(X_scaled) sse.append(km.inertia_) sil.append(silhouette_score(X_scaled, labels)) for k, s, si in zip(k_range, sse, sil): print(fk{k}, SSE{s:.1f}, silhouette{si:.4f})KMeans 的計(jì)算受初始中心點(diǎn)影響所以每一次迭代都指定 random_state42保證結(jié)果可復(fù)現(xiàn)。n_init10 表示用 10 組不同的初始中心運(yùn)行算法最后返回 SSE 最小的一組避免隨機(jī)性帶來翻車。silhouette_score 在 X_scaled 上計(jì)算取值越大說明簇與簇之間分離越好。我的習(xí)慣是優(yōu)先看肘部拐點(diǎn)再看 silhouette 是否超過 0.25如果超過 0.5 反而要警惕特征是否過于簡單比如只靠金額一列劈成了兩半。3.3 用 KMeans 跑通最小建模流程并打上人群標(biāo)簽確定 k 之后就可以跑最終的聚類。以 k4 為例把聚類結(jié)果合并回原始特征表就能看到每一類人的消費(fèi)規(guī)律。這里還要注意一點(diǎn)KMeans 聚類是按距離切分的它不知道食堂、超市、奶茶店的業(yè)務(wù)含義打完標(biāo)簽后必須回看特征均值給每個(gè)簇起一個(gè)人類看得懂的名字。k 4 km KMeans(n_clustersk, random_state42, n_init10) cluster_labels km.fit_predict(X_scaled) daily[cluster] cluster_labels cluster_profile daily.groupby(cluster)[feature_cols].mean() print(cluster_profile.round(2))fit_predict 一次性完成訓(xùn)練和預(yù)測返回每個(gè)樣本的簇編號。groupby 后取均值得到每類人的平均消費(fèi)金額、平均活躍天數(shù)、早餐占比等?？吹綌?shù)據(jù)后再命名cluster 0 如果平均金額高、活躍天數(shù)多、夜宵占比高就命名為「活躍夜宵型」cluster 1 如果總金額低、早餐占比高、頻次少就命名為「規(guī)律早餐型」。命名是報(bào)告的點(diǎn)睛之筆不要直接寫「群組 0」。3.4 DBSCAN 的取舍噪點(diǎn)本身就是一種結(jié)果KMeans 會把每個(gè)樣本都分到一個(gè)簇哪怕這個(gè)樣本和其他任何樣本都不像。DBSCAN 則會把這些樣本直接標(biāo)記為噪點(diǎn)也就是標(biāo)簽 -1。在校園消費(fèi)場景里這很有價(jià)值低活躍、偶發(fā)消費(fèi)、作息不規(guī)律的學(xué)生會在 DBSCAN 中被暴露出來。不過 DBSCAN 對參數(shù)非常敏感兩個(gè)參數(shù) eps 描述鄰域半徑min_samples 描述成為核心對象所需的最少樣本數(shù)。from sklearn.cluster import DBSCAN db DBSCAN(eps0.8, min_samples10) db_labels db.fit_predict(X_scaled) n_clusters_db len(set(db_labels)) - (1 if -1 in db_labels else 0) print(DBSCAN 發(fā)現(xiàn)簇?cái)?shù):, n_clusters_db) print(噪點(diǎn)數(shù)量:, (db_labels -1).sum()) daily[dbscan_label] db_labelseps 表示如果某個(gè)樣本的鄰域內(nèi)至少有 min_samples 個(gè)樣本它才會被當(dāng)作核心點(diǎn)。eps 設(shè)太小會把群體拆得零碎設(shè)太大又把所有人都劃進(jìn)一個(gè)大簇。對于標(biāo)準(zhǔn)化后的數(shù)據(jù)我一般把 eps 設(shè)在 0.5 到 1.2 之間min_samples 設(shè)在 10 到 20。這里的技巧是先跑一次看噪點(diǎn)比例是否在 5%~15%噪音比例太高說明參數(shù)過緊可以立刻調(diào)整。3.5 用孤立森林找異常消費(fèi)不需要任何標(biāo)簽孤立森林是「無監(jiān)督異常檢測」算法它不依賴標(biāo)簽而是隨機(jī)切分特征空間異常點(diǎn)因?yàn)榉植枷∈柚恍枰苌俚那蟹执螖?shù)就能被孤立出來。校園消費(fèi)場景中它可以識別刷卡金額異常大、消費(fèi)頻率異常低或夜間消費(fèi)異常多的人。這里要特別強(qiáng)調(diào)異常不等于壞人可能是校外人員借卡、訪客臨時(shí)消費(fèi)也可能是有學(xué)生因病長時(shí)間不在校。from sklearn.ensemble import IsolationForest iso IsolationForest(contamination0.02, random_state42) anomaly_labels iso.fit_predict(X_scaled) daily[anomaly] anomaly_labels print(daily[anomaly].value_counts())contamination 參數(shù)表示你預(yù)估的數(shù)據(jù)集中異常值比例這里設(shè) 0.02 也就是假設(shè) 2% 的人消費(fèi)模式異常。fit_predict 返回 1 表示正常-1 表示異常注意方向和聚類標(biāo)簽正好相反寫報(bào)告前容易看反。IsolationForest 的核心優(yōu)點(diǎn)是快幾十萬行數(shù)據(jù)也只需要幾秒鐘。缺點(diǎn)是結(jié)果不好解釋它不會告訴你為什么異常需要回到原始特征表逐個(gè)看異常樣本的數(shù)值。3.6 驗(yàn)證聚類不是「隨機(jī)碰運(yùn)氣」聚類模型的驗(yàn)證是期末答辯時(shí)最容易被人追問的環(huán)節(jié)。老師說「你這個(gè)聚類結(jié)果會不會換一組初始值就完全變了」如果你答不上來前后就會陷入被動(dòng)。我通常做兩個(gè)驗(yàn)證第一個(gè)是穩(wěn)定性驗(yàn)證把 random_state 改成其他值多次跑 KMeans比較每個(gè)簇的人數(shù)比例是否保持穩(wěn)定第二個(gè)是樣本驗(yàn)證隨機(jī)抽取 80% 的樣本重新聚類再把剩余 20% 預(yù)測到最近的簇中心觀察整體分布是否一致。from sklearn.model_selection import train_test_split X_train, X_test train_test_split(X_scaled, test_size0.2, random_state7) km_temp KMeans(n_clusters4, random_state0, n_init10).fit(X_train) train_labels km_temp.predict(X_train) test_labels km_temp.predict(X_test) print(pd.Series(train_labels).value_counts(normalizeTrue).sort_index()) print(pd.Series(test_labels).value_counts(normalizeTrue).sort_index())這里用 train_test_split 把樣本切分成 80% 訓(xùn)練、20% 測試。predict 方法會把新樣本分配到距離最近的中心。如果兩次的人群占比差距在 3% 以內(nèi)說明結(jié)果不是偶然。如果差距很大優(yōu)先檢查特征表是否被少量極端值主導(dǎo)。4. 期末大作業(yè)避坑指南5 條踩過的數(shù)據(jù)與建?？?.1 時(shí)間字段解析失敗按天聚合結(jié)果全是 NaN現(xiàn)象用 pd.to_datetime 轉(zhuǎn)換交易時(shí)間后發(fā)現(xiàn)小時(shí)列全部變成 NaN按天聚合后圖像一片空白。 原因原始數(shù)據(jù)里時(shí)間格式不統(tǒng)一有的行是「2025-03-12 12:30:45」有的行是「2025/03/12 12:30」甚至還有「2025年3月12日」。to_datetime 無法自動(dòng)識別所有格式解析失敗的行變成了空值。 解決先用 errorscoerce 強(qiáng)制轉(zhuǎn)換標(biāo)記解析失敗的行再檢查失敗樣本的時(shí)間格式寫一個(gè)自定義解析函數(shù)補(bǔ)齊。最簡單的方式是讓 to_datetime 的 format 參數(shù)明確指定格式。不要相信 Excel 導(dǎo)出的時(shí)間是「標(biāo)準(zhǔn)格式」必須有這一層檢查。4.2 退款負(fù)數(shù)拉低均值消費(fèi)金額變成負(fù)的現(xiàn)象早餐平均消費(fèi)是 -3.2 元食堂搶了學(xué)生的錢。 原因退款記錄被當(dāng)作消費(fèi)納入聚合負(fù)金額抵消了正金額。 解決把金額列拆成正負(fù)兩套邏輯。如果只做消費(fèi)分析直接保留 amount 0需要研究退款時(shí)把負(fù)數(shù)的絕對值拿出來單獨(dú)分析。注意充值記錄通常是正數(shù)如果不按交易類型區(qū)分也會混進(jìn)消費(fèi)金額。建議先看交易類型字段的值分布再?zèng)Q定過濾條件。4.3 去重把正常購買記錄誤刪了現(xiàn)象同一張卡在同一家店買了兩次相同金額的飲料時(shí)間相差 1 秒結(jié)果被全字段去重刪除。 原因沒有指定去重列直接用 drop_duplicates() 把「卡號 商戶 時(shí)間 金額」四列完全相同的記錄當(dāng)成了重復(fù)數(shù)據(jù)。其實(shí)一秒鐘刷兩次卡是合理的人類行為比如一次刷卡本人消費(fèi)一次幫同學(xué)帶飯。 解決只對高頻重復(fù)類型做去重判斷標(biāo)準(zhǔn)是「同一秒內(nèi)同一商戶同一金額且同一卡號」。如果數(shù)據(jù)里有交易流水號字段優(yōu)先用流水號去重。沒有流水號時(shí)subset 要加上三個(gè)以上維度避免誤刪。4.4 卡號字符串混進(jìn)特征聚類結(jié)果被「身份證號」支配現(xiàn)象聚類出的四個(gè)簇分別對應(yīng)卡號開頭四個(gè)數(shù)字段業(yè)務(wù)上毫無意義。 原因把 card_no 或?qū)W號列當(dāng)成了數(shù)值特征標(biāo)準(zhǔn)化后進(jìn)入聚類模型。KMeans 基于歐氏距離卡號中任何一點(diǎn)數(shù)字差異都會被當(dāng)成距離導(dǎo)致聚類完全偏離消費(fèi)行為。 解決第一步是刪除卡號、學(xué)號、姓名等身份標(biāo)識列第二步檢查特征表里是否有其他高基數(shù)列比如商戶名稱。需要用獨(dú)熱編碼處理商戶偏好字段或者直接不把商戶名稱作為聚類輸入改用它構(gòu)造「食堂消費(fèi)占比」這類聚合特征。4.5 輪廓系數(shù)很高但人群畫像完全解釋不通現(xiàn)象k2 時(shí)輪廓系數(shù)高達(dá) 0.6看起來聚類效果很好但打開畫像發(fā)現(xiàn)一群人全是總消費(fèi)金額極高的夜宵大戶另一群人全是幾乎不刷卡的低頻用戶中間人群被強(qiáng)行切成了兩半。 原因特征中存在極端值KMeans 對這種尖峰分布極其敏感少數(shù)高消費(fèi)樣本把整個(gè)簇中心拉走了。輪廓系數(shù)衡量的是幾何分離程度不判斷業(yè)務(wù)合理性。 解決先對特征做裁剪比如 95% 分位數(shù)截?cái)鄻O端消費(fèi)金額或者使用分位數(shù)變換替代標(biāo)準(zhǔn)化。更重要的是必須回看每個(gè)簇的人數(shù)比例。如果人數(shù)最少那一類只占 2%它更可能是噪聲而不是人群此時(shí)通過 W 檢驗(yàn)調(diào)整 k 或改用 DBSCAN 處理離群點(diǎn)。5. 可視化與結(jié)果報(bào)告讓期末答辯在 10 分鐘內(nèi)有底氣5.1 三種能在一頁 PPT 上講清楚的圖數(shù)據(jù)建模的成果需要用圖形呈現(xiàn)評卷老師沒有耐心一行行看 DataFrame。我通常畫三張圖第一張是所有學(xué)生的分時(shí)段消費(fèi)折線圖展示早中晚高峰第二張是周消費(fèi)熱力圖橫軸星期、縱軸小時(shí)用顏色深淺表示消費(fèi)次數(shù)第三張是每個(gè)聚類小組的平均日消費(fèi)金額分布圖用來突出分群差異。import matplotlib.pyplot as plt import seaborn as sns plt.rcParams[font.sans-serif] [SimHei, PingFang SC, Microsoft YaHei] plt.rcParams[axes.unicode_minus] False fig, axs plt.subplots(1, 3, figsize(16, 4)) hourly_count df_clean.groupby(hour).size() axs[0].plot(hourly_count.index, hourly_count.values, markero) axs[0].set_title(分時(shí)段消費(fèi)次數(shù)) pivot df_clean.pivot_table(indexhour, columnsweekday, valuesamount, aggfunccount).fillna(0) sns.heatmap(pivot, axaxs[1], cmapYlOrRd) axs[1].set_title(每周消費(fèi)規(guī)律熱力圖) daily_group daily.groupby(cluster)[total_count].mean() daily_group.plot(kindbar, axaxs[2], color[#4C72B0, #55A868, #C44E52, #8172B2]) axs[2].set_title(各簇平均消費(fèi)次數(shù)) plt.tight_layout()先設(shè)置中文字體否則圖表里的中文會變成方塊這是 matplotlib 默認(rèn)字體導(dǎo)致的。分時(shí)段曲線把「早中晚三個(gè)高峰」一句話講完。熱力圖的 x 軸是周一到周日y 軸是 0 到 23 點(diǎn)能直觀看到周末上午消費(fèi)明顯后移。第三張柱狀圖用于展示各簇畫像差異柱子的高度對比就能支撐「人群可分」的結(jié)論。5.2 用表格把人群畫像輸出成報(bào)告素材圖像適合口頭表達(dá)書面報(bào)告里還需要一張精確的表格。我一般會把每個(gè)簇的核心特征整理成這種格式簇標(biāo)簽、自定義人群名、人數(shù)占比、平均日消費(fèi)金額、平均日活躍次數(shù)、早餐占比、夜宵占比。這張表可以直接粘貼到期末報(bào)告的模型結(jié)果部分也能在答辯被追問時(shí)快速定位到對應(yīng)數(shù)據(jù)。簇人群標(biāo)簽人數(shù)占比日均消費(fèi)(元)日均次數(shù)早餐占比夜宵占比0規(guī)律早餐型28%9.62.142%5%1活躍夜宵型19%21.33.49%38%2節(jié)制消費(fèi)型36%6.81.231%11%3周末集中型17%13.51.614%20%表格里的值來自 cluster_profile 的聚合結(jié)果不要手工填數(shù)也不要先把報(bào)告寫好了再倒推數(shù)據(jù)。如果發(fā)現(xiàn)某種類型的占比太小比如只有 2%說明這個(gè)簇可能是異常值簇應(yīng)該回去調(diào)整模型參數(shù)而不是硬搬進(jìn)報(bào)告。5.3 報(bào)告結(jié)構(gòu)抽掉代碼也能自洽期末報(bào)告嚇退同學(xué)的往往不是分析而是不知道按什么順序?qū)?。我建議直接按項(xiàng)目流程組織第一部分寫背景與目標(biāo)說明為什么用校園消費(fèi)數(shù)據(jù)做建模想解決什么問題第二部分寫數(shù)據(jù)來源與預(yù)處理包括字段說明和清洗流程第三部分寫特征工程解釋你選擇了哪幾個(gè)特征、為什么沒有選別的第四部分寫模型選擇與參數(shù)確定第五部分寫分群結(jié)果與人群畫像最后一段寫對學(xué)生消費(fèi)管理和個(gè)性化服務(wù)的建議。其中第三部分最容易被一筆帶過。實(shí)際上老師最看重的是特征構(gòu)造思路。你可以寫「用 pandas 從原始流水中拆出小時(shí)、星期、餐段三類時(shí)間特征」也可以展開說明「消費(fèi)熵衡量了消費(fèi)習(xí)慣的穩(wěn)定性」后者更能體現(xiàn)建模思考。但如果你的作業(yè)要求里沒有要求寫建議那最后一段不寫也沒問題不用為了湊篇幅硬編對策。5.4 被老師問「為什么選 KMeans」時(shí)這樣回答不慌張答這種問題講究「性能 業(yè)務(wù)」雙線。先說業(yè)務(wù)這次分析的目的是給全校學(xué)生做消費(fèi)人群分層KMeans 的每個(gè)簇可以用中心點(diǎn)描述天然適合輸出畫像。再說性能KMeans 在大樣本下速度快算法復(fù)雜度接近線性咱們學(xué)校這條數(shù)據(jù)集有二十多萬條流水跑一遍只需要幾秒鐘。更重要的是它只有 k 一個(gè)超參數(shù)調(diào)參路徑清晰不像 DBSCAN 的 eps 和 min_samples 需要反復(fù)試。如果老師追問為什么不用 GMM 或?qū)哟尉垲惪梢哉f GMM 假設(shè)每個(gè)簇服從高斯分布校園消費(fèi)金額分布實(shí)際上偏態(tài)明顯這個(gè)假設(shè)不一定成立層次聚類的計(jì)算量隨樣本數(shù)增長較快面對幾萬張卡的特征表不劃算?；卮饡r(shí)不需要推倒重來只要把 KMeans 的優(yōu)勢和你對數(shù)據(jù)分布的觀察講清楚即可。6. 收尾一步用一個(gè)月做穩(wěn)定性驗(yàn)證讓報(bào)告再上一個(gè)等級期末作業(yè)交完后真正拉開差距的是驗(yàn)證部分。我最后一件事永遠(yuǎn)是「留一個(gè)月數(shù)據(jù)當(dāng)驗(yàn)證集用前幾個(gè)月的參數(shù)復(fù)跑一次」。具體操作是把整個(gè)數(shù)據(jù)集按月份切分比如用 3—5 月數(shù)據(jù)建模再用 6 月數(shù)據(jù)計(jì)算每個(gè)樣本到已得簇中心的距離重新分配簇標(biāo)簽最后對比兩輪聚類人數(shù)比例。如果一個(gè)簇的人數(shù)比例從 28% 跳到 64%說明建模只抓住了月份效應(yīng)而不是消費(fèi)習(xí)慣需要回到特征設(shè)計(jì)去加入「學(xué)期前半段 / 后半段」標(biāo)記。另一個(gè)值得做的擴(kuò)展是特征重要性驗(yàn)證。把聚類標(biāo)簽作為目標(biāo)變量用隨機(jī)森林訓(xùn)練一個(gè)分類器看哪些特征貢獻(xiàn)度最高。如果早餐占比排第一說明你的分群主要靠早餐習(xí)慣切分報(bào)告里就要突出描述這個(gè)特征如果消費(fèi)總金額排第一則要承認(rèn)這是個(gè)「消費(fèi)水平分層」模型而非「作息規(guī)律分層」模型。這一步不復(fù)雜卻能讓報(bào)告里所有結(jié)論都有依據(jù)。我當(dāng)年做這份作業(yè)時(shí)最深的教訓(xùn)是急著跑結(jié)果跳過驗(yàn)證直接寫結(jié)論。答辯時(shí)老師對著投影儀說「你把 5 月的數(shù)據(jù)抽出來跑一遍」結(jié)果簇分布完全變了當(dāng)場冷場。后來我養(yǎng)成了先切一個(gè)月數(shù)據(jù)做穩(wěn)定性驗(yàn)證的習(xí)慣再小的分析也按這個(gè)流程走。希望幫到你這 10 分鐘會讓你在講臺上的語氣跟別人不一樣。本文還有配套的精品資源點(diǎn)擊獲取