5個CFPS數(shù)據(jù)高頻面試題，90%的人都在這個坑里栽過 看了一堆教程還是不會寫項目？別怪你笨，多半是數(shù)據(jù)清洗這一步?jīng)]做對。CFPS（中國家庭追蹤調(diào)查）數(shù)據(jù)是社會學(xué)和經(jīng)濟學(xué)研究的硬通貨，但很多新手拿到數(shù)據(jù)就像拿到天書，變量名看不懂，缺失值處理亂套，最后跑出來的模型全是噪音。更扎心的是，CFPS數(shù)據(jù)處理也是不少大廠數(shù)據(jù)分析師崗位的高頻面試題，面試官最愛問的就是“你如何處理多期面板數(shù)據(jù)中的重復(fù)ID”或者“如何合并個人、家庭、社區(qū)三級數(shù)據(jù)”。 今天就把我在處理CFPS數(shù)據(jù)時踩過的最痛的坑挖出來。不講虛的，直接上代碼和邏輯。如果你正在準(zhǔn)備面試，或者手頭正有一個用CFPS數(shù)據(jù)寫論文的deadline，這篇文章能幫你省下至少一周的返工時間。 坑一：變量命名混亂導(dǎo)致的“幽靈變量” 現(xiàn)象描述 很多剛接觸CFPS數(shù)據(jù)的朋友，打開Excel或Stata，看到幾百個變量名，頭都大了。比如wage、inc、salary，到底哪個才是真實的工資？更可怕的是，你明明選了“收入”變量，跑出來結(jié)果卻是全0或者極端值。這是因為CFPS數(shù)據(jù)在不同年份、不同模塊中，變量命名并不完全統(tǒng)一。有的年份用v156代表年收入，有的年份用income_annual。如果你直接用通配符或者模糊匹配，極容易混入“幽靈變量”——那些看起來像收入，實際是問卷邏輯控制項或占位符的變量。 根本原因 CFPS數(shù)據(jù)由北京大學(xué)中國家庭調(diào)查研究中心發(fā)布，其數(shù)據(jù)字典（Codebook）通常隨數(shù)據(jù)包提供，但更新頻率高，格式偶爾調(diào)整。很多教程只教你怎么下載，不教你怎么核對官方源碼倉庫里的最新變量定義。CFPS的官方數(shù)據(jù)網(wǎng)站會提供每一年的Data Dictionary文件，這才是真理。很多錯誤源于依賴過時的博客教程，而沒有去核對官方發(fā)布的最新字典。 正確寫法對比 錯誤的做法是直接憑感覺選變量。正確的做法是建立“變量映射表”。 錯誤代碼（Stata）： * 錯誤：盲目合并所有以inc開頭的變量 gen total_income = inc1 + inc2 + inc3 * 這里inc2在2018年是兼職收入，在2020年變成了邏輯判斷變量，直接相加會導(dǎo)致數(shù)據(jù)污染正確代碼（Stata）： * 正確：基于官方Codebook確認(rèn)變量含義，并做值標(biāo)簽檢查 label list income_vars * 假設(shè)確認(rèn)了2018-2020年的工資變量分別為 v156_2018, v156_2019, v156_2020 gen wage_clean = 0 replace wage_clean = v156_2018 if year==2018 v156_2018 = 0 replace wage_clean = v156_2019 if year==2019 v156_2019 = 0 replace wage_clean = v156_2020 if year==2020 v156_2020 = 0 * 檢查是否有異常值 sum wage_clean, detail復(fù)現(xiàn)與修復(fù)下載CFPS官方數(shù)據(jù)后，第一件事不是跑回歸，而是打開Codebook.pdf。 在Stata中執(zhí)行describe查看所有變量標(biāo)簽。 使用tab命令檢查關(guān)鍵變量的分布。如果某個“收入”變量的最大值只有100，那它大概率是邏輯變量（0/1），而不是金額。 建立Excel映射表，列出“年份”、“原始變量名”、“含義”、“是否保留”。規(guī)避建議 永遠(yuǎn)不要相信“變量名看起來像什么就是什么”。CFPS數(shù)據(jù)中，_d結(jié)尾通常是差分變量，_r結(jié)尾可能是反向計分變量。在Stata中，建議將原始變量重命名為更直觀的別名，例如rename v156_2018 wage_2018，并在注釋中注明來源。這樣在面試中被問到“你如何保證數(shù)據(jù)準(zhǔn)確性”時，你能答出“我建立了嚴(yán)格的變量映射與校驗流程”，這就是加分項。 坑二：面板數(shù)據(jù)合并時的ID匹配陷阱 現(xiàn)象描述 CFPS是多期追蹤調(diào)查，最核心的痛點就是“怎么把2010年的人和2020年的人對上”。很多新手直接用merge 1:1，結(jié)果報錯或者匹配率極低。有的朋友更夸張，用merge m:1，結(jié)果數(shù)據(jù)量翻倍，分析結(jié)果全錯。 根本原因 CFPS的ID體系包含fid（家庭ID）和pid（個人ID）。但要注意，fid在跨期合并時，家庭結(jié)構(gòu)會變化，比如離婚、遷出。如果你只按fid合并，會導(dǎo)致家庭層面的變量污染。更隱蔽的坑是，CFPS數(shù)據(jù)中的pid在不同年份可能會有后綴變化，或者在家庭層面存在“家庭戶主”與“個人戶主”的混淆。 正確寫法對比 錯誤代碼（Stata）： * 錯誤：直接用fid合并多期數(shù)據(jù)，忽略家庭結(jié)構(gòu)變化 merge 1:1 fid using data_2020.dta * 結(jié)果：keep=3 (matched) 很少，大量數(shù)據(jù)丟失或錯誤匹配正確代碼（Stata）： * 正確：使用fid + pid組合鍵，并處理家庭變動 preserve gen fid_pid = fid*10000 + pid tempfile merged_data merge 1:1 fid_pid using data_2020_clean.dta, keepusing(year_2020) update * 檢查匹配情況 tab _merge * 處理未匹配個體（_merge==1），通常是因為該個體在2020年未參與調(diào)查或已去世 drop if _merge==2 rename _merge match_status restore復(fù)現(xiàn)與修復(fù)確認(rèn)你的研究單元是“個人”還是“家庭”。如果是個人研究，必須用pid；如果是家庭研究，用fid但需處理家庭主更替。 在合并前，對fid和pid進行清洗，確保它們是數(shù)值型且無缺失。 使用merge 1:1進行嚴(yán)格匹配。如果匹配率低，檢查是否有ID格式不一致（如字符串型ID含空格）。 在Stata中，合并后務(wù)必檢查_merge變量。_merge==1表示僅在新數(shù)據(jù)中存在，_merge==2表示僅在舊數(shù)據(jù)中存在，_merge==3表示匹配成功。對于面板數(shù)據(jù)，通常保留_merge==1和_merge==3，丟棄_merge==2（除非研究流失原因）。規(guī)避建議 面試中常問：“如何構(gòu)建平衡面板？”答案是：通過多期ID匹配，保留在所有期數(shù)都出現(xiàn)的個體，構(gòu)建平衡面板；或者使用隨機效應(yīng)模型處理非平衡面板。切記，CFPS數(shù)據(jù)中，pid是唯一的個體標(biāo)識，fid是家庭標(biāo)識，兩者不可混用。 坑三：缺失值處理的“一刪了之”誤區(qū) 現(xiàn)象描述 CFPS數(shù)據(jù)中，缺失值（Missing Values）比例不低，尤其是收入、教育年限等敏感變量。很多新手的做法是drop if missing()，直接刪掉缺失樣本。結(jié)果樣本量從20000人剩8000人，且剩下的都是“高收入、高教育”群體，導(dǎo)致估計偏差。 根本原因 缺失不是隨機的（MNAR, Missing Not At Random）。收入缺失者，往往是低技能、非正規(guī)就業(yè)者，他們的收入分布與有收入者截然不同。直接刪除會導(dǎo)致選擇偏差。 正確寫法對比 錯誤代碼（Python）： import pandas as pd df = pd.read_csv(cfps_data.csv) df_clean = df.dropna(subset=[wage]) # 錯誤：丟失了大量低收入樣本，導(dǎo)致平均工資虛高 print(df_clean[wage].mean())正確代碼（Python）： import pandas as pd from sklearn.impute import KNNImputerdf = pd.read_csv(cfps_data.csv)# 1. 標(biāo)記缺失類型 df[wage_missing] = df[wage].isnull().astype(int)# 2. 對于關(guān)鍵變量，不要簡單填充0或均值，而是使用多重插補或KNN # 這里演示KNN插補（適合中等規(guī)模數(shù)據(jù)） imputer = KNNImputer(n_neighbors=5) # 注意：只能對數(shù)值型特征插補，需先對分類變量編碼 features = [age, education, gender, region] df[features] = pd.get_dummies(df[features], drop_first=True)# 僅對wage列進行插補，其他列保持不變 wage_imputed = imputer.fit_transform(df[[wage] + features]) df[wage_imputed] = wage_imputed[:, 0]# 3. 分析時，同時使用原始數(shù)據(jù)（刪除缺失）和插補數(shù)據(jù)，進行穩(wěn)健性檢驗 print(原始均值:, df[wage].mean()) print(插補均值:, df[wage_imputed].mean())復(fù)現(xiàn)與修復(fù)在Stata中，使用mi impute命令進行多重插補（Multiple Imputation）。 在Python/R中，使用missForest或MICE包。 在論文中，必須報告缺失值比例及處理方法。如果是高頻面試題，你可以說：“我采用了多重插補法生成5個完整數(shù)據(jù)集，分別估計后合并，以消除缺失帶來的偏差?！币?guī)避建議 不要怕麻煩，多重插補是學(xué)術(shù)規(guī)范，也是面試加分點。如果數(shù)據(jù)量大（5萬），KNN或均值插補可作為備選，但需在局限性中說明。 坑四：權(quán)重使用錯誤導(dǎo)致的人口推斷偏差 現(xiàn)象描述 CFPS數(shù)據(jù)提供了抽樣權(quán)重（Sampling Weights），用于從樣本推斷總體。很多新手忽略權(quán)重，直接用reg命令跑回歸。結(jié)果雖然模型顯著，但無法代表全國總體。更嚴(yán)重的是，有的朋友把權(quán)重當(dāng)成頻率權(quán)重，重復(fù)觀測，導(dǎo)致標(biāo)準(zhǔn)誤低估。 根本原因 CFPS是分層多階段抽樣，不同省份、不同家庭的抽樣概率不同。權(quán)重用于校正這種不等概率抽樣。忽略權(quán)重，等同于假設(shè)每個樣本代表相同的人口數(shù)量，這是錯誤的。 正確寫法對比 錯誤代碼（Stata）： * 錯誤：忽略權(quán)重 reg y x正確代碼（Stata）： * 正確：使用svyset設(shè)定抽樣設(shè)計，并在回歸中使用svy: svyset [pweight=weight_2020], strata(stratum) fpc(fpc_value) svy: reg y x * 注意：svy: 會自動計算設(shè)計效應(yīng)校正的標(biāo)準(zhǔn)誤復(fù)現(xiàn)與修復(fù)確認(rèn)數(shù)據(jù)中是否有權(quán)重變量（如weight、pweight）。 在Stata中，使用svyset命令設(shè)定抽樣設(shè)計。如果不知道分層變量，可以只用pweight。 在回歸中，必須使用svy: reg而非reg。 檢查設(shè)計效應(yīng)（DEFF），如果DEFF遠(yuǎn)大于1，說明聚類效應(yīng)顯著，需使用cluster()選項。規(guī)避建議 面試中問：“為什么你的標(biāo)準(zhǔn)誤比普通OLS大？”回答：“因為CFPS是分層抽樣，我使用了svy命令校正設(shè)計效應(yīng)，這是符合統(tǒng)計規(guī)范的。” 坑五：時間序列對齊與滯后變量構(gòu)造 現(xiàn)象描述 在動態(tài)面板模型中，常用L.x（滯后項）。但CFPS數(shù)據(jù)中，有些變量是時不變的（如性別、出生地），有些是時變的（如收入、就業(yè)）。新手常犯的錯誤是，對時不變變量也取滯后，導(dǎo)致多重共線性；或者對時變變量忘記對齊時間，導(dǎo)致因果倒置。 根本原因 時間對齊是面板數(shù)據(jù)分析的核心。CFPS數(shù)據(jù)中，year變量是關(guān)鍵。如果year缺失或錯誤，滯后項構(gòu)造就會出錯。 正確寫法對比 錯誤代碼（Stata）： * 錯誤：對時不變變量取滯后 gen L.gender = L(gender) * gender是時不變變量，L.gender == gender，導(dǎo)致完美共線性正確代碼（Stata）： * 正確：僅對時變變量取滯后，并確保時間序列連續(xù) bysort pid (year): gen L.wage = L(wage) bysort pid (year): gen L2.wage = L2(wage) * 檢查時間連續(xù)性 bysort pid (year): gen time_gap = year - L(year) tab time_gap * 如果time_gap 1，說明存在斷檔，需謹(jǐn)慎使用滯后項復(fù)現(xiàn)與修復(fù)明確區(qū)分時不變變量和時變變量。 使用bysort pid (year)確保按個體和時間排序。 檢查時間連續(xù)性，處理斷檔數(shù)據(jù)。規(guī)避建議 在面試中，展示你對時間序列對齊的嚴(yán)謹(jǐn)性，是區(qū)分新手和高手的關(guān)鍵。 結(jié)語 CFPS數(shù)據(jù)處理，看似簡單，實則處處是坑。從變量命名、ID匹配、缺失值處理，到權(quán)重使用、時間對齊，每一步都可能影響你的研究結(jié)論。這些坑，也是高頻面試題的常客。面試官問的不是“你會不會Stata”，而是“你如何處理真實世界中的臟數(shù)據(jù)”。 你在項目里踩過這個坑嗎？評論區(qū)聊聊，看看誰掉的坑最深。