Box-Cox變換是Box和Cox在1964年提出的一種廣義冪變換方法是統(tǒng)計(jì)建模中常用的一種數(shù)據(jù)變換用于連續(xù)的響應(yīng)變量不滿(mǎn)足正態(tài)分布的情況。Box-Cox變換之后可以一定程度上減小不可觀測(cè)的誤差和預(yù)測(cè)變量的相關(guān)性。Box-Cox變換的主要特點(diǎn)是引入一個(gè)參數(shù)通過(guò)數(shù)據(jù)本身估計(jì)該參數(shù)進(jìn)而確定應(yīng)采取的數(shù)據(jù)變換形式Box-Cox變換可以明顯地改善數(shù)據(jù)的正態(tài)性、對(duì)稱(chēng)性和方差相等性對(duì)許多實(shí)際數(shù)據(jù)都是行之有效的。但是當(dāng)我們遇到雙峰性數(shù)據(jù)時(shí)使用box-cox方法進(jìn)行處理處理出來(lái)的效果往往是不理想的因此我們需要換方法。通過(guò)數(shù)據(jù)處理發(fā)現(xiàn)sklearn.preprocessing.QuantileTransformer這個(gè)方法處理雙峰性數(shù)據(jù)的效果非常好因此我們接下來(lái)講講這種方法的具體使用以及對(duì)處理后的數(shù)據(jù)進(jìn)行正態(tài)性檢驗(yàn)以及查看峰度和偏度以及q-q圖。接下來(lái)我們先了解一下sklearn.preprocessing.QuantileTransformer這個(gè)方法。此方法將要素轉(zhuǎn)換為遵循均勻或正態(tài)分布。因此對(duì)于給定的特征此變換趨向于散布最頻繁的值。它還減少了邊際離群值的影響因此這是一個(gè)可靠的預(yù)處理方案。變換獨(dú)立應(yīng)用于每個(gè)功能。首先特征的累積分布函數(shù)的估計(jì)值用于將原始值映射到均勻分布。然后使用關(guān)聯(lián)的分位數(shù)函數(shù)將獲得的值映射到所需的輸出分布。低于或高于擬合范圍的新數(shù)據(jù)/看不見(jiàn)數(shù)據(jù)的特征值將映射到輸出分布的邊界。請(qǐng)注意此變換是非線(xiàn)性的。它可能會(huì)扭曲以相同比例尺測(cè)量的變量之間的線(xiàn)性相關(guān)性但會(huì)使以不同比例尺測(cè)量的變量更直接可比。好了接下來(lái)我們進(jìn)入實(shí)戰(zhàn)我們以 2022 SAS中國(guó)高校數(shù)據(jù)分析大賽 復(fù)賽題目-農(nóng)產(chǎn)品期貨 數(shù)據(jù)為例子首先導(dǎo)入數(shù)據(jù)import pandas as pd import numpy as np from scipy import stats import matplotlib.pyplot as plt f pd.read_csv(rC:\Users\bai\Desktop\2022 SAS中國(guó)高校數(shù)據(jù)分析大賽 復(fù)賽題目-農(nóng)產(chǎn)品期貨\2022 SAS中國(guó)高校數(shù)據(jù)分析大賽 復(fù)賽題目-農(nóng)產(chǎn)品期貨\玉米期貨2005-2021日線(xiàn)數(shù)據(jù)\Corn_dat.csv) f.head() #查看數(shù)據(jù)導(dǎo)入畫(huà)圖庫(kù)查看原始數(shù)據(jù)的分布import seaborn as sns sns.set() #切換到sns的默認(rèn)運(yùn)行配置 sns.displot(f[High]) #畫(huà)直方圖畫(huà)q-q圖resstats.probplot(f[High],plotplt) #畫(huà)q-q圖參數(shù)檢驗(yàn)p值偏度與峰度u f[High].mean() #求均值 std f[High].std() #求方差 result stats.kstest(f[High],norm,(u,std)) #正態(tài)分布檢驗(yàn) print(result) #輸出結(jié)果pvalue大于0.05才滿(mǎn)足正態(tài)分布print(fSkewness of saleprice: {f[High].skew()}) print(fKurtosis of saleprice: {f[High].kurt()})導(dǎo)入機(jī)器學(xué)習(xí)庫(kù)對(duì)數(shù)據(jù)進(jìn)行處理from sklearn.preprocessing import QuantileTransformer #導(dǎo)入sklearn 分位數(shù)轉(zhuǎn)換器 將雙峰數(shù)據(jù)正態(tài)化 xQuantileTransformer(n_quantiles 300,output_distributionnormal, random_state0) #初始化參數(shù) #f[High].values.reshape(-1,1) 由于在sklearn中所有的數(shù)據(jù)都應(yīng)該是二維矩陣哪怕它只是單獨(dú)一行或一列 #比如前面做預(yù)測(cè)時(shí)僅僅只用了一個(gè)樣本數(shù)據(jù)所以需要使用.reshape(1,-1)進(jìn)行轉(zhuǎn)換 high x.fit_transform(f[High].values.reshape(-1,1)) #調(diào)用分位數(shù)轉(zhuǎn)換器將數(shù)據(jù)進(jìn)行轉(zhuǎn)換high.flatten() #將二維數(shù)據(jù)降維回來(lái)以便后面畫(huà)圖 f[high]high #將正態(tài)化的數(shù)據(jù)寫(xiě)入表 f.head() #查看處理后的數(shù)據(jù)畫(huà)處理后的直方圖sns.displot(f[high]) #畫(huà)正態(tài)分布圖畫(huà)q-q圖resstats.probplot(f[high],plotplt) #畫(huà)q-q圖輸出檢驗(yàn)參數(shù)u f[high].mean() #求均值 std f[high].std() #求方差 result stats.kstest(f[high],norm,(u,std)) #正態(tài)分布檢驗(yàn) print(result) #輸出結(jié)果pvalue大于0.05才滿(mǎn)足正態(tài)分布 print(fSkewness of saleprice: {f[High].skew()}) print(fKurtosis of saleprice: {f[High].kurt()})將原始數(shù)據(jù)還原回來(lái)方便數(shù)據(jù)分析fhigh x.inverse_transform(high) #將原始數(shù)據(jù)還原回來(lái)進(jìn)行數(shù)據(jù)分析 print(fhigh)還原回來(lái)后和原數(shù)據(jù)相同。接下來(lái)就可以進(jìn)行其他分析啦