簡介本資源是一套基于Python語言實現(xiàn)的垃圾分類算法設(shè)計源碼面向人工智能初學(xué)者、環(huán)境信息化開發(fā)者及高校課程設(shè)計學(xué)生解決垃圾分類場景下的圖像識別與智能反饋問題。壓縮包共26個文件大小1.35MB包含7個核心Python腳本如main.py、video.py、predicted_outcome2.py等承載圖像采集、模型調(diào)用與分類決策邏輯、2個UI界面文件first.ui、take_a_photo.ui與2個資源文件.qrc支撐圖形化交互另有4個MP3音頻文件提供四類垃圾語音播報2個JPG/PNG截圖用于界面示意以及數(shù)據(jù)庫bank.db、許可證LICENSE和說明文檔readme.txt等完整工程要素。目前已有254人學(xué)習(xí)下載可直接運行調(diào)試完整復(fù)現(xiàn)從拍照識別、結(jié)果預(yù)測、界面展示到語音反饋的全流程特別適合理解PythonOpenCV/機器學(xué)習(xí)輕量級部署的典型實踐結(jié)構(gòu)。 做垃圾分類識別這個項目最開始是接了一個社區(qū)端的智能回收箱方案。箱子倒不難難的是后端怎么判斷投進去的垃圾屬于哪一類總不能每次都讓云端人工審核?；赑ython語言的垃圾分類算法設(shè)計源碼核心就是讓程序通過攝像頭拍下的圖片自動給出“可回收、有害、廚余、其他”這類判斷然后把結(jié)果聯(lián)動到箱體的倉門控制、積分結(jié)算和清運提醒上。Python在這個項目里不是跟風(fēng)選的。后面對比過C和Java的路線最終還是Python先跑通原因后面會展開。這篇博客我會把整套算法設(shè)計的思路、數(shù)據(jù)集怎么準(zhǔn)備、網(wǎng)絡(luò)模型怎么搭、訓(xùn)練調(diào)參怎么踩坑以及最后怎么部署成可用的預(yù)測腳本全部拆開講一遍代碼可以直接拿去改。適合剛?cè)腴T圖像分類、想做一個能落地的小項目的讀者也適合想在畢業(yè)設(shè)計或工程方案里快速出原型的朋友。1. 垃圾分類算法整體設(shè)計從選型到路線1.1 為什么用Python做垃圾分類識別先回答很多人糾結(jié)的問題Python到底是不是“最簡單”的語言單論語法確實是Python的代碼寫起來像偽代碼做算法原型的速度是C無法比的。但真正決定我選Python的不是語法而是生態(tài)。垃圾分類識別本質(zhì)上是一個圖像分類任務(wù)這個領(lǐng)域的基礎(chǔ)設(shè)施從數(shù)據(jù)處理到模型訓(xùn)練再到模型導(dǎo)出幾乎全是用Python鋪好的。你打開PyTorch、TensorFlow、Keras這些深度學(xué)習(xí)框架官方文檔里給的都是Python接口。需要處理圖片有Pillow、OpenCV需要做數(shù)據(jù)增強有imgaug、albumentations需要分析訓(xùn)練結(jié)果有matplotlib、scikit-learn。有人會說C推理更快、Java部署更穩(wěn)這些都沒錯但那是工程化后半段的事情。在算法設(shè)計階段Python能讓你把90%的精力花在模型和數(shù)據(jù)處理上而不是花在指針和內(nèi)存管理上。拿我做的這個項目來說從拿到第一批垃圾圖片到跑出第一個有點效果的模型用Python只花了兩天換成C我恐怕還在折騰編譯環(huán)境。再說說Python與圖像分類任務(wù)的匹配度。垃圾分類的圖片是典型的自然圖像有紋理、顏色、形狀特征這類數(shù)據(jù)最適合用卷積神經(jīng)網(wǎng)絡(luò)處理。而CNN的訓(xùn)練過程需要頻繁迭代、反復(fù)調(diào)試超參數(shù)Python的動態(tài)特性剛好讓這個過程變得很順手。你可以隨時用Jupyter看一眼中間層的特征圖或者改一個參數(shù)重新訓(xùn)練一輪這種交互式開發(fā)體驗是Java、C給不了的。1.2 算法路線選型深度卷積網(wǎng)絡(luò)還是傳統(tǒng)機器學(xué)習(xí)確定語言之后緊接著要決定算法路線。垃圾分類不是只有深度學(xué)習(xí)一條路傳統(tǒng)機器學(xué)習(xí)也能做但效果和適用場景差別很大。傳統(tǒng)路線最經(jīng)典的做法是特征提取加分類器。先用HOG、顏色直方圖、SIFT這些手工設(shè)計的特征把圖片變成一個特征向量再用SVM、隨機森林做分類。這條路線的優(yōu)勢是輕量訓(xùn)練數(shù)據(jù)集幾百張圖片就夠模型體積小部署到樹莓派上也不用擔(dān)心顯存。我早期試過HOGSVM在四類垃圾可回收、有害、廚余、其他上準(zhǔn)確率大概在78%左右對形狀規(guī)整的瓶子、易拉罐識別得不錯但一遇到塑料袋這類形狀不固定、紋理不明顯的物體就頻繁誤判。深度學(xué)習(xí)路線尤其是CNN相當(dāng)于讓網(wǎng)絡(luò)自己學(xué)習(xí)該看什么特征。它不需要你告訴它“瓶子是圓柱形的”網(wǎng)絡(luò)會在訓(xùn)練過程中自動從大量樣本里抽象出紋理、邊緣、形狀組合等中高層特征。在同樣的四分類任務(wù)上一個簡單的CNN輕松超過90%準(zhǔn)確率換成預(yù)訓(xùn)練模型遷移學(xué)習(xí)能做到95%以上。代價是訓(xùn)練數(shù)據(jù)需求量大、模型體積大、推理需要一定算力。我在這個項目里最終選了CNN路線并用遷移學(xué)習(xí)作為備用方案。原因很直接垃圾分類場景本身類別之間差異大但每個類別內(nèi)部的形態(tài)差異也大比如“可回收物”里既有易拉罐又有紙箱兩者的視覺特征完全不同。傳統(tǒng)手工特征很難統(tǒng)一描述這種“內(nèi)部分散、外部重疊”的分布而CNN通過深層抽象能在一定程度上解決這個問題。2. 數(shù)據(jù)集準(zhǔn)備與預(yù)處理細節(jié)2.1 垃圾圖片數(shù)據(jù)集的組織結(jié)構(gòu)無論選什么模型數(shù)據(jù)永遠是決定上限的因素。垃圾分類領(lǐng)域目前公開的數(shù)據(jù)集不算特別豐富最常用的是華為云發(fā)布的垃圾分類數(shù)據(jù)集包含40多個小類、上萬張圖片。如果只做基礎(chǔ)的四分類可以按國家標(biāo)準(zhǔn)的分類邏輯合并成大目錄。我的項目里目錄結(jié)構(gòu)是這樣組織的garbage_dataset/ ├── train/ │ ├── recyclable/ │ │ ├── plastic_bottle_001.jpg │ │ ├── plastic_bottle_002.jpg │ │ └── newspaper_001.jpg │ ├── harmful/ │ │ ├── battery_001.jpg │ │ └── medicine_001.jpg │ ├── kitchen/ │ │ ├── vegetable_001.jpg │ │ └── leftover_001.jpg │ └── other/ │ ├── ceramics_001.jpg │ └── tissue_001.jpg └── val/ └── ...這種按類別分文件夾的組織方式是Keras的ImageDataGenerator直接支持的格式文件夾名就是類別標(biāo)簽。有一點要特別強調(diào)訓(xùn)練集和驗證集必須在類別層面保持同分布不能讓驗證集里出現(xiàn)訓(xùn)練集完全沒有的子類別。比如訓(xùn)練集里“可回收物”只有塑料瓶圖片驗證集里全是紙箱那驗證準(zhǔn)確率就會虛低。2.2 數(shù)據(jù)加載與增強策略垃圾圖片有一個特點是背景復(fù)雜同樣是礦泉水瓶有人放在桌上拍有人扔在垃圾桶里拍還有人在陽光下俯拍。如果直接拿原圖訓(xùn)練模型很容易把背景錯誤地學(xué)進去導(dǎo)致?lián)Q一個場景就失效。數(shù)據(jù)增強就是應(yīng)對這個問題的核心手段。我用Keras的ImageDataGenerator做增強配置如下from tensorflow.keras.preprocessing.image import ImageDataGenerator train_datagen ImageDataGenerator( rescale1.0/255.0, rotation_range20, width_shift_range0.2, height_shift_range0.2, shear_range0.15, zoom_range0.2, horizontal_flipTrue, fill_modenearest )逐行解釋一下我為什么這樣設(shè)置。rescale把所有像素值從0-255縮放到0-1區(qū)間這是幾乎所有CNN訓(xùn)練的前置要求直接把大數(shù)值喂給網(wǎng)絡(luò)會導(dǎo)致梯度更新不穩(wěn)定。rotation_range20表示圖片會在-20度到20度之間隨機旋轉(zhuǎn)模擬拍攝角度偏差。width_shift_range和height_shift_range是水平和垂直位移相當(dāng)于模擬垃圾在畫面中的不同位置。shear_range是剪切變換模擬從側(cè)面拍攝時的透視形變。zoom_range0.2是隨機縮放因為攝像頭拍垃圾時距離不會每次都一樣。horizontal_flip是水平翻轉(zhuǎn)瓶子左右翻轉(zhuǎn)之后仍然是一個瓶子這個增強是完全合理的。此處可以補充一個易被忽視的細節(jié)垂直翻轉(zhuǎn)對某些類別是有害的。雖然手上沒有數(shù)據(jù)證明塑料袋倒著放有什么問題但涉及文字、液體時垂直翻轉(zhuǎn)會破壞真實的物理語義所以我在代碼里只開了水平翻轉(zhuǎn)。3. 模型構(gòu)建與算法實現(xiàn)源碼3.1 用Keras搭建輕量級CNN模型這一部分直接給一個基于Keras的CNN實現(xiàn)。為了兼顧效果和部署成本我沒有一上來就上ResNet而是先搭了一個輕量級網(wǎng)絡(luò)驗證流程再考慮是否換成預(yù)訓(xùn)練模型。from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout, BatchNormalization input_shape (224, 224, 3) num_classes 4 model Sequential([ Conv2D(filters32, kernel_size(3, 3), activationrelu, input_shapeinput_shape), BatchNormalization(), MaxPooling2D(pool_size(2, 2)), Conv2D(filters64, kernel_size(3, 3), activationrelu), BatchNormalization(), MaxPooling2D(pool_size(2, 2)), Conv2D(filters128, kernel_size(3, 3), activationrelu), BatchNormalization(), MaxPooling2D(pool_size(2, 2)), Flatten(), Dense(units256, activationrelu), Dropout(0.5), Dense(unitsnum_classes, activationsoftmax) ]) model.summary()這個網(wǎng)絡(luò)結(jié)構(gòu)不算復(fù)雜但每一層的選擇都有講究。第一層用32個3x3卷積核是因為剛開始的層只需要提取邊緣、顏色塊等低級特征通道數(shù)太多反而增加過擬合風(fēng)險。每一輪卷積之后都接BatchNormalization目的是把每層的激活值拉回到合理區(qū)間這樣網(wǎng)絡(luò)能使用更大的學(xué)習(xí)率而不容易發(fā)散我實測加了BN之后收斂速度起碼快了一倍。MaxPooling(kernel_size2)的作用是下采樣把特征圖尺寸減半這樣既能降低計算量又能擴大后續(xù)卷積核的感受野。最后接入Dropout(0.5)是刻意為之因為全連接層的參數(shù)量占了整個網(wǎng)絡(luò)的大頭最容易過擬合Dropout在訓(xùn)練時隨機丟棄一半神經(jīng)元相當(dāng)于同時訓(xùn)練了多個不同的“子網(wǎng)絡(luò)”預(yù)測時再取平均效果。在模型最后我用softmax激活函數(shù)輸出4個類別的概率分布。垃圾分類不是多標(biāo)簽任務(wù)每個樣本只屬于一個類別softmax加categorical_crossentropy是這套任務(wù)的標(biāo)準(zhǔn)組合。如果你用的是“垃圾/非垃圾”二分類那輸出層只需要1個神經(jīng)元加sigmoid。3.2 模型編譯與訓(xùn)練參數(shù)怎么定模型搭好之后編譯和訓(xùn)練階段有大量參數(shù)需要解釋清楚這些參數(shù)直接決定模型能不能收斂、收斂速度多快、最終效果多好。from tensorflow.keras.optimizers import Adam from tensorflow.keras.callbacks import EarlyStopping, ModelCheckpoint, ReduceLROnPlateau model.compile( optimizerAdam(learning_rate1e-3), losscategorical_crossentropy, metrics[accuracy] ) callbacks [ EarlyStopping(monitorval_loss, patience8, restore_best_weightsTrue), ModelCheckpoint(best_model.h5, monitorval_accuracy, save_best_onlyTrue), ReduceLROnPlateau(monitorval_loss, factor0.5, patience3, min_lr1e-6) ] history model.fit( train_generator, steps_per_epochtrain_generator.samples // batch_size, epochs50, validation_dataval_generator, validation_stepsval_generator.samples // batch_size, callbackscallbacks, verbose1 )learning_rate選擇1e-3是Adam優(yōu)化器最常用的初始值偏大的學(xué)習(xí)率在初期能快速下降而ReduceLROnPlateau會在驗證損失連續(xù)3輪不下降時自動把學(xué)習(xí)率減半避免后期在最優(yōu)解附近震蕩。EarlyStopping的monitor參數(shù)我設(shè)置了val_loss而不是val_accuracy原因是準(zhǔn)確率有時會進入短暫的平臺期早停容易誤殺而val_loss更能反映模型泛化能力的整體趨勢。patience8意味著連續(xù)8輪驗證損失不下降才停止給足模型“喘氣”的空間。batch_size在這個項目里是32。這個值不是隨意定的它需要能整除訓(xùn)練集樣本數(shù)否則最后一批數(shù)據(jù)會不完整同時在GPU顯存允許范圍內(nèi)盡量大一些讓每個batch的梯度估計更穩(wěn)定。如果你發(fā)現(xiàn)訓(xùn)練抖動特別厲害可以先嘗試加大batch_size而不是盲目調(diào)整學(xué)習(xí)率。訓(xùn)練過程中我還發(fā)現(xiàn)一個現(xiàn)象數(shù)據(jù)增強會導(dǎo)致訓(xùn)練集損失一直高于驗證集損失這不是bug而是因為增強后的圖片更難識別。只要驗證集準(zhǔn)確率持續(xù)上升網(wǎng)絡(luò)就還在學(xué)習(xí)有效特征。遇到這種情況心態(tài)要穩(wěn)定千萬別因為loss下降慢就急著調(diào)跑偏。4. 部署與推理把你的模型跑起來4.1 單張圖片預(yù)測腳本模型訓(xùn)練好之后落地才是關(guān)鍵。我寫了一個輕量級預(yù)測腳本輸入圖片路徑輸出預(yù)測的垃圾類別和置信度。import numpy as np from tensorflow.keras.models import load_model from tensorflow.keras.preprocessing import image model load_model(best_model.h5) classes [其他垃圾, 廚余垃圾, 可回收物, 有害垃圾] def predict_garbage(img_path, target_size(224, 224)): img image.load_img(img_path, target_sizetarget_size) img_array image.img_to_array(img) img_array img_array / 255.0 img_array np.expand_dims(img_array, axis0) preds model.predict(img_array)[0] idx np.argmax(preds) confidence float(preds[idx]) print(f圖片路徑: {img_path}) print(f預(yù)測類別: {classes[idx]}) print(f置信度: {confidence * 100:.2f}%) for name, prob in zip(classes, preds): print(f{name}: {prob * 100:.2f}%) return classes[idx], confidence if __name__ __main__: predict_garbage(./test_images/battery.jpg)一個非常容易被忽略的坑是圖片預(yù)處理一致性。訓(xùn)練時ImageDataGenerator已經(jīng)做了rescale所以預(yù)測時必須也要做同樣的除以255操作。如果漏掉這一步輸入分布和訓(xùn)練時不一樣模型輸出就會異常甚至對所有圖片都給出同一個類別的預(yù)測這種問題還特別難排查。另外load_img的參數(shù)target_size必須和訓(xùn)練時完全一致不能因為驗證集圖片恰好是300x300就跳過縮放。4.2 性能評估與模型導(dǎo)出優(yōu)化只看準(zhǔn)確率是不夠的多分類任務(wù)一定要看混淆矩陣。我給這個項目寫了一個簡單的評估腳本from sklearn.metrics import confusion_matrix, classification_report import numpy as np y_true [] y_pred [] for i in range(len(val_generator)): images, labels val_generator[i] preds model.predict(images) y_true.extend(np.argmax(labels, axis1)) y_pred.extend(np.argmax(preds, axis1)) if len(y_true) val_generator.samples: break cm confusion_matrix(y_true, y_pred) print(cm)從混淆矩陣?yán)锬芸吹胶芏嗥骄鶞?zhǔn)確率掩蓋掉的問題。比如我的第一版模型整體準(zhǔn)確率94%但一看矩陣發(fā)現(xiàn)“有害垃圾”有30%的概率被誤判成“可回收物”這是因為有害垃圾的訓(xùn)練樣本數(shù)量偏少。后續(xù)我做了類別加權(quán)采樣把有害垃圾圖片復(fù)制增強了一輪誤判率才明顯下降。模型導(dǎo)出方面如果是做原型演示保留.h5文件就夠了。但真要部署到邊緣設(shè)備建議轉(zhuǎn)成TensorFlow Lite格式這里是一個參考轉(zhuǎn)換代碼import tensorflow as tf converter tf.lite.TFLiteConverter.from_keras_model(model) converter.optimizations [tf.lite.Optimize.DEFAULT] tflite_model converter.convert() with open(garbage_model.tflite, wb) as f: f.write(tflite_model)轉(zhuǎn)換后的模型體積大約縮小到原來的四分之一推理速度在樹莓派4B上單張圖片只需300毫秒左右基本能滿足實時識別的要求。手機上部署還可以進一步做int8量化但代價是精度會損失1-2個百分點是否接受取決于業(yè)務(wù)場景。5. 常見問題與排查技巧5.1 過擬合和訓(xùn)練不收斂訓(xùn)練過程中最容易遇到兩類問題過擬合和不收斂。下面是我在這個項目里踩過的坑和對應(yīng)的解決辦法整理成一個速查表?，F(xiàn)象可能原因解決辦法訓(xùn)練準(zhǔn)確率高但驗證準(zhǔn)確率低過擬合模型記住了訓(xùn)練集噪聲增加Dropout比例、加大數(shù)據(jù)增強強度、引入預(yù)訓(xùn)練模型做遷移學(xué)習(xí)訓(xùn)練損失不下降學(xué)習(xí)率過大或過小先用1e-3初始學(xué)習(xí)率若震蕩則降到1e-4若不動則升到1e-2再配合衰減驗證損失后期上升訓(xùn)練時間過長開始過擬合使用EarlyStoppingpatience設(shè)在8-10所有類別預(yù)測概率接近模型未收斂或預(yù)處理不一致檢查是否漏了rescale檢查softmax層前是否有梯度消失某個類別準(zhǔn)確率特別低類別不平衡做類別加權(quán)、復(fù)制少數(shù)類樣本或使用Focal Loss專門說一下類別不平衡的問題。垃圾分類中“有害垃圾”天然樣本少因為日常大家產(chǎn)生的有害垃圾確實少公開數(shù)據(jù)集里這類樣本也少。我試過最簡單的方案就是重復(fù)采樣把樣本數(shù)量少的類別多喂幾次操作上可以通過設(shè)置class_weight參數(shù)實現(xiàn)。如果追求更好的效果可以調(diào)研一下Focal Loss它會讓模型更關(guān)注難分類的樣本對類別不平衡和難樣本場景都有幫助。5.2 環(huán)境依賴與工程化問題訓(xùn)練過程中我遇到過好幾個讓人抓狂的工程問題簡單分享幾個第一個是TensorFlow版本和CUDA版本不匹配。我一開始裝了最新的TensorFlow結(jié)果模型訓(xùn)練時提示找不到libcudnn.so.8后來查了半天才發(fā)現(xiàn)是CUDA 11.4和TF 2.10的兼容性要求。建議直接用conda創(chuàng)建虛擬環(huán)境固定版本比如tensorflow2.10.0搭配cudatoolkit11.2可以少踩很多坑。第二個是圖片路徑包含中文。Windows環(huán)境下載的公開數(shù)據(jù)集文件夾經(jīng)常是中文而Pillow在某些版本下加載中文路徑會報錯。解決方案要么在預(yù)處理階段把路徑中的中文替換成拼音要么把圖片全部改成簡易文件名例如h_001.jpg、k_002.jpg。第三個是GPU顯存不足。我的顯卡是8G顯存訓(xùn)練224x224圖片batch_size32沒問題但如果把圖片尺寸改成320x320batch_size不相應(yīng)縮小就會直接OOM。遇到顯存不足時優(yōu)先減少batch_size其次考慮調(diào)低圖片尺寸最不建議的就是直接換小模型因為那會從根本上改變特征提取能力。5.3 分類結(jié)果總不對的深層排查如果你發(fā)現(xiàn)模型在測試集上表現(xiàn)還行但一到真實場景就頻繁出錯那問題大概率出在訓(xùn)練集和真實場景的分布差異上。我第一版模型上線做演示時識別垃圾桶里拍的紙團頻繁失敗而測試集里幾乎沒有這種底部視角、光線昏暗、多物體堆疊的圖片。建議做法是收集200-300張實際場景圖盡量覆蓋角度、光線、遮擋情況然后混合進訓(xùn)練集。就算不額外標(biāo)注也可以把這些真實圖片加入增強池讓模型適應(yīng)更多樣化的視覺環(huán)境。我個人在實際操作中體會到模型能力的天花板其實是數(shù)據(jù)質(zhì)量鋪出來的調(diào)參只能錦上添花數(shù)據(jù)分布和真實場景對齊才是雪中送炭。最后再分享一個小技巧如果你的項目時間有限不建議從零訓(xùn)練一個CNN。直接用預(yù)訓(xùn)練的MobileNetV2或ResNet50把最后一層換成4類輸出用遷移學(xué)習(xí)微調(diào)通常只需要幾百張圖片就能達到比從零訓(xùn)練更好的效果。我后期就把主干換成了MobileNetV2模型體積更小準(zhǔn)確率反而提升到了96%這算是這個項目里最有價值的取舍之一。本文還有配套的精品資源點擊獲取