簡介面向中文命名實體識別NER研究與實踐的Python源碼資源整合了雙向長短期記憶網(wǎng)絡與條件隨機場BILSTMCRF、膨脹卷積與條件隨機場IDCNNCRF、預訓練模型BERT結(jié)合雙向長短期記憶網(wǎng)絡與條件隨機場BERTBILSTMCRF三條主流模型路線并附帶人民日報、MSRA等經(jīng)典中文語料的預處理腳本適合自然語言處理方向的學生、算法工程師以及以畢設、課設為目標的初學者參考。壓縮包內(nèi)共有五十八個文件核心是十六個Python腳本涵蓋模型定義、數(shù)據(jù)清洗、訓練與預測全流程另有十九個編譯后的緩存文件、九個文本說明、五張示意圖、四個說明文檔和三個XML工程配置文件整體大小約十三點七五MB目錄結(jié)構清晰便于按模塊查閱。代碼均經(jīng)過運行測試并配有說明文檔和可視化結(jié)果圖學習與二次開發(fā)門檻較低。目前已有五百二十五人學習多模型對比實現(xiàn)可幫助讀者直觀理解不同結(jié)構在中文實體識別任務中的表現(xiàn)差異也能直接用于畢業(yè)設計或課程設計、項目初期立項演示。1. 中文命名實體識別三套主流模型的 Python 源碼怎么落地先回答最直接的問題中文命名實體識別到底難在哪難在中文沒有天然空格分詞、實體的邊界和類別常常要依賴上下文而常見的規(guī)則匹配和 HMM 在真實語料上很快就到天花板。這份 NER_DEMO 源碼包把三條主流路線放在一起對比BILSTMCRF、IDCNNCRF以及熱度最高的 BERTBILSTMCRF并自帶人民日報、MSRA 等數(shù)據(jù)集的預處理腳本和訓練入口對正在做課程設計、畢設或者剛接觸序列標注的開發(fā)者來說是少見的能直接跑起來的完整工程。它解決的是一類很具體的問題從原始標注文本到最終能識別出人名、地名、組織名的完整鏈路包含數(shù)據(jù)清洗、vocab 構建、模型訓練、日志輸出和預測。適合的人群是已經(jīng)會寫 Python、能看懂神經(jīng)網(wǎng)絡基本結(jié)構但沒完整跑過 NER 項目的同學或者想快速對比三種模型效果的候選人。2. 目錄結(jié)構和數(shù)據(jù)準備先看懂這份資源怎么組織再談訓練2.1 源碼包的文件清單和職責劃分拿到 NER_DEMO-master.zip 解壓后第一件事不是急著裝環(huán)境而是把目錄結(jié)構摸清楚。整個工程可以分成四塊模型定義、數(shù)據(jù)預處理、公共工具、入口腳本。模型定義部分放在根目錄下五個 Python 文件對應五種網(wǎng)絡結(jié)構BILSTM_CRF.py 是最經(jīng)典的 BiLSTM 加 CRF 序列標注IDCNN_CRF.py 是膨脹卷積替代 LSTM 的變體IDCNN5_CRF.py 是 IDCNN 的加深版本BILSTM_Attetion_CRF.py 在 BiLSTM 基礎上加了 attention 層BERT_BILSTM_CRF.py 則是用預訓練 BERT 接 BiLSTM 再接 CRF 的最強組合。預處理腳本在 DataProcess 目錄下msra_preprocessing.py、renminribao_preprocessing.py、data2_preprocessing.py 分別處理不同來源的數(shù)據(jù)集。process_data.py 負責統(tǒng)一流程。工具層是 utils.py 和 path.py前者存放標簽映射、數(shù)據(jù)讀取、批次生成這一類公共函數(shù)后者統(tǒng)一管理數(shù)據(jù)、模型、日志的文件路徑。入口腳本是 train.py所有模型的訓練都從這里啟動日志輸出到 log 目錄下。提示先打開 README.md 再動手它會說明當前代碼依賴的深度學習框架版本以及各模型對應哪個數(shù)據(jù)集格式。這能幫你省掉最常見的框架不兼容問題。2.2 數(shù)據(jù)集的格式標準和 vocab 構建流程NER 訓練數(shù)據(jù)的標準格式是每一行一個詞空行分隔句子標簽序列和詞語序列按行對齊。以人民日報語料為例預處理腳本會把原始文本解析成這種格式保存比如“中 國 B-ORG”“人 民 E-ORG”“銀 行 B-ORG”這種 BIESO 標注體系。vocab.py 和 process_data.py 負責把清洗后的文本轉(zhuǎn)成訓練用的 id 序列。vocab 構建的核心邏輯是把每個字符映射到一個唯一的索引再補充特殊標記。常見做法是把 vocab 分成四個部分pad 用于批內(nèi)補齊、unk 用于未登錄詞、sos 和 eos 用于句子邊界。具體代碼邏輯一般是def build_vocab(files, min_count1): word_count {} for file in files: for line in open(file, encodingutf-8): for char in line.strip(): word_count[char] word_count.get(char, 0) 1 vocab {word: idx for word, idx in zip([pad, unk, sos, eos], range(4))} for word, count in word_count.items(): if count min_count: vocab[word] len(vocab) return vocab這段代碼先統(tǒng)計所有字符的出現(xiàn)次數(shù)再按最低頻次過濾低頻字符。min_count 取 1 時保留全部字符取 2 或 3 時能過濾一部分錯別字和噪聲但也會讓模型對生僻字的泛化能力下降。我一般會先把 min_count 設為 1 跑通再看訓練集大小決定是否過濾。2.3 預處理腳本的參數(shù)含義和實際用法msra_preprocessing.py 是處理 MSRA 數(shù)據(jù)集的典型例子。原始 MSRA 語料以換行符分隔句子每行是一句完整的中文句子附帶的標注文件需要按字符位置對齊才能生成訓練數(shù)據(jù)。python msra_preprocessing.py --input_dir ./data/msra_raw --output_dir ./data2這個命令把 MSRA 原始文本和標注文件轉(zhuǎn)換成統(tǒng)一的 BIO 格式輸出到 data2 目錄。腳本內(nèi)部會檢查句子長度、標簽對齊關系如果發(fā)現(xiàn)字符數(shù)和標簽數(shù)不匹配會自動跳過該句。運行完檢查 data2 下的文件行數(shù)是否和原始標注數(shù)據(jù)大致匹配如果出現(xiàn)大量句子被跳過通常是原始標注文件里有全角空格或空行需要先做清洗。參數(shù)說明--input_dir 指向原始數(shù)據(jù)目錄--output_dir 指向處理后數(shù)據(jù)存放的位置。不同數(shù)據(jù)集腳本的輸入輸出參數(shù)基本一致這套工程的預處理腳本是按統(tǒng)一接口設計的所以換數(shù)據(jù)集時不需要改模型代碼。2.4 環(huán)境配置和快速驗證數(shù)據(jù)完整性訓練前先確認三件事PyTorch 版本、GPU 是否可用、transformers 庫是否安裝。BERT 模型需要從 huggingface 加載預訓練權重而國內(nèi)網(wǎng)絡環(huán)境下載中文預訓練模型通常比較慢建議先手動下載 chinese_L-12_H-768_A-12 到本地 data 目錄。pip install torch transformers tqdm numpy python train.py --model BERT_BILSTM_CRF --epochs 3 --batch_size 8 --gpu 0注意如果報 transformers 加載權重超時直接把預訓練模型下載到 data/chinese_L-12_H-768_A-12 目錄然后修改 path.py 里的預訓練模型路徑指向本地目錄能大幅縮短啟動時間。3. 三種模型的原理和訓練配置為什么選 BiLSTMCRF、IDCNNCRF 和 BERTBiLSTMCRF3.1 BiLSTMCRF 的原理和代碼走讀BiLSTMCRF 是序列標注領域的經(jīng)典結(jié)構很多線上 NER 系統(tǒng)到目前仍是這套組合。BiLSTM 負責編碼上下文信息把字符序列轉(zhuǎn)換成每個位置對應的隱狀態(tài)向量而 CRF 層負責學習標簽之間的轉(zhuǎn)移約束比如“B-PER 后面不能直接跟 E-ORG”這樣的規(guī)則。class BiLSTM_CRF(nn.Module): def __init__(self, vocab_size, tag_size, embedding_dim128, hidden_dim256): super(BiLSTM_CRF, self).__init__() self.embedding nn.Embedding(vocab_size, embedding_dim) self.lstm nn.LSTM(embedding_dim, hidden_dim // 2, num_layers1, bidirectionalTrue, batch_firstTrue) self.hidden2tag nn.Linear(hidden_dim, tag_size) self.crf CRF(tag_size)這段代碼里 embedding_dim 是字符向量維度hidden_dim 是 LSTM 隱層大小因為是雙向結(jié)構所以 hidden_dim 會被平分到兩個方向。CRF 層接收 LSTM 輸出的發(fā)射分數(shù)矩陣然后通過維特比解碼找到最優(yōu)標簽序列。訓練時使用負對數(shù)似然損失這個損失由真實路徑分數(shù)減去所有可能路徑的 logsumexp 分數(shù)得到。3.2 IDCNNCRF 的結(jié)構差異和適用場景IDCNN 是膨脹卷積網(wǎng)絡的縮寫它在普通 CNN 的基礎上引入了不同膨脹率的卷積核讓感受野在不增加參數(shù)量和層數(shù)的情況下指數(shù)級擴大。和 BiLSTM 相比IDCNN 的訓練速度更快推理時也不需要逐步計算適合對實時性有要求的場景。class IDCNN_CRF(nn.Module): def __init__(self, vocab_size, tag_size, filters128, dilations[1, 1, 2]): super(IDCNN_CRF, self).__init__() self.embedding nn.Embedding(vocab_size, embedding_dim) self.idcnn IDCNN(filtersfilters, dilationsdilations) self.linear nn.Linear(filters, tag_size) self.crf CRF(tag_size)dilations 參數(shù)是 IDCNN 的核心控制項[1, 1, 2] 表示三層卷積的膨脹率分別是 1、1、2。膨脹率為 1 時是普通卷積膨脹率為 2 時每個卷積核的采樣點間隔為 1 個字符。實際使用中 IDCNN5_CRF.py 會疊加更多層以擴大感受野。這里的核心權衡是膨脹率越大感受野越大但過大會導致局部信息丟失所以工程上常采用多組小膨脹率的堆疊而不是一組大膨脹率。3.3 BERTBiLSTMCRF 的模型結(jié)構和訓練技巧BERTBILSTMCRF 是目前效果最好的組合之一原理是先用 BERT 預訓練模型生成融合上下文語義的字符向量再把向量序列輸入 BiLSTM 進一步編碼最后由 CRF 解碼。這份源碼里 BERT 部分用的是 chinese_L-12_H-768_A-12即 12 層 transformer、768 維隱層這是 BERT-base 的中文版本。class BERT_BILSTM_CRF(nn.Module): def __init__(self, bert_path, tag_size, hidden_dim256): super(BERT_BILSTM_CRF, self).__init__() self.bert BertModel.from_pretrained(bert_path) self.lstm nn.LSTM(768, hidden_dim // 2, bidirectionalTrue, batch_firstTrue) self.hidden2tag nn.Linear(hidden_dim, tag_size) self.crf CRF(tag_size) def forward(self, input_ids, attention_mask, labelsNone): outputs self.bert(input_ids, attention_maskattention_mask) sequence_output outputs[0] lstm_out, _ self.lstm(sequence_output) emissions self.hidden2tag(lstm_out) if labels is not None: loss -self.crf(emissions, labels, maskattention_mask) return loss return self.crf.decode(emissions, maskattention_mask)訓練 BERT 系模型時有幾個關鍵點。一是學習率要比 BiLSTM 模型低一等數(shù)量級BERT 部分的微調(diào)學習率一般設置在 5e-5 到 2e-5而 BiLSTM 部分可以用 1e-3二是 batch_size 受顯存限制通常只能設 8 到 16所以訓練輪數(shù)要相應增加三是最耗時間的不是構思模型而是 BERT 預訓練權重的加載建議固定隨機種子保證可復現(xiàn)。3.4 三種模型的選型對比和場景建議三種模型的效果和代價差異非常明顯。在一個 2 萬句規(guī)模的中文語料上BiLSTMCRF 訓練大約需要 2 到 4 小時IDCNNCRF 能快 30% 以上而 BERTBiLSTMCRF 在同樣數(shù)據(jù)上可能要多花 4 到 8 小時但 F1 值通常能高 3 到 8 個百分點。模型組合訓練速度顯存占用精度上限適用場景BiLSTMCRF快低中標注數(shù)據(jù)少、硬件受限的場景IDCNNCRF更快低中上需要快速迭代或?qū)崟r推理的業(yè)務BERTBiLSTMCRF慢高高追求效果上限硬件資源充裕4. 訓練與調(diào)參實戰(zhàn)從啟動命令到日志分析全流程可復現(xiàn)4.1 訓練入口的參數(shù)體系和啟動方式train.py 是整個工程的統(tǒng)一入口通過 --model 參數(shù)選擇不同的模型結(jié)構。這個腳本定義了完整的訓練循環(huán)包括批次生成、反向傳播、梯度裁剪、驗證集評估和模型保存。# 訓練 BiLSTMCRF 模型 python train.py --model BILSTM_CRF --epochs 10 --batch_size 32 --lr 0.001 # 訓練 IDCNNCRF 模型 python train.py --model IDCNN_CRF --epochs 10 --batch_size 32 --lr 0.001 # 訓練 BERTBiLSTMCRF 模型 python train.py --model BERT_BILSTM_CRF --epochs 3 --batch_size 8 --lr 5e-5第二個命令運行時會在根目錄創(chuàng)建一個 log 目錄每次訓練會生成一個以時間戳命名的輸出文件。日志里記錄了 loss 和準確率等指標訓練到最優(yōu) F1 時保存模型權重。這里 --lr 的選擇很講究對于 BiLSTM 和 IDCNN0.001 是 Adam 優(yōu)化器的默認推薦值BERT 模型必須調(diào)低否則預訓練權重很快會被沖掉。提示使用 BERT_BILSTM_CRF 模型前先檢查 python train.py --help 輸出的參數(shù)列表確認當前代碼里 BERT 相關參數(shù)名是否帶 bert_ 前綴不同版本的源碼差異很大。4.2 train.py 核心訓練循環(huán)的代碼走讀for epoch in range(args.epochs): for batch in train_batches: optimizer.zero_grad() loss model(batch.ids, batch.labels) loss.backward() nn.utils.clip_grad_norm_(model.parameters(), 5.0) optimizer.step() val_f1 evaluate(model, valid_batches) print(fepoch {epoch}, loss {loss.item():.4f}, F1 {val_f1:.4f})這里最關鍵的是 clip_grad_norm_ 這一行把梯度的 L2 范數(shù)裁剪到 5.0防止 LSTM 在長序列上出現(xiàn)梯度爆炸。設置太小會導致模型收斂變慢設置太大等于沒裁剪。在 BiLSTMCRF 的序列標注任務里我一般會先用 5.0 起步如果 loss 出現(xiàn) NaN 就降到 1.0。evaluate 函數(shù)在驗證集上做維特比解碼統(tǒng)計實體的精確率、召回率和 F1 值。4.3 驗證集和測試集的劃分邏輯數(shù)據(jù)切分時訓練集、驗證集、測試集的比例按照 8:1:1 劃分驗證集用于每個 epoch 結(jié)束后評估并選擇保存哪一版模型測試集只做最終評估不參與調(diào)參。在實際使用中驗證集切分時需要按句子分而不是按字符分因為同一句子的字符同時出現(xiàn)在訓練集和驗證集會污染數(shù)據(jù)。此外數(shù)據(jù)文件在預處理階段就做了隨機打亂所以訓練時 story 層的批次生成不再重復 shuffle。4.4 從日志判斷模型是否正常收斂模型跑起來后的 30 分鐘內(nèi)基本就能看出問題。正常收斂的 loss 曲線是平滑下降的偶爾有小幅波動但在合理范圍內(nèi)如果 loss 在前 100 個 batch 內(nèi)直接降到接近 0大概率是標簽對齊錯了或者 CRF 層的轉(zhuǎn)移矩陣初始化出了問題。另一個常見現(xiàn)象是訓練集 F1 很高但驗證集 F1 很低這說明過擬合已經(jīng)出現(xiàn)把 dropout 打開或者提前停止訓練即可。參數(shù)組合建議語料在 1 萬句以下時用 BiLSTMCRFembedding_dim 設 128hidden_dim 設 256dropout 設 0.5訓練 15 輪左右語料在 3 萬句以上且 GPU 顯存大于 8G 時再上 BERTBiLSTMCRFbatch_size 從 4 起步顯存不夠就加梯度累積用 4 個 batch 累積一次反向傳播等效于 batch_size 為 16。5. 避坑與常見問題我在復現(xiàn)這套源碼時踩過的五個真實坑5.1 Python 版本和依賴沖突現(xiàn)象是運行 train.py 時 import 階段報錯錯誤信息顯示某個庫的模塊里沒有需要的函數(shù)比如 transformers 的 BertModel 加載失敗。原因是源碼是基于較老的 PyTorch 版本編寫的現(xiàn)代版本的 transformers 接口不再兼容舊版寫法。解決辦法是把 transformers 降級到 4.x 早期版本同時 PyTorch 安裝在 1.8 到 2.0 之間。如果非要使用新版需要手動修改 BERT_BILSTM_CRF.py 中的 from_pretrained 調(diào)用方式。5.2 預處理階段句子被大量跳過現(xiàn)象是 msra_preprocessing.py 運行結(jié)束后輸出文件的行數(shù)比原始標注文件少了很多。原因是原始語料里有很多全角空格、連續(xù)換行和編碼不一致的字符腳本在檢查標簽對齊時會跳過這些異常句子。解決方法是先用文本編輯器把原始數(shù)據(jù)統(tǒng)一轉(zhuǎn)成 UTF-8 編碼刪除所有全角空格再重新運行預處理。如果 skip 率還是超過 5%用 Python 腳本打印幾條被跳過的樣本看看具體是在哪個環(huán)節(jié)斷掉的。5.3 BERT 權重加載超時現(xiàn)象是第一次啟動 BERT_BILSTM_CRF 訓練時程序長時間卡在 from_pretrained 這一步最后報網(wǎng)絡超時錯誤。原因是 huggingface 的預訓練權重下載地址在國內(nèi)訪問不穩(wěn)定尤其是 chinese_L-12_H-768_A-12 這個文件體積接近 400M。解決方法是手動下載權重文件后放到 data/chinese_L-12_H-768_A-12 目錄然后在 path.py 或直接用 from_pretrained 指定本地路徑。5.4 Sigmoid 和 Softmax 混淆導致的實體邊界錯誤現(xiàn)象是 BERT_BILSTM_CRF 的 loss 一直在下降但驗證集上預測出來的實體永遠只有單字不會有連續(xù)的多個字。原因是部分實現(xiàn)把輸出層誤寫成 sigmoid 激活然后按閾值判定而不是用線性層輸出發(fā)射分數(shù)交給 CRF 解碼。CRF 的維度數(shù)量必須等于標簽數(shù)加一因為起始標記要單獨占一個位置這個細節(jié)屬于最隱蔽的那類問題排查時直接看標簽類別數(shù)量和預測結(jié)果來定位。5.5 顯存不足和 OOM 崩潰現(xiàn)象是 BERT_BILSTM_CRF 模型訓練到第二個 epoch 時直接報 CUDA out of memory 崩潰。原因是 BERT 本身占用顯存非常高batch_size 設成 32 對 12G 顯存來說完全不現(xiàn)實。解決辦法是把 batch_size 降到 4同時在 data 加載時用 num_workers 提高數(shù)據(jù)吞吐。要是還撐不住就檢查訓練代碼里是否每個 epoch 結(jié)束后把梯度和中間變量都釋放了這通常能省出 30% 的顯存。6. 進階驗證與微調(diào)技巧讓三套模型在自定義數(shù)據(jù)集上真正可用6.1 用模型預測結(jié)果做人工校驗訓練好模型后不能只看 F1 值就認為完事了。我習慣準備一份不帶標簽的測試文本直接跑預測來看實際輸出。抽取一段新聞文本模型輸出的實體列表如果能把“北京”“騰訊”“小明”等實體準確切分出來說明邊界沒有問題如果連續(xù)出現(xiàn)實體被拆分或合并大概率是標簽體系的 BIO 和 BIESO 不一致。python train.py --model BILSTM_CRF --predict --input_text 小明來自北京在騰訊擔任算法工程師。這段偽代碼展示的是預測入口的方式。實際源碼中會把預測邏輯封裝在 eval 分支或者提供單獨的小腳本讀取訓練好的模型參數(shù)。輸出格式通常是一行文字加一行對應標簽人工檢查時重點看三類錯誤實體漏召回、實體內(nèi)多字、實體間粘連。6.2 自定義數(shù)據(jù)集的標簽體系對齊每個數(shù)據(jù)集都有自己的一套標簽體系。人民日報語料常用 PER、ORG、LOC 三類一些金融語料還會增加 DATE、MONEY 等類別。在換數(shù)據(jù)集前必須做兩件事把原始標注統(tǒng)一成 BIO 格式標簽類別映射表要和 utils.py 里的 category_to_index 對應。常見做法是先寫小腳本把數(shù)據(jù)轉(zhuǎn)成通用格式標簽用 B-xxx、I-xxx、O 這三種基礎標記然后在需要的時候轉(zhuǎn)換成 BIESO 的 B、I、E、S、O 五種標記來切分單字實體。這里的核心準則是標簽不統(tǒng)一的問題要在預處理階段解決不要指望模型自己適應不同標簽體系。def convert_bio_to_bieso(labels): # labels 是一串 Bio 標簽的列表 converted [] for idx, label in enumerate(labels): if label.startswith(B-): # 如果下一個是 O 或者 B 開頭說明這是單字實體 if idx 1 len(labels) or labels[idx 1] O or labels[idx 1].startswith(B-): converted.append(S- label[2:]) else: converted.append(B- label[2:]) elif label.startswith(I-): if idx 1 len(labels) or labels[idx 1].startswith(B-) or labels[idx 1] O: converted.append(E- label[2:]) else: converted.append(I- label[2:]) else: converted.append(O) return converted這段轉(zhuǎn)換邏輯的處理順序是先判斷是否為單字實體再決定標記是 B、I、E 還是 S。轉(zhuǎn)換完成后必須檢查一下代碼里 CRF 層的標簽數(shù)量是否等于五類乘實體類別數(shù)加 O否則張量維度就會報錯。6.3 學習率衰減和早停策略如果訓練到后期 F1 值一直在 80 到 82 之間震蕩不上升問題大概率是學習率沒做衰減。我的習慣是每兩個 epoch 把學習率乘 0.8或者在驗證集 F1 連續(xù)三個 epoch 不增長時把學習率減半。早停設置在驗證 F1 連續(xù)五個 epoch 不提升時直接停止訓練并加載歷史上最優(yōu)權重這個辦法能明顯減少 BERT 模型在過擬合邊緣的無效訓練時間。6.4 多模型集成的一個輕量技巧資源包里五套模型經(jīng)常被當成選擇題其實可以做成組合。時間允許的話用同一個驗證集分別訓練 BiLSTMCRF、IDCNNCRF 和 BERTBILSTMCRF在預測階段把三個模型的輸出做投票或者對每個 token 計算不同模型的概率平均。實際體驗中 BERT 模型的權重通常要比其他兩個略高0.5 比 0.3 比 0.2 的組合在多數(shù)數(shù)據(jù)集上效果不錯。雖然比單一模型增加了一些推理耗時但性能不穩(wěn)定時用 10 分鐘換取幾個點的準確率提升是劃算的。這類的坑我在每一次換數(shù)據(jù)集時都會再踩一遍尤其是標簽體系對齊和預處理階段的數(shù)據(jù)清洗。后來養(yǎng)成的習慣是不管用什么數(shù)據(jù)集先跑完預處理腳本后馬上檢查行數(shù)和異常樣本再進入訓練環(huán)節(jié)。從拿到這份源碼到完全跑通我前前后后花了大半天時間但把里面的坑摸清后后續(xù)換任何數(shù)據(jù)都能在兩小時內(nèi)完成全流程。希望這份實戰(zhàn)筆記能幫到你沿著這個流程走三套模型都能順利跑起來。本文還有配套的精品資源點擊獲取