簡(jiǎn)介面向中文命名實(shí)體識(shí)別任務(wù)融合BERT、BiLSTM與CRF的Python實(shí)現(xiàn)方案可對(duì)中文文本中的人名、地名、組織機(jī)構(gòu)等實(shí)體進(jìn)行端到端識(shí)別包含完整源碼、項(xiàng)目說(shuō)明、預(yù)訓(xùn)練模型與標(biāo)注數(shù)據(jù)適合計(jì)算機(jī)、人工智能等專業(yè)學(xué)生用于畢業(yè)設(shè)計(jì)、課程設(shè)計(jì)或NLP實(shí)戰(zhàn)練習(xí)。壓縮包共58個(gè)文件以16個(gè)py源碼、19個(gè)pyc編譯文件、9個(gè)txt說(shuō)明為主輔以png結(jié)構(gòu)圖、md筆記、xml工程配置和csv數(shù)據(jù)整體13.75MB目錄按模型、數(shù)據(jù)處理、訓(xùn)練等模塊劃分便于按圖索驥。從現(xiàn)有瀏覽數(shù)據(jù)看已有1209人學(xué)習(xí)下載。工程內(nèi)提供BILSTM_CRF、IDCNN_CRF、BILSTM_Attention_CRF、BERT_BILSTM_CRF等多種對(duì)比模型附帶人民日?qǐng)?bào)和MSRA數(shù)據(jù)集預(yù)處理腳本可直接運(yùn)行訓(xùn)練與測(cè)試項(xiàng)目說(shuō)明詳細(xì)且經(jīng)測(cè)試運(yùn)行成功既適合小白逐步練習(xí)也可作為課設(shè)、畢設(shè)或初期項(xiàng)目立項(xiàng)演示能幫助深入理解NER中序列標(biāo)注、特征融合與解碼的完整流程。1. 一個(gè)zip里裝著的成熟技術(shù)棧BERTBiLSTMCRF 到底是做什么的看到“基于BERTBILSTMCRF進(jìn)行中文命名實(shí)體識(shí)別python源碼項(xiàng)目說(shuō)明模型數(shù)據(jù).zip”這個(gè)打包名字懂行的人會(huì)先松一口氣這不是什么玩具 demo而是目前中文命名實(shí)體識(shí)別NER領(lǐng)域最經(jīng)典、最不容易翻車的三層結(jié)構(gòu)。BERT負(fù)責(zé)把每個(gè)字的語(yǔ)義編碼成向量BiLSTM在整句話里再做一輪上下文精修CRF在最后給標(biāo)簽序列套上合規(guī)約束。三者的關(guān)系有點(diǎn)像“閱讀理解 上下文潤(rùn)色 校對(duì)排版”。這套技術(shù)棧能解決的具體問(wèn)題很直接從一段中文文本里自動(dòng)抽出人名、地名、機(jī)構(gòu)名、時(shí)間、藥品名、案件名等實(shí)體片段。對(duì)畢業(yè)設(shè)計(jì)、法律文書(shū)抽取、醫(yī)療病歷結(jié)構(gòu)化、客服工單打標(biāo)這些場(chǎng)景它都是最穩(wěn)的起點(diǎn)方案。在動(dòng)手之前我要先幫你看清楚這個(gè)結(jié)構(gòu)為什么值得搭、每一步怎么落地、以及哪些地方會(huì)白白浪費(fèi)你兩三天時(shí)間。2. 三層神經(jīng)網(wǎng)絡(luò)各司其職為什么非要把 BERT、BiLSTM、CRF 拼在一起2.1 中文NER難在哪邊界、歧義和嵌套中文命名實(shí)體識(shí)別和英文最大的差別在于“字”和“詞”的關(guān)系。英文里詞天然有空格分隔實(shí)體邊界基本等于詞邊界中文沒(méi)有這個(gè)天然分隔符所以中文NER通常退化成“序列標(biāo)注”問(wèn)題——每個(gè)字給一個(gè)標(biāo)簽連起來(lái)才構(gòu)成實(shí)體。比如“我 在 北 京 上 班”這六個(gè)字需要給“北”“京”分別打上“B-LOC”“I-LOC”模型才能拼出“北京”這個(gè)地名。邊界還不是唯一難點(diǎn)。中文的歧義很要命“南京市長(zhǎng)江大橋”既可以切成“南京市/長(zhǎng)江大橋”也可以理解為“南京市長(zhǎng)/江大橋”“小米上市了”里的“小米”是公司還是糧食要看句子上下文。更麻煩的是嵌套實(shí)體比如“北京大學(xué)附屬醫(yī)院”里同時(shí)存在“北京大學(xué)”和“北京大學(xué)附屬醫(yī)院”兩個(gè)實(shí)體但扁平式標(biāo)注只能選一層。所以一個(gè)能干活的NER系統(tǒng)必須同時(shí)擁有“理解語(yǔ)義”和“利用上下文修正”的能力這正是三層結(jié)構(gòu)存在的理由。如果把NER比作流水線BERT是看懂了全文語(yǔ)義的閱讀者BiLSTM是把前后文線索反復(fù)咀嚼的校稿人CRF則是最后那道不許標(biāo)簽亂跳的質(zhì)檢閘門。三層各管一段去掉任何一層效果都會(huì)肉眼可見(jiàn)地變差。2.2 為什么不能只用 BERT也不能只用 BiLSTMCRF先看只用BERT的情況。BERT經(jīng)過(guò)預(yù)訓(xùn)練之后每個(gè)字會(huì)得到一個(gè)帶著整句上下文信息的向量理論上可以直接把這些向量喂給一個(gè)全連接層輸出每個(gè)字屬于每種標(biāo)簽的概率。這樣做能出結(jié)果但在長(zhǎng)句上問(wèn)題很明顯BERT的解碼端沒(méi)有“記住剛才那個(gè)字是什么標(biāo)簽”的能力。比如“李華在北京工作”中“李”被識(shí)別成B-PER后下一個(gè)“華”大概率也應(yīng)該是I-PER但如果只看BERT輸出的概率向量“華”也可能被誤判成B-PER因?yàn)樵~向量層面它并沒(méi)有“我是不是前一個(gè)實(shí)體的延續(xù)”這個(gè)信息。再看只用BiLSTMCRF的情況。BiLSTM能從兩個(gè)方向讀取序列信息CRF能約束標(biāo)簽轉(zhuǎn)移這套經(jīng)典組合在十年前是標(biāo)配。但它的天花板在于輸入特征如果還是用隨機(jī)初始化的字向量模型對(duì)語(yǔ)義的理解非常淺碰到“蘋(píng)果發(fā)布新手機(jī)”這種句子它很難把“蘋(píng)果”歸到ORG還是MISC因?yàn)闆](méi)有足夠的預(yù)訓(xùn)練知識(shí)告訴它“蘋(píng)果”在科技新聞里指公司。在實(shí)際項(xiàng)目中我見(jiàn)過(guò)不少團(tuán)隊(duì)把這三層拆開(kāi)做對(duì)比實(shí)驗(yàn)。結(jié)論很一致BERT單層F1大約在82-86BiLSTMCRF單跑大概在75-80三層疊加能上到90左右。差異來(lái)源主要就是“語(yǔ)義理解”和“標(biāo)簽序列約束”這兩個(gè)能力缺一不可。另外BERT內(nèi)部其實(shí)包含12層Transformer已經(jīng)具備很強(qiáng)的特征提取能力所以疊加的BiLSTM通?？梢宰龅脺\一些單層即可作用是對(duì)BERT輸出做一次序列級(jí)別的平滑聚合而不是重新提取特征。2.3 CRF的轉(zhuǎn)移矩陣沒(méi)有它標(biāo)簽會(huì)亂跳CRF條件隨機(jī)場(chǎng)在NER里的核心作用是一個(gè)詞約束。它會(huì)學(xué)習(xí)一個(gè)標(biāo)簽轉(zhuǎn)移矩陣比如“B-PER后面只能跟I-PER或者O不能直接跟B-LOC”“I-LOC前面必須是B-LOC或者I-LOC”。這種約束用代碼很難手寫(xiě)全因?yàn)闃?biāo)簽組合太多而CRF會(huì)從訓(xùn)練數(shù)據(jù)里自動(dòng)統(tǒng)計(jì)這些轉(zhuǎn)移概率。具體來(lái)說(shuō)BERTBiLSTM輸出的每個(gè)字的標(biāo)簽概率會(huì)被送入CRF層CRF會(huì)結(jié)合“當(dāng)前字的概率”和“前一個(gè)字的標(biāo)簽”這兩部分信息利用維特比算法找出整條句子最優(yōu)的標(biāo)簽路徑。舉個(gè)例子“我 在 北 京 上 班”如果沒(méi)有CRF模型可能給“北”打B-LOC、給“京”打O因?yàn)閱为?dú)看每個(gè)字“京”被識(shí)別成O的概率也不低但CRF知道“B-LOC 后面接 O”的轉(zhuǎn)移概率極低所以會(huì)把“京”強(qiáng)行糾正為I-LOC。注意CRF不是用來(lái)提升實(shí)體識(shí)別概率的它是用來(lái)壓制不合法序列的。訓(xùn)練過(guò)程中你是否正確實(shí)現(xiàn)了“損失 真實(shí)路徑分?jǐn)?shù) - log(所有路徑分?jǐn)?shù)和)”這個(gè)公式直接決定了最終實(shí)體邊界是否整齊。理解了這個(gè)原理你在調(diào)參時(shí)才不會(huì)把“CRF的學(xué)習(xí)率”和“BERT的學(xué)習(xí)率”混為一談——這是后面實(shí)操里非常關(guān)鍵的坑。3. 本地跑通最小源碼環(huán)境、數(shù)據(jù)格式與第一個(gè)訓(xùn)練循環(huán)3.1 環(huán)境準(zhǔn)備依賴與預(yù)訓(xùn)練模型下載在你打開(kāi)那個(gè)zip之前先確認(rèn)機(jī)器上已經(jīng)有了最基本的Python環(huán)境。這里的要求不算苛刻Python 3.8以上就可以顯卡有的話最好沒(méi)有也能用CPU硬跑只是訓(xùn)練速度會(huì)慢很多。下面是我常用的創(chuàng)建環(huán)境命令# 創(chuàng)建獨(dú)立環(huán)境并激活避免把系統(tǒng)Python搞亂 conda create -n ner python3.8 -y conda activate ner # 安裝核心依賴按順序執(zhí)行 pip install torch --index-url https://download.pytorch.org/whl/cu118 pip install transformers4.21.3 pip install datasets pip install seqeval pip install tqdm numpy pandas說(shuō)一下每個(gè)依賴為什么要裝torch是BERT和BiLSTM的底層框架transformers負(fù)責(zé)加載預(yù)訓(xùn)練模型比如bert-base-chinese注意版本不要追新4.2x系列足夠新版本API差異反而容易讓你從網(wǎng)上抄來(lái)的訓(xùn)練代碼報(bào)錯(cuò)datasets用來(lái)把原始標(biāo)注文件轉(zhuǎn)成pytorch能讀的Dataset對(duì)象seqeval是專門做序列標(biāo)注評(píng)估的庫(kù)比手寫(xiě)F1計(jì)算省心得多。預(yù)訓(xùn)練模型這塊是很多人卡住的地方。HuggingFace上的bert-base-chinese大約400M如果網(wǎng)絡(luò)不穩(wěn)定建議設(shè)置鏡像環(huán)境變量# Linux/Mac下執(zhí)行 pip install -U huggingface_hub export HF_ENDPOINThttps://hf-mirror.com python -c from transformers import BertTokenizer, BertModel; BertTokenizer.from_pretrained(bert-base-chinese); BertModel.from_pretrained(bert-base-chinese)提示鏡像環(huán)境變量只對(duì)當(dāng)前終端有效。如果你用pycharm跑代碼需要在運(yùn)行配置里同樣把HF_ENDPOINT加進(jìn)去否則代碼里from_pretrained會(huì)重新走默認(rèn)源卡在下載。判斷預(yù)訓(xùn)練模型有沒(méi)有下載成功看緩存目錄即可。Windows默認(rèn)在C:\Users\你的用戶名\.cache\huggingface\Linux在~/.cache/huggingface/。看到模型文件完整躺在那里后面訓(xùn)練就不會(huì)再為下載來(lái)回折騰。3.2 數(shù)據(jù)標(biāo)注格式BIOES是什么意思你的數(shù)據(jù)要長(zhǎng)什么樣中文NER的數(shù)據(jù)格式通常是“字標(biāo)簽”逐行排列不同句子之間用空行隔開(kāi)。標(biāo)簽體系有BIO和BIOES兩種BIO標(biāo)簽將所有實(shí)體的第一個(gè)字標(biāo)為B-后續(xù)字標(biāo)為I-非實(shí)體標(biāo)為OBIOES在BIO基礎(chǔ)上多了E和S分別表示實(shí)體的結(jié)束字和單字實(shí)體。我在項(xiàng)目里優(yōu)先推薦BIOES因?yàn)樗趯?shí)體邊界上的信息量更明確。舉個(gè)例子“我在北京上班”這句話的BIOES標(biāo)注長(zhǎng)這樣我 O 在 O 北 B-LOC 京 E-LOC 上 O 班 O而“王小明去北京”這種含單字實(shí)體的句子就必須用S來(lái)標(biāo)單字人名王 S-PER 小 I-PER 明 E-PER 去 O 北 B-LOC 京 E-LOC如果你拿到的是BIO格式可以用一段小腳本轉(zhuǎn)成BIOES但轉(zhuǎn)換邏輯要小心處理“連續(xù)實(shí)體緊挨著”的情況BIO里連續(xù)兩個(gè)實(shí)體“北京上?！钡臉?biāo)注是“B-LOC I-LOC B-LOC I-LOC”轉(zhuǎn)BIOES時(shí)不能只看實(shí)體首尾必須判斷上一個(gè)字的標(biāo)簽是B還是I否則會(huì)把“北京上”誤標(biāo)成一個(gè)地名。這個(gè)轉(zhuǎn)換函數(shù)建議寫(xiě)完以后用“北京市朝陽(yáng)區(qū)”這種帶連續(xù)實(shí)體的句子手動(dòng)驗(yàn)一遍。3.3 數(shù)據(jù)讀取與標(biāo)簽對(duì)齊數(shù)據(jù)格式讀完下一步是把文本轉(zhuǎn)成模型能吃的張量。這一步是整個(gè)項(xiàng)目里最容易出錯(cuò)的地方核心原因是BERT的tokenizer給每個(gè)漢字可能拆成多個(gè)subword片段而你的標(biāo)注是按“字”給的兩者對(duì)不上。我先展示一個(gè)最常見(jiàn)的數(shù)據(jù)讀取代碼然后解釋為什么要注意對(duì)齊# -*- coding: utf-8 -*- from transformers import BertTokenizer import torch MAX_LEN 128 def load_data(file_path): sentences, labels [], [] with open(file_path, r, encodingutf-8) as f: sentence, label [], [] for line in f: line line.strip() if line : if sentence: sentences.append(sentence.copy()) labels.append(label.copy()) sentence, label [], [] else: parts line.split() # 文件可能是“字 空格 標(biāo)簽”也可能用制表符 sentence.append(parts[0]) label.append(parts[-1] if len(parts) 1 else O) return sentences, labels class NERDataset(torch.utils.data.Dataset): def __init__(self, sentences, labels, tokenizer, label2id, max_len128): self.examples [] for sent, tag in zip(sentences, labels): # 關(guān)鍵點(diǎn)設(shè)置return_offsets_mappingTrue, 才能拿到每個(gè)subword對(duì)應(yīng)原文字符的映射 encoding tokenizer( sent, is_split_into_wordsTrue, max_lengthmax_len, truncationTrue, paddingmax_length, return_tensorspt, return_offsets_mappingTrue, ) # 標(biāo)簽對(duì)齊到subword word_ids encoding.word_ids() aligned_label [] prev_word None for word_id in word_ids: if word_id is None: aligned_label.append(-100) # 特殊token不參與loss計(jì)算 elif word_id ! prev_word: aligned_label.append(label2id[tag[word_id]]) else: # 同一個(gè)word被拆成多個(gè)subword沿用第一個(gè)標(biāo)簽 aligned_label.append(label2id[tag[word_id]]) prev_word word_id self.examples.append({ input_ids: encoding[input_ids].squeeze(), attention_mask: encoding[attention_mask].squeeze(), labels: torch.tensor(aligned_label, dtypetorch.long), }) def __len__(self): return len(self.examples) def __getitem__(self, idx): return self.examples[idx]這段代碼的關(guān)鍵在標(biāo)簽對(duì)齊邏輯。word_ids()會(huì)返回每個(gè)token對(duì)應(yīng)的原始字索引None表示CLS、SEP、PAD這些特殊token。遇到特殊token時(shí)我把標(biāo)簽設(shè)為-100這樣在計(jì)算交叉熵?fù)p失的時(shí)候PyTorch會(huì)自動(dòng)忽略-100所在的位置。遇到同一個(gè)字被拆成多個(gè)subword的情況后續(xù)subword直接用第一個(gè)subword的標(biāo)簽保證標(biāo)簽不串位。注意上面的代碼里有一個(gè)容易埋雷的小地方——tokenizer的is_split_into_wordsTrue參數(shù)。如果不把句子傳成詞列表而是直接傳字符串BERT會(huì)按自己的規(guī)則重新分詞原本的“字-標(biāo)簽”對(duì)應(yīng)關(guān)系就被打亂了。我在剛開(kāi)始做項(xiàng)目時(shí)就在這里吃過(guò)虧換句話說(shuō)是“標(biāo)簽對(duì)不上”里最高頻的原因。數(shù)據(jù)集做好后按照8:1:1的比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。劃分的時(shí)候要按句子為單位隨機(jī)打亂不能按字符打亂否則會(huì)造成同一句子的標(biāo)簽泄漏到不同集合里評(píng)估結(jié)果會(huì)虛高。4. 訓(xùn)練參數(shù)這樣調(diào)batch size、max_len 與學(xué)習(xí)率的三方權(quán)衡4.1 一套默認(rèn)能跑的參數(shù)模板模型搭建和訓(xùn)練循環(huán)看起來(lái)代碼量不小但結(jié)構(gòu)是固定的。下面是一段可以直接套用的訓(xùn)練核心代碼也是大多數(shù)NER項(xiàng)目的通用寫(xiě)法# -*- coding: utf-8 -*- import torch from torch.utils.data import DataLoader from transformers import BertModel, BertTokenizer, AdamW, get_linear_schedule_with_warmup import torch.nn as nn class BertBiLSTMCRF(nn.Module): def __init__(self, bert_path, num_labels, lstm_hidden256): super().__init__() self.bert BertModel.from_pretrained(bert_path) self.bilstm nn.LSTM( input_sizeself.bert.config.hidden_size, hidden_sizelstm_hidden, num_layers1, bidirectionalTrue, batch_firstTrue, ) self.fc nn.Linear(lstm_hidden * 2, num_labels) self.crf nn.CRF(num_labels) # 如果使用pytorch-crf庫(kù) def forward(self, input_ids, attention_mask, labelsNone): bert_out self.bert(input_idsinput_ids, attention_maskattention_mask) sequence_output bert_out.last_hidden_state lstm_out, _ self.bilstm(sequence_output) emissions self.fc(lstm_out) if labels is not None: loss -self.crf(emissions, labels, maskattention_mask.bool()) return loss else: return self.crf.decode(emissions, maskattention_mask.bool())這段代碼的層次關(guān)系很清晰BERT的輸出維度是768BiLSTM的hidden_size設(shè)為256雙向拼接后是512維再通過(guò)全連接層映射到標(biāo)簽數(shù)量。注意CRF層直接放在了模型內(nèi)部loss計(jì)算時(shí)取負(fù)對(duì)數(shù)似然解碼時(shí)直接調(diào)用decode方法。如果你用的不是pytorch-crf庫(kù)也可以手寫(xiě)維特比算法但既然有成熟的庫(kù)我建議直接用pip install pytorch-crf裝上省時(shí)又不愛(ài)出錯(cuò)。提示上面對(duì)CRF的調(diào)用基于pytorch-crf這個(gè)庫(kù)。如果你拿到手的zip里是自己實(shí)現(xiàn)的手寫(xiě)CRF類注意檢查它的decode是否接收了mask參數(shù)有些舊版實(shí)現(xiàn)不接收mask在padding部分會(huì)出現(xiàn)幻覺(jué)標(biāo)簽這類問(wèn)題特別隱蔽。4.2 學(xué)習(xí)率與BERT層凍結(jié)微調(diào)的重心應(yīng)該放在哪訓(xùn)練參數(shù)的首選清單看這張表參數(shù)推薦值說(shuō)明batch_size16GPU/ 8CPU顯存不夠就減半不要硬扛learning_rateBERT2e-5微調(diào)預(yù)訓(xùn)練模型的標(biāo)準(zhǔn)學(xué)習(xí)率太大容易災(zāi)難性遺忘learning_rateBiLSTMCRF1e-3下游隨機(jī)初始化的層需要用更大的學(xué)習(xí)率max_len128超過(guò)128的真實(shí)句子占少數(shù)長(zhǎng)了切掉短了補(bǔ)齊epochs20-30存best模型不需要訓(xùn)滿全部warmup_ratio0.1前10%的step線性升學(xué)習(xí)率穩(wěn)定BERT微調(diào)有關(guān)鍵設(shè)計(jì)是分組學(xué)習(xí)率。BERT層用2e-5BiLSTM和CRF這些隨機(jī)初始化的層用1e-3這兩組參數(shù)放進(jìn)同一個(gè)優(yōu)化器卻要用不同學(xué)習(xí)率。常規(guī)做法是在構(gòu)造optimizer時(shí)傳一個(gè)參數(shù)組列表# 構(gòu)造分組參數(shù)BERT層和下游層用不同學(xué)習(xí)率 optimizer_grouped_parameters [ {params: [p for n, p in model.named_parameters() if bert in n], lr: 2e-5}, {params: [p for n, p in model.named_parameters() if bert not in n], lr: 1e-3}, ] optimizer AdamW(optimizer_grouped_parameters, weight_decay0.01)還有一個(gè)常被忽略的選項(xiàng)是“凍結(jié)BERT的一部分層”。前幾層Transformer學(xué)習(xí)到的是通用字面特征對(duì)領(lǐng)域遷移幫助不大微調(diào)預(yù)算有限的話把第1到第8層的參數(shù)requires_gradFalse只訓(xùn)練后幾層和下游結(jié)構(gòu)往往能省一半顯存、速度提升30%以上效果只掉零點(diǎn)幾個(gè)點(diǎn)。第一次把項(xiàng)目跑通時(shí)我不建議凍結(jié)先全量訓(xùn)練拿到一個(gè)基線成績(jī)?cè)僬f(shuō)。4.3 訓(xùn)練過(guò)程的監(jiān)控指標(biāo)直接點(diǎn)說(shuō)光看loss是不夠的。BERTBiLSTMCRF這類模型在訓(xùn)練前期loss下降很快到了第3個(gè)epoch以后loss就“玄學(xué)”了震蕩到面無(wú)波瀾但實(shí)體F1還在漲。原因是CRF的loss分母是所有可能路徑的分?jǐn)?shù)和這個(gè)值天然很大loss雖然不再好看但序列約束正在慢慢起作用。正確的監(jiān)控方式是每個(gè)epoch結(jié)束后在驗(yàn)證集上計(jì)算實(shí)體級(jí)F1而不是整個(gè)標(biāo)簽級(jí)準(zhǔn)確率。標(biāo)簽級(jí)準(zhǔn)確率會(huì)被“O”標(biāo)簽主導(dǎo)模型全部預(yù)測(cè)成O也能有接近80%的準(zhǔn)確率數(shù)值毫無(wú)意義。我習(xí)慣在每個(gè)epoch跑一遍from seqeval.metrics import classification_report, f1_score def evaluate(model, dataloader, id2label): model.eval() all_true, all_pred [], [] with torch.no_grad(): for batch in dataloader: input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) true_labels batch[labels].numpy() pred model(input_ids, attention_mask) # 去掉特殊token和padding只看實(shí)際標(biāo)簽 for b_idx, word_idx in enumerate(true_labels): true_seq, pred_seq [], [] for i in range(len(word_idx)): if word_idx[i] ! -100: true_seq.append(id2label[word_idx[i]]) pred_seq.append(id2label[pred[b_idx][i]]) all_true.append(true_seq) all_pred.append(pred_seq) print(classification_report(all_true, all_pred, digits4)) return f1_score(all_true, all_pred)注意這里有兩個(gè)細(xì)節(jié)一是all_true和all_pred里存的是每句話的標(biāo)簽序列不是單個(gè)樣本的平鋪數(shù)組因?yàn)閟eqeval要求對(duì)每個(gè)句子分別計(jì)算實(shí)體匹配二是跑模型前先model.eval()再包torch.no_grad()否則顯存會(huì)被推理時(shí)保存的梯度撐爆。如果你希望訓(xùn)練中途自動(dòng)存最好的模型可以維護(hù)一個(gè)best_f1變量每輪結(jié)束后對(duì)比一次超過(guò)就torch.save(model.state_dict(), best_model.bin)?？窟@個(gè)機(jī)制我?guī)缀鯊牟恍枰獮椤癳poch設(shè)多少”糾結(jié)。5. 避坑記錄中文NER最常見(jiàn)的四個(gè)翻車現(xiàn)場(chǎng)5.1 標(biāo)簽錯(cuò)位預(yù)測(cè)結(jié)果全是對(duì)的但實(shí)體全都湊不齊現(xiàn)象模型在訓(xùn)練集上loss正常下降驗(yàn)證集F1卻一直徘徊在20分以下。把預(yù)測(cè)結(jié)果打印出來(lái)發(fā)現(xiàn)每個(gè)字的標(biāo)簽看起來(lái)都有道理但組合成的實(shí)體要么缺頭、要么缺尾甚至有“I-PER”開(kāi)頭的序列。原因這就是“標(biāo)簽對(duì)齊”翻車了。最常見(jiàn)的情況是is_split_into_words參數(shù)漏傳tokenizer把“北京”這種連續(xù)字符當(dāng)成了一個(gè)詞導(dǎo)致word_ids映射錯(cuò)位原本“北B-LOC 京I-LOC”的標(biāo)簽被錯(cuò)誤地跟BERT的piece一一對(duì)應(yīng)整個(gè)序列往后錯(cuò)一位。還有一個(gè)變體是用了return_offsets_mappingTrue卻完全沒(méi)用它等于白拿映射做裝飾。解決在數(shù)據(jù)讀取階段把encoding[word_ids()]打印出來(lái)對(duì)照原始句子人工檢查前3條樣本。看到[None, 0, 1, 1, 2, None]這種結(jié)構(gòu)就該意識(shí)到第1和第2號(hào)字被合并成了同一個(gè)word。標(biāo)簽對(duì)齊那一段代碼不要直接復(fù)制要逐行理解后敲一遍。5.2 顯存OOM一跑就爆batch減半還是爆現(xiàn)象顯存8G的卡batch_size設(shè)16直接OOM改成8還在OOM最后改到2才勉強(qiáng)跑起來(lái)速度又慢得讓人想放棄。原因BERT本身占用不小尤其是max_len設(shè)成512時(shí)attention矩陣是平方級(jí)增長(zhǎng)。8G顯存下batch_size16、max_len512幾乎是必爆配置。另外還有兩個(gè)隱形兇手一是paddingmax_length把短句也全補(bǔ)齊到128長(zhǎng)度浪費(fèi)大量顯存二是訓(xùn)練時(shí)沒(méi)有設(shè)置torch.cuda.empty_cache()碎片累積偶爾也會(huì)頂爆顯存。解決把max_len降到128batch_size先設(shè)8短句padding策略臨時(shí)改成paddingTrue讓每個(gè)batch內(nèi)部對(duì)齊不全局補(bǔ)齊。如果想提速可以嘗試在模型里用gradient_accumulation_steps2相當(dāng)于batch_size16但顯存占用只有8。注意梯度累積時(shí)loss要除以累積步數(shù)再回傳。5.3 預(yù)訓(xùn)練模型下載失敗每次跑到一半就卡住現(xiàn)象第一次運(yùn)行BertModel.from_pretrained(bert-base-chinese)進(jìn)度條走到99%就超時(shí)或者直接報(bào)ConnectionError。重試幾次大概率仍失敗偶爾成功一次又會(huì)發(fā)現(xiàn)下載不完整。原因從HuggingFace官方源下載連接不穩(wěn)定文件接近400M中斷后緩存里的臨時(shí)文件會(huì)把后續(xù)下載也污染掉。這個(gè)問(wèn)題的根源是網(wǎng)絡(luò)環(huán)境跟代碼沒(méi)有任何關(guān)系。解決換鏡像源下載在運(yùn)行代碼前先執(zhí)行export HF_ENDPOINThttps://hf-mirror.comWindows在命令行里用set HF_ENDPOINThttps://hf-mirror.compycharm需要重啟kernel讓環(huán)境變量生效。如果鏡像也出問(wèn)題先手動(dòng)把模型文件下載到本地目錄然后在代碼里指定本地路徑model BertModel.from_pretrained(./chinese_bert_wwm_ext_pytorch/) tokenizer BertTokenizer.from_pretrained(./chinese_bert_wwm_ext_pytorch/)用本地路徑加載時(shí)目錄下面至少要包含config.json、pytorch_model.bin、vocab.txt三個(gè)文件缺一不可。這也是你從別人那里拷來(lái)預(yù)訓(xùn)練模型時(shí)最愛(ài)踩的坑——他們給你的是一個(gè)壓縮包你解壓后發(fā)現(xiàn)缺了vocab.txt代碼跑不了一點(diǎn)。5.4 每個(gè)類別的F1差距離譜O標(biāo)簽主導(dǎo)真實(shí)實(shí)體幾乎被淹沒(méi)現(xiàn)象訓(xùn)練20個(gè)epoch驗(yàn)證集標(biāo)簽準(zhǔn)確率96%但entity-level的F1只有55。翻看classification_report發(fā)現(xiàn)模型把幾乎所有token都預(yù)測(cè)成了O。原因數(shù)據(jù)里實(shí)體占比太少。一個(gè)典型的法律文書(shū)里“當(dāng)事人”段落人名集中但全文正文大量是“O”標(biāo)簽如果按句子隨機(jī)劃分?jǐn)?shù)據(jù)集可能出現(xiàn)實(shí)體稀疏到?jīng)]法學(xué)的局面。更深層的原因是類別不均衡在序列標(biāo)注里被滾動(dòng)放大了O標(biāo)簽在每個(gè)位置都成為超高先驗(yàn)概率。解決這個(gè)現(xiàn)象要從數(shù)據(jù)配比入手。先把實(shí)體密度實(shí)體字符數(shù)/總字符數(shù)打印出來(lái)如果低于10%要考慮換數(shù)據(jù)源或調(diào)整驗(yàn)證集劃分方式。其次可以在損失函數(shù)里給非O標(biāo)簽更大的權(quán)重但我直接說(shuō)結(jié)果——調(diào)權(quán)重只能提升1-2個(gè)點(diǎn)治標(biāo)不治本。更正經(jīng)的辦法是引入真實(shí)實(shí)體詞典做注入或者在預(yù)測(cè)階段限制維特比解碼器禁止出現(xiàn)I開(kāi)頭和孤立的E標(biāo)簽。用代碼實(shí)現(xiàn)的話前者是在訓(xùn)練前標(biāo)記詞典命中詞的位置并替換那些位置的loss權(quán)重后者是自定義CRF約束條件普通項(xiàng)目用不到那么深。6. 從訓(xùn)練到推理把模型接進(jìn)真實(shí)文本的批量預(yù)測(cè)鏈路6.1 加載權(quán)重做單句預(yù)測(cè)訓(xùn)練結(jié)束后best_model.bin就是全部成果。加載它做推理時(shí)最容易被坑的一點(diǎn)是必須用和訓(xùn)練時(shí)完全一樣的tokenizer配置和標(biāo)簽映射表。下面這段代碼是我的標(biāo)準(zhǔn)推理模板# -*- coding: utf-8 -*- from transformers import BertTokenizer import torch def predict_single(text, model, tokenizer, id2label, max_len128): model.eval() # 逐字拆成列表和訓(xùn)練時(shí)的is_split_into_words保持完全一致 chars list(text) encoding tokenizer( chars, is_split_into_wordsTrue, max_lengthmax_len, truncationTrue, return_tensorspt, ) with torch.no_grad(): pred_ids model(encoding[input_ids], encoding[attention_mask])[0] # pred_ids是token級(jí)別的需要過(guò)濾掉特殊token再映射回原文 word_ids encoding.word_ids() entities [] current_entity None for token_id, word_id in enumerate(word_ids): if word_id is None: continue label id2label[pred_ids[token_id]] char chars[word_id] if label.startswith(B-): if current_entity is not None: entities.append(current_entity) current_entity {text: char, label: label[2:], start: word_id, end: word_id} elif label.startswith(I-) and current_entity is not None and current_entity[label] label[2:]: current_entity[text] char current_entity[end] word_id elif label.startswith(E-) and current_entity is not None and current_entity[label] label[2:]: current_entity[text] char current_entity[end] word_id entities.append(current_entity) current_entity None else: if current_entity is not None: entities.append(current_entity) current_entity None if current_entity is not None: entities.append(current_entity) # 去重避免S和B-E并存時(shí)重復(fù)輸出 return {text: text, entities: entities}這段推理邏輯最核心的地方在于按B-、I-、E-的標(biāo)簽順序來(lái)拼裝實(shí)體。注意幾個(gè)邊界條件遇到O必須立刻結(jié)束當(dāng)前實(shí)體遇到新實(shí)體緊挨著舊實(shí)體比如一個(gè)B-PER后面直接跟一個(gè)B-LOC要先把舊實(shí)體落盤(pán)再開(kāi)新實(shí)體。如果你的標(biāo)簽體系是BIO而不是BIOES格式判斷邏輯要相應(yīng)簡(jiǎn)化——但要小心“I實(shí)體跨界”的問(wèn)題也就是I-PER后面接I-LOC這種情況只能靠CRF在訓(xùn)練時(shí)從數(shù)據(jù)里學(xué)到轉(zhuǎn)移懲罰推理代碼里沒(méi)法徹底兜底。6.2 把實(shí)體序列映射回原文字符位置訓(xùn)練時(shí)的tokenizer給定的是一個(gè)list輸出predict_single里的start/end已經(jīng)是原始字符下標(biāo)了。但如果你想對(duì)一整段長(zhǎng)文本做批量識(shí)別先切句再逐句推理必須記錄每個(gè)句子在原段落里的偏移量否則所有實(shí)體的start/end都是從0開(kāi)始的。# 簡(jiǎn)單的切句與偏移量對(duì)齊策略 import re def segment_with_offset(text): segments [] offset 0 for sent in re.split(r([。]), text): if not sent.strip(): continue segments.append((sent, offset)) offset len(sent) return segments def predict_long_text(text, model, tokenizer, id2label): result [] for sent, offset in segment_with_offset(text): pred predict_single(sent, model, tokenizer, id2label) for ent in pred[entities]: result.append({ text: ent[text], label: ent[label], start: ent[start] offset, end: ent[end] offset, }) return result這個(gè)方案只是按標(biāo)點(diǎn)切句如果你處理的文本是PDF抽取出來(lái)的注意整段文本因?yàn)閾Q行符被切碎的問(wèn)題——遇到換行符時(shí)先做拼接再切句。還有offset的累加邏輯必須基于原始字符串的字符數(shù)不能基于去空格后的文本否則最終位置全部錯(cuò)位。6.3 用測(cè)試集衡量真實(shí)召回最后一件事不是寫(xiě)代碼而是用你的測(cè)試集做一次全量推理并看一眼錯(cuò)誤樣例。我見(jiàn)過(guò)太多人訓(xùn)練完只看訓(xùn)練集F1這一看不要緊上線發(fā)現(xiàn)真實(shí)文本里大量實(shí)體漏檢。正確的姿勢(shì)是把測(cè)試集的預(yù)測(cè)結(jié)果和真實(shí)標(biāo)簽逐句打印出來(lái)對(duì)照閱讀漏檢的句子大多長(zhǎng)什么樣是實(shí)體長(zhǎng)度普遍超過(guò)10個(gè)字還是大量嵌套結(jié)構(gòu)誤報(bào)的實(shí)體集中在哪幾個(gè)類別比如把“華為”預(yù)測(cè)成PER還是ORG模型在短句上的表現(xiàn)和長(zhǎng)句上的差異是否巨大對(duì)于長(zhǎng)實(shí)體識(shí)別率低的現(xiàn)象最簡(jiǎn)單的補(bǔ)救是提高max_len上限到192或256因?yàn)锽ERT在長(zhǎng)文本上的注意力分配會(huì)稀釋尾部的字符特征。如果仍然無(wú)法根治就要考慮對(duì)實(shí)體做重疊窗口推理——把長(zhǎng)文本切出部分重疊的窗口分別預(yù)測(cè)再合并結(jié)果合并時(shí)以重疊區(qū)域的投票結(jié)果為準(zhǔn)。我自己的習(xí)慣是每個(gè)實(shí)驗(yàn)跑完后都把最好的checkpoint單獨(dú)保存一份把對(duì)應(yīng)的tokenizer和label映射表打個(gè)zip放在旁邊日期寫(xiě)清楚。因?yàn)閹字芎笤倩貋?lái)你大概率會(huì)忘記自己的label2id順序是什么忘掉的后果就是推理結(jié)果整個(gè)亂了套而且很難定位。保留好一份完整的“模型配置數(shù)據(jù)劃分seed”是這個(gè)方向里最實(shí)在的后悔藥。這個(gè)技術(shù)?？雌饋?lái)很重但從數(shù)據(jù)準(zhǔn)備好到訓(xùn)出一個(gè)能用的模型通常只需要一個(gè)晚上。你踩過(guò)的坑會(huì)讓下一個(gè)跑這個(gè)項(xiàng)目的人少走很多彎路希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取