簡介自然語言處理NLP中預(yù)訓(xùn)練模型已成為核心技術(shù)范式。基于Transformer架構(gòu)的BERT通過大規(guī)模語料的自監(jiān)督學(xué)習(xí)捕獲深層語義信息并可通過微調(diào)適配各類中文任務(wù)。本文從實際工程角度介紹中文BERT預(yù)訓(xùn)練模型的調(diào)用方法涵蓋環(huán)境配置、模型選型、分詞細節(jié)、批量推理、微調(diào)訓(xùn)練與部署并結(jié)合身份證矯正、文本相似度等場景探討如何將通用模型轉(zhuǎn)化為領(lǐng)域模型提升業(yè)務(wù)效果。適合NLP開發(fā)者快速落地。中文BERT預(yù)訓(xùn)練模型可調(diào)用這兩年做中文NLP相關(guān)的項目我?guī)缀趺看味家形腂ERT預(yù)訓(xùn)練模型打交道。不管你是做文本分類、命名實體識別、語義相似度計算還是做問答系統(tǒng)模型選型和調(diào)用方式都直接影響最終效果和開發(fā)效率。這篇東西就是把我自己實際調(diào)用中文BERT預(yù)訓(xùn)練模型踩過坑、趟出來的經(jīng)驗整理一遍從環(huán)境準備、模型選型到具體的加載調(diào)用、微調(diào)落地完整走一遍流程適合剛接觸BERT、想在自己的項目里快速把模型跑起來的開發(fā)者也適合已經(jīng)在用但想優(yōu)化調(diào)用方式的朋友。這里說的“可調(diào)用”不只是跑通一個demo而是指你能夠穩(wěn)定地在自己的項目里反復(fù)加載、推理、微調(diào)、部署這個模型。1. 項目整體設(shè)計與思路拆解1.1 為什么直接選用中文BERT預(yù)訓(xùn)練模型很多剛?cè)肟拥呐笥褧栆粋€問題我直接用詞向量Word2Vec不行嗎為什么非要上BERT這種又大又慢的東西我自己的體會是兩者解決的問題不在一個層次。Word2Vec產(chǎn)出的是一套靜態(tài)詞向量一個詞無論出現(xiàn)在什么語境里向量都是同一個遇到“蘋果”這種多義詞就抓瞎了。而中文BERT預(yù)訓(xùn)練模型是動態(tài)的它會根據(jù)上下文實時調(diào)整每個詞的語義表示“蘋果手機”和“吃蘋果”里的“蘋果”在模型內(nèi)部激活的向量路徑完全不一樣。BERT的核心機制是Transformer的Encoder部分通過在大規(guī)模中文語料上做“完形填空”和“下一句預(yù)測”這兩個自監(jiān)督任務(wù)讓模型在出場之前就已經(jīng)掌握了大量的語言規(guī)律和常識知識。我們拿到的中文BERT預(yù)訓(xùn)練模型本質(zhì)上是一個帶著海量先驗知識的特征提取器后面接一個簡單的分類頭或者序列標注頭就能在特定任務(wù)上達到一個不錯的基線效果。這套思路和早期從零訓(xùn)練一個LSTM文本分類模型完全不同省下的訓(xùn)練時間和數(shù)據(jù)量都是數(shù)量級的差距。1.2 中文預(yù)訓(xùn)練模型的常見選擇與適用場景目前市面上開源的中文BERT預(yù)訓(xùn)練模型非常豐富每個的定位和訓(xùn)練細節(jié)都有差異?；谖覀€人的項目實踐簡單列一個對比表幫大家快速選型模型名稱參數(shù)量特點說明適用場景BERT-base-Chinese約1.1億HuggingFace官方出品基于中文維基百科訓(xùn)練最穩(wěn)、最通用通用文本分類、序列標注、初學(xué)上手RoBERTa-wwm-ext約1.1億哈工大訊飛聯(lián)合發(fā)布全詞掩碼更多數(shù)據(jù)效果優(yōu)于原版大多數(shù)中文NLP任務(wù)的首選MacBERT約1.1億用相似詞代替[MASK]訓(xùn)練更平滑下游遷移效果更好文本匹配、閱讀理解等復(fù)雜任務(wù)NEZHA約1.1億華為出品使用相對位置編碼對長文本更友好長文本、機器閱讀理解ERNIE 3.0約1.1億到更多百度出品融入了知識增強的預(yù)訓(xùn)練策略對先驗知識依賴較強的場景RoBERTa-wwm-ext是我個人用的最多的一個?！皐wm”是Whole Word Masking的縮寫中文場景下就是當某個漢字被掩碼時同一個詞里的其他漢字也會一起被掩碼預(yù)測這樣模型能學(xué)到更完整的詞級語義。相比之下原版BERT的掩碼是隨機掩碼單個字學(xué)到的詞邊界信息偏弱。實測下來同樣是做新聞分類RoBERTa-wwm-ext在精度的表現(xiàn)上會比原版BERT高一到兩個點。1.3 “可調(diào)用”應(yīng)該怎樣理解標題里“可調(diào)用”這三個字我覺得可以拆成兩個層次。第一個層次是模型本身封裝好了你可以通過transformers庫一行代碼把它加載進來第二個層次是你在實際項目里可以像調(diào)用一個普通函數(shù)一樣在業(yè)務(wù)代碼里穩(wěn)定地拿到模型的輸出不會動不動就報錯、OOM或者推理慢到?jīng)]法用。很多教程只會帶你走完第一個層次——加載模型跑一個例子。但是到了真實項目里你可能要面對批量推理的效率問題、長文本截斷問題、GPU顯存不夠的問題、模型文件離線部署的問題。這里面每一個都是“可調(diào)用”能否真正落地的關(guān)鍵。我在后面的實操部分會重點圍繞這些細節(jié)展開而不是只給你一個“hello world”。2. 環(huán)境準備與工具選型2.1 Python環(huán)境與依賴庫安裝在開始之前先把環(huán)境準備好。我的建議是使用Python 3.8到3.10之間的版本太新的版本有時候會和部分深度學(xué)習(xí)框架的預(yù)編譯包存在兼容性問題。核心依賴有這么幾個pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install transformers4.30.0 pip install datasets pip install tokenizersPyTorch的安裝要看你的機器有沒有NVIDIA顯卡。如果只是CPU環(huán)境用pip install torch默認裝CPU版就行如果有GPU建議按自己的CUDA版本去PyTorch官網(wǎng)選對應(yīng)命令而不是直接用默認源。這里面的坑我踩過默認源往往裝的是CPU版的torch你以為自己在用GPU跑打開nvidia-smi一看顯卡利用率是0%模型訓(xùn)練慢得讓人崩潰。transformers庫的版本也很關(guān)鍵。早期版本的API設(shè)計和現(xiàn)在差別不小很多老教程的代碼在新版本里會跑不通。我建議直接裝最新版然后用文檔配合代碼做調(diào)整。datasets庫是HuggingFace出的數(shù)據(jù)加載工具雖然不是必須但配合預(yù)訓(xùn)練模型做微調(diào)時確實能省不少事。2.2 硬件配置與顯存規(guī)劃聊一下大家最關(guān)心的硬件問題。一個中文BERT-base模型有1.1億參數(shù)模型本身占用的顯存大概是400多MB但實際跑起來會翻好幾倍因為你還得算上梯度和優(yōu)化器狀態(tài)如果做微調(diào)的話、中間激活值等。我實測的經(jīng)驗數(shù)據(jù)大概是這樣的純CPU推理內(nèi)存需要8GB以上一次推理耗時可接受批量吞吐明顯偏慢GPU推理4GB顯存單條推理完全沒問題batch size開16-32都行GPU微調(diào)4GB顯存batch size只能開到8左右需要配合梯度累積GPU微調(diào)8GB以上顯存batch size開到32沒有壓力體驗順暢如果你手里只有一塊4GB顯存的卡也不用太焦慮?！翱烧{(diào)用”在小顯存卡上是完全可行的關(guān)鍵是你要學(xué)會梯度累積和混合精度訓(xùn)練這兩個技巧。梯度累積的思想是每攢夠N個batch的梯度再更新一次參數(shù)相當于把一個小顯存設(shè)備模擬成大batch訓(xùn)練?；旌暇扔?xùn)練是用半精度浮點數(shù)跑前向和反向計算能把顯存占用直接砍掉一半。這兩個技巧我在后面的實操代碼里都會體現(xiàn)。2.3 模型下載與本地緩存管理transformers庫加載模型時會把權(quán)重文件下載到本地緩存目錄默認是~/.cache/huggingface/。這里有個非常實用的小技巧提前用腳本把模型下載到本地然后把環(huán)境變量指向本地路徑之后所有代碼就都能復(fù)用這份緩存不用每次都在線拉取。export HF_HOME/data/models/huggingface把這一行寫進.bashrc或者項目啟動腳本里。這樣做的好處有兩個一是團隊協(xié)作時大家共用同一個模型緩存不會各自下載一遍浪費帶寬和磁盤空間二是在內(nèi)網(wǎng)環(huán)境下也能正常工作因為只要模型已經(jīng)在緩存里代碼就不會嘗試再去訪問網(wǎng)絡(luò)。我維護過的一個服務(wù)就是這樣做的——首次部署時把模型文件下載好后續(xù)每次發(fā)布新版本都不再需要模型相關(guān)的網(wǎng)絡(luò)操作上線速度快很多。3. 核心實操加載與調(diào)用中文BERT模型3.1 一行代碼加載模型和分詞器真正開始寫代碼之前先明確要調(diào)用什么。這里我以hfl/chinese-roberta-wwm-ext為例因為它在中文任務(wù)上的綜合表現(xiàn)很好而且加載方式非常標準。from transformers import AutoTokenizer, AutoModel model_name hfl/chinese-roberta-wwm-ext tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModel.from_pretrained(model_name)為什么使用AutoModel而不是BertModelAutoModel這個接口會根據(jù)你傳入的模型名稱自動判斷應(yīng)該加載哪個類。比如你傳入的是bert-base-chinese它就會加載BertModel傳入的是hfl/chinese-roberta-wwm-ext它會加載BertForPreTraining對應(yīng)的基礎(chǔ)模型。這個機制讓代碼的可遷移性變得很強——以后你想換更強的模型只需要改一個字符串其他代碼完全不用動。AutoTokenizer同理。中文BERT的分詞器用的是WordPiece算法它的詞表里既有整詞也有子詞單元比如“自然語言處理”這六個字可能會被拆成“自然”、“語”、“言”、“處理”等幾個token而不是每個字一個token。這樣做的好處是控制了詞表的大小也保留了詞級的部分語義信息。3.2 分詞器的核心細節(jié)CLS、SEP、PAD、ATTENTION_MASK加載完tokenizer之后需要對輸入文本做處理。這里面的細節(jié)決定你模型輸出的正確性踩坑概率很高一定不能跳過。text 中文BERT預(yù)訓(xùn)練模型的實際調(diào)用 encoded tokenizer( text, max_length128, paddingmax_length, truncationTrue, return_tensorspt ) print(encoded[input_ids]) print(encoded[attention_mask]) print(tokenizer.cls_token_id, tokenizer.sep_token_id, tokenizer.pad_token_id)input_ids每個token在詞表中的索引是模型真正看到的內(nèi)容attention_mask標識哪些是有效token1哪些是padding token0。Transformer的注意力機制會依據(jù)這個mask不去關(guān)注padding區(qū)域token_type_ids區(qū)分第一個句子和第二個句子的向量做句子對任務(wù)時才用得到cls_token中文模型是[CLS]通常是第101號token是全句語義匯總的位置sep_token中文模型是[SEP]第102號token用來分隔句子對一個很容易犯的錯誤在paddingmax_length的情況下如果不設(shè)置truncationTrue超過max_length的輸入會被直接截斷但不會報任何警告你可能會在毫不知情的情況下丟掉關(guān)鍵信息。我在一次工單分類任務(wù)中就遇到過這種情況某些長工單的關(guān)鍵信息被截掉了模型分類準確率始終上不去排查了很久才定位到是截斷參數(shù)沒配好。3.3 跑通一次完整的前向推理模型和分詞器都準備好了正式跑一次前向推理把句子的向量表示提取出來。import torch def get_sentence_embedding(text, tokenizer, model, max_length128): model.eval() encoded tokenizer( text, max_lengthmax_length, paddingmax_length, truncationTrue, return_tensorspt ) with torch.no_grad(): outputs model(**encoded) last_hidden_state outputs.last_hidden_state # 取[CLS]位置的向量作為整句的語義向量 cls_embedding last_hidden_state[:, 0, :] return cls_embedding.squeeze(0) embedding get_sentence_embedding(中文BERT預(yù)訓(xùn)練模型可調(diào)用, tokenizer, model) print(embedding.shape) # 輸出: torch.Size([768])這里的last_hidden_state是模型最后一層每個token對應(yīng)的隱藏狀態(tài)維度是[batch_size, seq_len, hidden_size]。對BERT-base來說hidden_size是768。model.eval()這一步必須做它會關(guān)掉dropout和layer norm的動態(tài)行為保證每次推理結(jié)果一致。還有一點用torch.no_grad()包住推理過程避免建立計算圖省內(nèi)存也提速。關(guān)于取[CLS]位置的向量作為整句表示這里也說一下原理。BERT在預(yù)訓(xùn)練的時候[CLS]這個位置被設(shè)計成專門聚合全句信息的在二分類預(yù)訓(xùn)練任務(wù)中模型需要使用[CLS]的輸出做判斷因此它從預(yù)訓(xùn)練階段就學(xué)會了匯總文本全局信息。當然如果你的任務(wù)是計算短文本相似度直接用[CLS]向量是可以的但如果文本比較長更穩(wěn)妥的做法是把所有token的隱藏狀態(tài)做均值池化或者最大池化。我在語義匹配項目里做過對比池化方式的表現(xiàn)在部分場景下會比直接用[CLS]高一些建議兩個方法都試一下再決定。3.4 批量推理與性能優(yōu)化真實項目里很少一次只處理一條文本。假如你有10萬條文本要算語義向量逐條循環(huán)推理會慢到懷疑人生。正確做法是把文本拼成一個batch一起喂給模型。def batch_get_embeddings(texts, tokenizer, model, max_length128, batch_size32): model.eval() all_embeddings [] with torch.no_grad(): for i in range(0, len(texts), batch_size): batch_texts texts[i:i batch_size] encoded tokenizer( batch_texts, max_lengthmax_length, paddingTrue, truncationTrue, return_tensorspt ) outputs model(**encoded) batch_embeddings outputs.last_hidden_state[:, 0, :] all_embeddings.append(batch_embeddings) return torch.cat(all_embeddings, dim0)注意這里我把padding從max_length改成了True表示批次內(nèi)自動補齊到本batch的最大長度。這樣做的好處是短樣本batch不用塞一堆無意義的padding token大多數(shù)情況下能省下好幾倍的計算量。paddingTrue和paddingmax_length在實際項目里的速度差異非常明顯我測過一批平均長度40字的文本前者的推理時間大約是后者的三分之一。另外一個很實用的技巧是開half()精度推理。如果你的顯卡支持半精度Tensor Core在推理前把模型轉(zhuǎn)成半精度可以讓顯存占用減半速度也快不少。前提是你確認模型的輸出精度損失在你的任務(wù)容忍范圍內(nèi)我測下來在語義向量提取和文本分類場景下半精度和全精度的效果差異非常小。model model.half()4. “可調(diào)用”落地再接一個下游任務(wù)4.1 從純特征提取到文本分類微調(diào)拿到BERT的向量只是第一步實際項目里我們通常要在它上面接具體的任務(wù)。以文本分類為例把BERT當做一個強大的文本編碼器然后在[CLS]向量后面接一個全連接層輸出到類別數(shù)維度。這個全連接層本質(zhì)上是把768維的語義向量映射到分類空間。import torch.nn as nn class BertClassifier(nn.Module): def __init__(self, num_classes10, model_namehfl/chinese-roberta-wwm-ext): super().__init__() self.bert AutoModel.from_pretrained(model_name) self.dropout nn.Dropout(0.3) self.classifier nn.Linear(768, num_classes) def forward(self, input_ids, attention_mask): outputs self.bert(input_idsinput_ids, attention_maskattention_mask) cls_output outputs.last_hidden_state[:, 0, :] cls_output self.dropout(cls_output) logits self.classifier(cls_output) return logits這里有個關(guān)鍵設(shè)計分類頭上先加一個Dropout(0.3)再接全連接層。這個Dropout不是隨便加的它能在微調(diào)階段防止分類頭過擬合訓(xùn)練數(shù)據(jù)。BERT主體部分在預(yù)訓(xùn)練時已經(jīng)很強了真正容易過擬合的是后面新加的這個分類層所以給它加一個較高的dropout比加到BERT主體上更合理。4.2 微調(diào)過程的參數(shù)設(shè)置與訓(xùn)練邏輯微調(diào)和推理是兩回事。推理時我們凍結(jié)BERT的參數(shù)直接拿它的輸出用微調(diào)時我們要讓BERT的參數(shù)也參與梯度更新讓模型適應(yīng)你的特定任務(wù)。這也是領(lǐng)域模型落地的必經(jīng)之路。你手里有一個現(xiàn)成的領(lǐng)域數(shù)據(jù)集比如客服工單、法律文書、醫(yī)療報告用這些數(shù)據(jù)微調(diào)之后模型的效果會比直接拿通用模型去分類好很多。看一下核心的訓(xùn)練代碼框架from transformers import AdamW, get_linear_schedule_with_warmup from torch.utils.data import DataLoader, Dataset class TextDataset(Dataset): def __init__(self, texts, labels, tokenizer, max_length128): self.texts texts self.labels labels self.tokenizer tokenizer self.max_length max_length def __len__(self): return len(self.texts) def __getitem__(self, idx): encoded self.tokenizer( self.texts[idx], max_lengthself.max_length, paddingmax_length, truncationTrue, return_tensorspt ) return { input_ids: encoded[input_ids].squeeze(0), attention_mask: encoded[attention_mask].squeeze(0), labels: torch.tensor(self.labels[idx], dtypetorch.long) } def train_epoch(model, dataloader, optimizer, scheduler, device, accumulation_steps2): model.train() total_loss 0 optimizer.zero_grad() for step, batch in enumerate(dataloader): input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) labels batch[labels].to(device) outputs model(input_idsinput_ids, attention_maskattention_mask) loss nn.CrossEntropyLoss()(outputs, labels) loss loss / accumulation_steps loss.backward() if (step 1) % accumulation_steps 0: optimizer.step() scheduler.step() optimizer.zero_grad() total_loss loss.item() return total_loss / len(dataloader)關(guān)于訓(xùn)練參數(shù)我自己在多個中文任務(wù)上反復(fù)調(diào)過一個比較穩(wěn)的起點是學(xué)習(xí)率2e-5batch size16或32取決于顯存epoch數(shù)3到5warmup比例0.1權(quán)重衰減0.01這里的核心原則是學(xué)習(xí)率要小。BERT的預(yù)訓(xùn)練參數(shù)已經(jīng)收斂得很好了如果學(xué)習(xí)率開太大微調(diào)過程會把此前學(xué)到的通用語義破壞掉這種現(xiàn)象在NLP圈子里叫“災(zāi)難性遺忘”。2e-5這個量級是經(jīng)過大量實驗驗證的既能有效適配下游任務(wù)又不會徹底覆蓋掉預(yù)訓(xùn)練的知識。4.3 身份證矯正場景的微調(diào)實踐結(jié)合熱搜詞里提到的“身份證矯正預(yù)訓(xùn)練模型”這里展開說一下我做過的一個實際場景。身份證信息矯正這個任務(wù)核心場景是在身份證識別OCR之后對識別出來的文本片段做糾錯和結(jié)構(gòu)化校正。比如OCR把“張三”識別成了“張二”把身份證號碼里的“0”和“O”搞混了這時候就需要一個模型來校對和糾正。這個任務(wù)本質(zhì)上是序列標注加糾錯BIO標注是常用的范式。B是Begin開始、I是Inside內(nèi)部、O是Outside外部每個字符被標記為它在實體中的位置。對于姓名、身份證號、住址、簽發(fā)機關(guān)這些字段模型逐字預(yù)測標簽然后再做字段級別的校驗和修正。實現(xiàn)思路是把BERT的輸出接到一個CRF層上from torchcrf import CRF class BertCrfForIdCard(nn.Module): def __init__(self, num_labels, model_namehfl/chinese-roberta-wwm-ext): super().__init__() self.bert AutoModel.from_pretrained(model_name) self.dropout nn.Dropout(0.3) self.fc nn.Linear(768, num_labels) self.crf CRF(num_labels, batch_firstTrue) def forward(self, input_ids, attention_mask, labelsNone): outputs self.bert(input_idsinput_ids, attention_maskattention_mask) emission self.fc(self.dropout(outputs.last_hidden_state)) if labels is not None: return -self.crf(emission, labels, maskattention_mask.bool()) else: return self.crf.decode(emission, maskattention_mask.bool())為什么要在BERT上面加一層CRF因為分類任務(wù)里各個token的預(yù)測是獨立的存在標簽不合法的問題比如“B-姓名”后面跟著“I-身份證號”或者名字中間突然出現(xiàn)一個“B-姓名”。CRF層會學(xué)習(xí)標簽之間的轉(zhuǎn)移規(guī)則和約束從整體序列的角度做最優(yōu)解碼保證輸出的標簽序列在語義上是合理的。這在身份證結(jié)構(gòu)化這種對字段邊界要求很高的場景里特別重要。當然你同樣可以直接用BERT加全連接層來逐token分類不考慮標簽之間的依賴關(guān)系。這種方式實現(xiàn)簡單速度和顯存占用都更友好。但如果你對字段邊界的準確率有要求加CRF是明顯的提升。我在身份證矯正項目里兩套方案都跑過加CRF后字段級的F1值大約能提升兩個點代價是推理速度稍慢。4.4 從基礎(chǔ)模型到領(lǐng)域模型的完整鏈路我理解熱詞里“身份證矯正預(yù)訓(xùn)練模型”的真實含義是指針對特定領(lǐng)域做繼續(xù)預(yù)訓(xùn)練得到的模型。通俗點說就是先用通用中文BERT做初始權(quán)重然后在大規(guī)模的身份證OCR語料上繼續(xù)跑一遍預(yù)訓(xùn)練任務(wù)通常是掩碼語言建模讓模型在證件類文本的用詞習(xí)慣、常見錯字模式上擁有更強的先驗?zāi)芰υ偃プ鱿掠挝⒄{(diào)。這條鏈路的邏輯是這樣的通用BERT對“張三”“簽發(fā)機關(guān)”“有效期限”這類詞匯的感知能力可能不夠強因為這些詞在通用語料里出現(xiàn)頻率不高。但在海量身份證OCR文本上繼續(xù)預(yù)訓(xùn)練后模型對這類文本的模式會更加敏感后續(xù)微調(diào)時學(xué)得又快又準。這種思路對任何垂直領(lǐng)域都適用醫(yī)療、法律、金融都可以用同樣的方式做領(lǐng)域適配。5. 常見問題與排查技巧實錄5.1 模型加載失敗的常見原因模型加載是很多人第一個卡住的環(huán)節(jié)。我歸納了幾類高頻問題并給出了可以直接照著做的解決方案異常現(xiàn)象可能原因解決辦法網(wǎng)絡(luò)連接超時或404網(wǎng)絡(luò)受限或模型名拼寫錯誤提前下載到本地用本地路徑加載出現(xiàn)Cookie/登錄報錯訪問的是需要授權(quán)的模型換一個公開的模型如bert-base-chineseKeyError: bert加載權(quán)重時模型類不匹配檢查模型類型和AutoModel的配對缺少tokenizer_config目錄結(jié)構(gòu)不完整確認下載了整個模型目錄而不是單個文件從我的經(jīng)驗來說最穩(wěn)的辦法是先把模型轉(zhuǎn)成離線包。用snapshot_download把這個模型目錄完整拉下來from huggingface_hub import snapshot_download model_path snapshot_download(repo_idhfl/chinese-roberta-wwm-ext) print(model_path)然后代碼里直接用這個路徑完全不依賴網(wǎng)絡(luò)。這在生產(chǎn)環(huán)境里面是必須做的因為你不能指望線上服務(wù)器能隨便訪問外網(wǎng)。5.2 顯存溢出與推理速度慢顯存溢出是BERT落地時遇到最多的性能問題。4GB顯存跑batch size為32就爆了怎么辦我通常按照這個順序來排查和調(diào)優(yōu)先把batch_size降下來降到8起步開啟梯度累積batch_size8 累積步數(shù)4等效實現(xiàn)32的大batch效果開啟混合精度訓(xùn)練使用torch.cuda.amp自動混合精度省下一半顯存檢查數(shù)據(jù)和代碼里是否有意外的顯存駐留比如沒用的tensor沒釋放如果以上都不夠考慮換用更輕量級的模型比如distilbert-base-chinese或者albert-chinese-tiny推理慢的問題多半是因為在CPU上跑或者沒有用batch推理。CPU上跑一個BERT-base單條文本平均要幾百毫秒到一秒鐘這個體驗確實不理想。如果是模型上線做服務(wù)最優(yōu)解是用GPU如果沒有GPU資源可以考慮蒸餾模型或者使用onnxruntime進行加速。我把一個中文BERT模型轉(zhuǎn)成ONNX格式之后在CPU上的推理速度大約提升了2到3倍這個性價比很高。5.3 中文分詞與序列長度的坑中文BERT的分詞是按漢字WordPiece方式進行的和jieba這類中文分詞工具不是一回事。transformers的tokenizer自己就能管理好和模型匹配的分詞邏輯如果你在外面套了一層jieba再手動把詞轉(zhuǎn)成id給BERT反而會破壞模型預(yù)訓(xùn)練時的輸入分布。還有一個容易忽略的問題是序列長度的處理。BERT的position embedding最大長度是512部分模型是512也有更長的輸入超過這個長度會被強制截斷。如果你的任務(wù)文本普遍超過512字需要在數(shù)據(jù)處理階段想辦法比如只保留開頭和結(jié)尾部分或者把長文檔切成多段分別編碼再做聚合。我做長文本分類的時候會采用“頭部250字尾部250字”的拼接策略實測下來比只保留開頭500字信息保留得更完整因為很多場景的關(guān)鍵結(jié)論都出現(xiàn)在文檔末尾。5.4 微調(diào)后效果反而變差怎么辦很多人在微調(diào)之后發(fā)現(xiàn)效果不升反降第一反應(yīng)是懷疑模型出了問題。其實更常見的原因是數(shù)據(jù)和訓(xùn)練配置出了偏差。遇到這種情況我的排查思路是這樣的先看訓(xùn)練集的loss是否在下降。如果loss下降但驗證集效果變差這是典型的過擬合增加dropout、減小模型大小或增加數(shù)據(jù)量如果loss壓根不降大概率是學(xué)習(xí)率設(shè)置錯了BERT微調(diào)的學(xué)習(xí)率一定要比從頭訓(xùn)練小很多一般不超過5e-5檢查標簽是否有嚴重的數(shù)據(jù)不平衡用weighted cross entropy或者焦點損失Focal Loss來緩解看一下訓(xùn)練集和驗證集的數(shù)據(jù)分布是否一致很多時候驗證集效果差完全是因為數(shù)據(jù)切分時沒有做分層采樣導(dǎo)致分布差異太大有個朋友在做細粒度情感分類時遇到BERT微調(diào)后準確率比直接用預(yù)訓(xùn)練向量加邏輯回歸還低的情況。后來發(fā)現(xiàn)他的數(shù)據(jù)集里有一半樣本的標簽是錯的模型在“努力”擬合錯誤標注。清洗數(shù)據(jù)之后同樣的配置效果立刻就上來了。所以當你覺得模型效果詭異的時候先看一眼數(shù)據(jù)、再懷疑模型。6. 模型保存、加載與部署經(jīng)驗6.1 正確保存和恢復(fù)微調(diào)后的模型微調(diào)完的模型保存時不能只存權(quán)重還要連分詞器一起保存否則線上調(diào)用時會出現(xiàn)tokenizer不匹配的問題。# 保存微調(diào)后的模型 model.save_pretrained(./models/idcard-bert/) tokenizer.save_pretrained(./models/idcard-bert/) # 在生產(chǎn)代碼中加載 from transformers import AutoModelForSequenceClassification, AutoTokenizer loaded_tokenizer AutoTokenizer.from_pretrained(./models/idcard-bert/) loaded_model AutoModelForSequenceClassification.from_pretrained(./models/idcard-bert/)save_pretrained會同時保存模型的config.json、pytorch_model.bin和分詞器的所有配置文件。加載時直接使用同一個目錄路徑相關(guān)的配置會自動恢復(fù)不需要手動指定。這里建議永遠使用AutoModelForXxx來加載因為它會自己讀取config里的architectures字段判斷用哪個類來反序列化不會出現(xiàn)類不匹配的問題。6.2 作為服務(wù)對外提供調(diào)用“可調(diào)用”最終要落到可以被業(yè)務(wù)系統(tǒng)使用這意味著你要把模型包裝成一個服務(wù)接口。最簡單的方式是用Flask或FastAPI封裝一個HTTP接口from fastapi import FastAPI, Request from pydantic import BaseModel app FastAPI() # 在服務(wù)啟動時加載模型到內(nèi)存中 model model.half().to(cuda) tokenizer tokenizer class InputData(BaseModel): text: str app.post(/embedding) async def get_embedding(data: InputData): encoded tokenizer(data.text, max_length128, truncationTrue, return_tensorspt).to(cuda) with torch.no_grad(): output model(**encoded) embedding output.last_hidden_state[:, 0, :].squeeze(0).cpu().tolist() return {embedding: embedding}這里最關(guān)鍵的設(shè)計是模型只加載一次所有請求共享同一份模型參數(shù)。千萬不要在函數(shù)內(nèi)部寫from_pretrained否則每次請求都要加載一遍幾百MB的權(quán)重文件接口延遲會直接爆炸。正確的做法是在模塊加載階段把模型初始化好請求處理函數(shù)只做推理。從單機服務(wù)到分布式部署還可以用model.to(cuda)配合TensorRT、ONNX Runtime做推理加速。我通常的實踐經(jīng)驗是先試ONNX Runtime的加速效果如果還不夠再考慮TensorRT。前者集成簡單后者性能上限更高但復(fù)雜度和踩坑成本也更大。6.3 與ResNet預(yù)訓(xùn)練模型在多模態(tài)項目中的協(xié)同說到熱詞里的“resnet預(yù)訓(xùn)練模型”就不得不提BERT類模型和視覺模型在多模態(tài)場景里的組合。比如身份證識別的完整流程往往需要先做圖像的定位和校正這步由ResNet這類卷積神經(jīng)網(wǎng)絡(luò)負責然后對校正后的圖像做OCROCR結(jié)果再交給BERT類模型做語義矯正和結(jié)構(gòu)化。三種模型各司其職ResNet負責“看見”O(jiān)CR負責“讀出”BERT負責“理解”。這種多模型的協(xié)同調(diào)用在代碼層面要做的是流程編排、輸入輸出格式統(tǒng)一、異常處理。我在實際項目中會用一個流水線類把三個模型串起來每個環(huán)節(jié)之間通過明確的數(shù)據(jù)結(jié)構(gòu)傳遞信息一旦某個環(huán)節(jié)出錯可以定位到具體的模塊進行重試或降級處理。多模態(tài)方案的效果比直接用單一模型硬扛要好得多但架構(gòu)上也確實更加復(fù)雜需要在工程上做更細致的規(guī)劃。7. 實戰(zhàn)案例從零構(gòu)建一個中文文本相似度服務(wù)7.1 相似度服務(wù)的核心思路文本相似度是一個很常見的業(yè)務(wù)需求比如智能客服里的相似問題匹配、知識庫里的重復(fù)段落檢測、搜索場景里的語義召回。基于中文BERT預(yù)訓(xùn)練模型來做相似度計算一般有兩種方案。第一種方案是用BERT提取句向量再計算余弦相似度。這個方案實現(xiàn)簡單不需要微調(diào)適合冷啟動階段。但直接使用BERT原生輸出的句向量做相似度計算效果不是最好的因為BERT預(yù)訓(xùn)練的任務(wù)目標并不是讓語義相近的句子在向量空間中距離更近。第二種方案是用標注好的相似句對做微調(diào)比如使用Sentence-BERT的思路。把兩個句子分別過BERT拿到各自的句向量然后通過對比學(xué)習(xí)或者三元組損失讓相似句的距離拉近、不相似句的距離拉遠。這個方案的遷移效果非常明顯在有幾千對標注數(shù)據(jù)的情況下相似度計算的準確率可以上升十個百分點以上。在沒有標注數(shù)據(jù)的時候還有一個更輕量的技巧直接用“CLS”向量做相似度。如果業(yè)務(wù)對精度要求不高可以先跑起來等積累了足夠的用戶反饋再去做微調(diào)迭代。這個路線我認為是比較務(wù)實的。7.2 完整實現(xiàn)與踩坑復(fù)盤下面給出一個完整的、可以直接跑的相似度計算實現(xiàn)import torch import torch.nn.functional as F from transformers import AutoTokenizer, AutoModel class SemanticEncoder: def __init__(self, model_namehfl/chinese-roberta-wwm-ext): self.tokenizer AutoTokenizer.from_pretrained(model_name) self.model AutoModel.from_pretrained(model_name) self.model.eval() def encode(self, texts, max_length128, batch_size16): results [] with torch.no_grad(): for i in range(0, len(texts), batch_size): batch texts[i:ibatch_size] encoded self.tokenizer( batch, max_lengthmax_length, paddingTrue, truncationTrue, return_tensorspt ) outputs self.model(**encoded) # 使用均值池化實際操作中比[CLS]更穩(wěn)定 attention_mask encoded[attention_mask].unsqueeze(-1) pooled (outputs.last_hidden_state * attention_mask).sum(1) / attention_mask.sum(1) results.append(pooled) return torch.cat(results, dim0) def similarity(self, text1, text2): emb1 self.encode([text1]) emb2 self.encode([text2]) return F.cosine_similarity(emb1, emb2).item() encoder SemanticEncoder() score encoder.similarity(如何申請信用卡, 信用卡申請流程是什么) print(score) # 0.85 左右的分數(shù)具體數(shù)值因模型和輸入而異這里我用的是均值池化而不是[CLS]向量因為多個句子做相似度對比時均值池化對長文本的語義覆蓋更均衡不會讓[CLS]位置的特殊語義干擾真實相似度。如果你發(fā)現(xiàn)池化方式和[CLS]的結(jié)果在你的任務(wù)上有差異建議兩個都跑一遍選擇在驗證集上表現(xiàn)更好的那一個。7.3 相似度服務(wù)的性能優(yōu)化要點服務(wù)上線的性能優(yōu)化我從兩個維度來說明。QPS做不上去一般瓶頸在tokenizer轉(zhuǎn)換和GPU推理這兩個環(huán)節(jié)。tokenizer轉(zhuǎn)換很容易被忽略transformers的tokenizer在Python里的運行速度其實不算快對長文本列表進行批量轉(zhuǎn)換時更明顯。有一個很常用的技巧是tokenizer(texts, max_length..., paddingTrue, truncationTrue)直接傳入列表而不是在Python循環(huán)里逐個調(diào)用這會走tokenizer內(nèi)部的batch邏輯能省下不少時間。GPU推理方面要盡量避免頻繁地在CPU和GPU之間拷貝數(shù)據(jù)。把所有輸入一次性放到GPU然后一次forward再一次性把結(jié)果拿回CPU這是最優(yōu)的。如果使用半精度推理推理速度還會再提升。我在一個生產(chǎn)環(huán)境中把這個相似度服務(wù)的整體吞吐量做到了單GPU每秒處理數(shù)百條文本已經(jīng)能滿足絕大多數(shù)中小業(yè)務(wù)的調(diào)用需求了。8. 我的一些經(jīng)驗總結(jié)和后續(xù)擴展建議8.1 模型選型要克制現(xiàn)在開源的中文預(yù)訓(xùn)練模型非常多新模型層出不窮。我建議在實際項目里保持克制優(yōu)先選擇生態(tài)成熟、文檔齊全、社區(qū)使用量大的模型。BERT-base-Chinese和RoBERTa-wwm-ext是目前最穩(wěn)的選擇。大模型的參數(shù)量動輒幾十億效果確實好但部署成本和推理延遲也是真實存在的。小業(yè)務(wù)場景用一個大模型可能GPU成本就吃掉了一年的預(yù)算。先在小模型上驗證數(shù)據(jù)質(zhì)量和業(yè)務(wù)邏輯再考慮要不要上大模型這是我反復(fù)踩坑之后得出的經(jīng)驗。8.2 中文任務(wù)中數(shù)據(jù)質(zhì)量大于模型我見過太多團隊把精力花在換模型、調(diào)超參上結(jié)果發(fā)現(xiàn)瓶頸根本不在模型而在訓(xùn)練數(shù)據(jù)的質(zhì)量。BERT的預(yù)訓(xùn)練已經(jīng)保證了下限你的標注數(shù)據(jù)質(zhì)量決定上限。如果你的數(shù)據(jù)里有大量噪聲模型學(xué)到的是錯誤模式再好的模型結(jié)構(gòu)也無濟于事。所以在做微調(diào)之前先把數(shù)據(jù)清洗、標簽校驗、樣本分布分析這幾件事做到位模型效果自然會上去。8.3 后續(xù)可以擴展的方向如果你已經(jīng)完全掌握了一個中文BERT模型的調(diào)用和微調(diào)后續(xù)可以嘗試的擴展方向還有很多用trainerAPI替代手寫的訓(xùn)練循環(huán)代碼量能減少一半嘗試PEFT參數(shù)高效微調(diào)技術(shù)用LoRA等方法只更新少量參數(shù)顯存占用大幅降低做模型蒸餾把大模型的知識遷移到一個小模型上讓推理成本降一個量級在垂直領(lǐng)域做繼續(xù)預(yù)訓(xùn)練打造你所在行業(yè)的專屬預(yù)訓(xùn)練模型也就是我們在4.4里說的“領(lǐng)域預(yù)訓(xùn)練”的完整路徑做多模態(tài)融合把中文BERT和ResNet這類視覺模型組合起來覆蓋圖像加文本的綜合業(yè)務(wù)場景我個人在實際操作中的體會是中文BERT預(yù)訓(xùn)練模型的生態(tài)已經(jīng)非常成熟了學(xué)習(xí)成本其實不高真正拉開差距的是對“可調(diào)用”這三個字的理解深度。能夠把模型穩(wěn)定地嵌入到業(yè)務(wù)系統(tǒng)里遇到問題能快速定位解決這比單純追求模型參數(shù)大小要重要得多。希望這篇文章能幫你少走一些彎路。本文還有配套的精品資源點擊獲取