簡(jiǎn)介面向NLP入門與Python實(shí)踐者的詩(shī)歌接龍項(xiàng)目完整代碼包聚焦中文分詞、詞性標(biāo)注、拼音轉(zhuǎn)換、押韻規(guī)則匹配及網(wǎng)絡(luò)爬蟲等核心環(huán)節(jié)適合希望通過完整實(shí)戰(zhàn)案例理解自然語(yǔ)言處理流程的學(xué)生與開發(fā)者。壓縮包共17個(gè)文件主要包含Python源碼、jieba/pypinyin等庫(kù)的依賴說(shuō)明、預(yù)訓(xùn)練數(shù)據(jù)文件、可執(zhí)行程序、txt說(shuō)明文檔及docx詳細(xì)設(shè)計(jì)文檔其中docx對(duì)項(xiàng)目背景、模塊設(shè)計(jì)與調(diào)用流程做了系統(tǒng)說(shuō)明整體大小僅5.86MB輕量便于快速部署。已有496人學(xué)習(xí)瀏覽。項(xiàng)目中除基礎(chǔ)爬蟲與文本處理外還提供了基于規(guī)則與統(tǒng)計(jì)方法的接龍算法實(shí)現(xiàn)并附有項(xiàng)目目標(biāo)、實(shí)現(xiàn)過程與使用方法能幫助讀者從分詞、音韻匹配到算法調(diào)優(yōu)獲得完整實(shí)戰(zhàn)閉環(huán)適合作為課程設(shè)計(jì)或NLP入門練習(xí)的參考。1. 詩(shī)歌接龍是什么一個(gè)讓Python寫詩(shī)的下一個(gè)字的NLP項(xiàng)目“詩(shī)歌接龍”聽起來(lái)像語(yǔ)文課上的游戲但落到程序里它其實(shí)是NLP自然語(yǔ)言處理里最典型的序列生成任務(wù)用戶給出一句詩(shī)或半句詩(shī)程序需要預(yù)測(cè)下一個(gè)字甚至把后面的詩(shī)續(xù)完。用Python實(shí)現(xiàn)這樣一個(gè)項(xiàng)目意味著你要走完中文語(yǔ)料清洗、序列建模、概率采樣、結(jié)果評(píng)估的完整鏈路。它的難度比文本分類高一檔但比從頭做對(duì)話機(jī)器人低很多特別適合用來(lái)檢驗(yàn)?zāi)銓?duì)Python字符串處理、數(shù)據(jù)結(jié)構(gòu)和簡(jiǎn)單模型的掌握程度。你做出來(lái)的東西也不是那種跑完loss就扔掉的玩具——它能把“床前明月光”續(xù)成“地上鞋兩雙”也能在調(diào)好參數(shù)后生成像模像樣的五言句。這個(gè)項(xiàng)目適合誰(shuí)剛學(xué)完P(guān)ython基礎(chǔ)、想找?guī)谋緢?chǎng)景的項(xiàng)目練手的人或者已經(jīng)在用n-gram做關(guān)鍵詞提取、想跨進(jìn)生成式NLP的人。接下來(lái)我按自己實(shí)際做過的思路把這條路上的選型、代碼、參數(shù)和坑一次講清。2. 先想清楚接龍的數(shù)學(xué)邏輯從n-gram到序列模型的選型思路2.1 詩(shī)歌接龍不是在寫詩(shī)是在預(yù)測(cè)下一個(gè)字很多人第一次做詩(shī)歌接龍腦子里想的是“讓AI學(xué)會(huì)作詩(shī)”于是直接上GPT。但真正的第一步是把問題簡(jiǎn)化成條件概率給定前文“床前明月”下一個(gè)字是“光”的概率是多少如果模型能算出候選字在給定上下文下的概率分布那么接龍就變成一個(gè)采樣問題——按概率分布挑一個(gè)字然后把它拼到輸入末尾繼續(xù)預(yù)測(cè)下一個(gè)字。這個(gè)思維決定了技術(shù)路線。詩(shī)歌接龍的輸入輸出都是字符序列本質(zhì)是語(yǔ)言模型Language Model。語(yǔ)言模型做的事就是最大化序列概率 P(text) P(w1) * P(w2|w1) * ... * P(wN|w1..wN-1)。而接龍只要計(jì)算 P(下一個(gè)字 | 當(dāng)前已生成序列)所以訓(xùn)練的樣本就是“給定前面N個(gè)字預(yù)測(cè)第N1個(gè)字”。這個(gè)視角統(tǒng)一了所有后續(xù)做法n-gram里的轉(zhuǎn)移概率表、LSTM里的softmax輸出、Transformer里的自回歸解碼全部是在求這個(gè)條件分布。這里要強(qiáng)調(diào)一個(gè)容易被新手搞混的點(diǎn)接龍其實(shí)不需要先分詞。中文詩(shī)歌很多時(shí)候一個(gè)字就是一個(gè)語(yǔ)義單元按“字”做語(yǔ)言模型比按“詞”做更穩(wěn)。詞表就是全部出現(xiàn)過的字幾百個(gè)字就夠用訓(xùn)練快、可控性強(qiáng)。按詞的話古詩(shī)里大量典故、人名、地名會(huì)切成碎片反而學(xué)不好。我一般默認(rèn)用字符級(jí)建模除非要做主題分類才考慮詞級(jí)特征。2.2 數(shù)據(jù)準(zhǔn)備把古詩(shī)庫(kù)變成模型能吃的序列樣本數(shù)據(jù)是詩(shī)歌接龍的命根子。常見做法是用公開的古詩(shī)數(shù)據(jù)集里面包含唐詩(shī)、宋詞、詩(shī)經(jīng)等文本。拿到的原始數(shù)據(jù)通常是這種格式[{author: 李白, title: 靜夜思, paragraphs: [床前明月光, 疑是地上霜]}]也有的是純文本一行一首詩(shī)或描寫段落后跟詩(shī)句。第一步是把所有詩(shī)句抽出來(lái)去掉作者、標(biāo)題、注釋。注意古詩(shī)里會(huì)有繁體字、異體字比如“裏”和“里”“閒”和“閑”。我一般會(huì)統(tǒng)一轉(zhuǎn)成簡(jiǎn)體做法是用opencc庫(kù)pip install opencc-python-reimplemented然后import opencc cc opencc.OpenCC(t2s) # 繁體轉(zhuǎn)簡(jiǎn)體 text cc.convert(raw_text)轉(zhuǎn)完之后還要做清洗去掉空格、換行、標(biāo)點(diǎn)保留句號(hào)逗號(hào)也行但接龍目標(biāo)是詩(shī)句通常去掉標(biāo)點(diǎn)讓模型自己學(xué)去掉長(zhǎng)度小于4或大于12的行因?yàn)槲逖越^句一般是5或7個(gè)字一句太短的行多半殘缺太長(zhǎng)的可能是散文混入。清洗后的語(yǔ)料長(zhǎng)這樣床前明月光 疑是地上霜 舉頭望明月 低頭思故鄉(xiāng)有了這個(gè)純文本列表就可以構(gòu)造訓(xùn)練樣本了。如果是n-gram需要統(tǒng)計(jì)“前N-1個(gè)字 - 下一個(gè)字”的計(jì)數(shù)如果是LSTM需要把每句詩(shī)轉(zhuǎn)成整數(shù)序列再用滑動(dòng)窗口切出輸入和標(biāo)簽。這一步是整個(gè)項(xiàng)目的地基沒做好后面模型再?gòu)?qiáng)也白搭。2.3 選型對(duì)照n-gram、LSTM與Transformer該用哪個(gè)搞清楚任務(wù)本質(zhì)后選型就清晰了。常見做法是分三檔n-gram字符級(jí)簡(jiǎn)單到用Python字典就能實(shí)現(xiàn)。它統(tǒng)計(jì)“前面n-1個(gè)字”這個(gè)狀態(tài)出現(xiàn)時(shí)后面跟的每個(gè)字的次數(shù)然后算概率。優(yōu)點(diǎn)是訓(xùn)練只要一次遍歷語(yǔ)料完全沒有GPU需求缺點(diǎn)是只能記住連續(xù)n個(gè)字內(nèi)的關(guān)系n設(shè)大了矩陣稀疏爆炸n設(shè)小了生成出來(lái)的句子前后邏輯差。對(duì)詩(shī)歌接龍這種短文本n3或4已經(jīng)能生成語(yǔ)法通順但內(nèi)容隨機(jī)的小詩(shī)。LSTM/GRU能捕捉遠(yuǎn)距離依賴比如律詩(shī)里上下句的語(yǔ)義呼應(yīng)。訓(xùn)練需要神經(jīng)網(wǎng)絡(luò)框架我一般用PyTorch因?yàn)閯?dòng)態(tài)圖方便寫采樣邏輯。LSTM接收前文序列的embedding最后一個(gè)時(shí)間步的輸出通過全連接層映射到字典大小的向量softmax后就是下一個(gè)字的概率。它比n-gram學(xué)到的泛化能力強(qiáng)你輸入一句不在語(yǔ)料里的“半句詩(shī)”LSTM也能接出個(gè)差不多的下句。缺點(diǎn)是訓(xùn)練時(shí)間受序列長(zhǎng)度和數(shù)據(jù)量影響字符級(jí)詞表小的情況下CPU也能跑但效率低還是建議裝個(gè)CUDA版PyTorch。Transformer/預(yù)訓(xùn)練模型如果你手里有百G語(yǔ)料或者想直接用中文GPT-2那效果肯定最好但這不是普通“python實(shí)現(xiàn)NLP項(xiàng)目”該走的路。預(yù)訓(xùn)練模型像是拿電鋸切豆腐模型下載幾個(gè)G、顯存要十幾G而詩(shī)歌接龍本身數(shù)據(jù)量不大幾百KB古詩(shī)就夠。除非你后來(lái)要做風(fēng)格遷移、多輪對(duì)詩(shī)否則用Transformer從頭訓(xùn)是在給自己找罪受。我自己的建議路線是先花半小時(shí)用n-gram跑通整個(gè)“輸入-生成-輸出”流程感受一下概率采樣的效果再花兩小時(shí)把同樣的數(shù)據(jù)喂給LSTM對(duì)比質(zhì)量差異。兩條路寫一遍你對(duì)序列生成的理解會(huì)深很多。下面的章節(jié)我就按這個(gè)順序展開。3. 用純Python實(shí)現(xiàn)第一個(gè)可用的詩(shī)歌接龍字符級(jí)n-gram與beam search3.1 編碼與計(jì)數(shù)構(gòu)建轉(zhuǎn)移概率表n-gram的實(shí)現(xiàn)核心是計(jì)數(shù)器。我以“三元語(yǔ)法”為例也就是n3用前兩個(gè)字預(yù)測(cè)下一個(gè)字。你需要一個(gè)字典key是長(zhǎng)度為2的字符串或元組value是另一個(gè)字典記錄每個(gè)下一個(gè)字的出現(xiàn)次數(shù)。import os import random from collections import defaultdict, Counter def load_lines(path): lines [] with open(path, r, encodingutf-8) as f: for line in f: line line.strip() if len(line) 5 and len(line) 7: # 只保留五言或七言 lines.append(line) return lines def build_trigram(lines): # key: 前兩個(gè)字組成的字符串, value: Counter(下一個(gè)字 - 次數(shù)) model defaultdict(Counter) for line in lines: # 在開頭加兩個(gè)特殊字符讓首字母也有前文 padded ^^ line $ for i in range(len(padded) - 2): context padded[i:i2] next_char padded[i2] model[context][next_char] 1 return model這段代碼做了兩件關(guān)鍵的事。第一給每一行首尾加了特殊字符^表示句首$表示句尾。這樣生成的時(shí)候模型知道如何開始和結(jié)束。第二用defaultdict(Counter)構(gòu)建兩層字典外層的key是“前兩個(gè)字”內(nèi)層的key是“下一個(gè)字”。統(tǒng)計(jì)完成后你隨時(shí)可以查model[明月][光]得到“明月”后面跟“光”的次數(shù)。注意我過濾了長(zhǎng)度在5到7之間的行。嚴(yán)格來(lái)說(shuō)五言是5字七言是7字但古詩(shī)里也有四言和雜言過濾掉能減少噪聲。如果你想讓模型也能生成七言和五言混合就不要死卡長(zhǎng)度可以在構(gòu)造樣本時(shí)把句子按逗號(hào)再分割逐句加入。下一步是把這個(gè)計(jì)數(shù)模型轉(zhuǎn)成概率模型。因?yàn)橐玫诫S機(jī)采樣我直接保留計(jì)數(shù)生成時(shí)再除以總數(shù)或者用random.choices按權(quán)重采樣。后者更省事。3.2 beam search采樣讓接龍不只會(huì)重復(fù)有了模型最樸素的生成是貪心每次選概率最大的字。但這樣會(huì)陷入循環(huán)比如“床前明月光”之后永遠(yuǎn)接“疑是地上霜”因?yàn)橛?xùn)練語(yǔ)料里這個(gè)組合頻率高。更糟糕的是如果模型只學(xué)到高頻搭配你就會(huì)得到“床前明月光床前明月光”的復(fù)讀機(jī)。解決手法是用beam search束搜索每一步維護(hù)K個(gè)候選序列每個(gè)候選序列按累計(jì)log概率排序下一輪對(duì)每個(gè)候選繼續(xù)展開所有可能的字再取前K個(gè)。這樣生成的質(zhì)量遠(yuǎn)好于貪心又比純隨機(jī)穩(wěn)定。def beam_search(model, prefix, beam_width5, max_len10): # prefix: 用戶輸入的字符串至少2個(gè)字符因?yàn)閚3 start prefix[-2:] # 取后兩個(gè)字作為初始context candidates [(start, prefix, 0.0)] # (context, full_text, log_prob) for _ in range(max_len - len(prefix)): new_candidates [] for ctx, full, lp in candidates: counts model.get(ctx) if not counts: continue # 沒有見過這個(gè)context放棄該分支 total sum(counts.values()) for ch, cnt in counts.items(): prob cnt / total new_lp lp math.log(prob) new_full full ch new_ctx ctx[1] ch new_candidates.append((new_ctx, new_full, new_lp)) # 只保留分?jǐn)?shù)最高的beam_size個(gè) new_candidates.sort(keylambda x: x[2], reverseTrue) candidates new_candidates[:beam_width] # 若所有候選都斷了提前結(jié)束 if not candidates: break # 返回分?jǐn)?shù)最高的完整文本 candidates.sort(keylambda x: x[2], reverseTrue) return candidates[0][1]這個(gè)函數(shù)每步對(duì)當(dāng)前所有候選展開所有可能的下一個(gè)字計(jì)算累計(jì)對(duì)數(shù)概率然后截?cái)嗟絙eam_width。對(duì)數(shù)概率避免了很多個(gè)小概率相乘導(dǎo)致的浮點(diǎn)下溢這是做beam search必須養(yǎng)成的習(xí)慣。參數(shù)beam_width越大生成的多樣性越好但耗時(shí)線性增加。對(duì)詩(shī)歌接龍5到10就夠。3.3 三個(gè)關(guān)鍵參數(shù)n、溫度、beam size怎么設(shè)n-gram里的n決定記憶力長(zhǎng)度。n2時(shí)很容易生成無(wú)厘頭的順口溜n4時(shí)生成的句子更像原詩(shī)片段但數(shù)據(jù)稀疏非常明顯很多context沒見過導(dǎo)致生成中斷。我實(shí)測(cè)下來(lái)n3是性價(jià)比最高的。如果你語(yǔ)料量大到幾萬(wàn)首可以試n4但要把未登錄詞處理做好——比如context沒見過時(shí)回退到較低階的n-gram這叫backoff。beam width不能太大太大容易讓所有候選都來(lái)自同一高頻分支反而失去多樣性。這里有個(gè)反直覺點(diǎn)beam search的目標(biāo)函數(shù)是“序列整體概率最高”這意味著它會(huì)優(yōu)先選語(yǔ)料里出現(xiàn)過的整句而不是有創(chuàng)意的句子。所以如果你想看到模型“創(chuàng)作”新詩(shī)而不是背誦原詩(shī)需要在采樣時(shí)引入溫度參數(shù)。溫度temperature是軟max里的縮放系數(shù)。在生成時(shí)我們把概率換成p_i exp(log(p_i)/T)再歸一化。T1時(shí)分布變平緩低概率字也有機(jī)會(huì)被選中T1時(shí)分布變陡峭趨向貪心。我用n-gram時(shí)一般不在beam search里加溫度因?yàn)閎eam search本身就是取top溫度會(huì)影響排序。正確做法是想要質(zhì)量高、像古詩(shī)用beam searchT1想要花樣多、能“作詩(shī)”改用random sample并按溫度重新加權(quán)概率。兩種路徑我都保留在代碼里隨場(chǎng)景切換。另外一個(gè)容易忽略的參數(shù)是最大生成長(zhǎng)度。詩(shī)歌接龍通常續(xù)3到4個(gè)字就能構(gòu)成完整一句因?yàn)橛脩糨斎氚刖浠蛘呦肜m(xù)下一句。我的經(jīng)驗(yàn)是如果用戶輸入的是“床前明月”最大長(zhǎng)度設(shè)為10讓它生成通順的七言如果用戶輸入的是完整“床前明月光”再接龍就是出下一句最大長(zhǎng)度設(shè)為12也夠。長(zhǎng)度太長(zhǎng)會(huì)讓模型變散文失去詩(shī)的節(jié)奏感。到這里你已經(jīng)有一個(gè)不開GPU也能跑的詩(shī)歌接龍腳本。它會(huì)讀古詩(shī)文件記住所有三字結(jié)合接著用戶輸入的半句詩(shī)返回一個(gè)續(xù)句。如果你想繼續(xù)提高生成質(zhì)量下一步就該上深度學(xué)習(xí)了。4. 把接龍升到深度學(xué)習(xí)用LSTM做更自然的續(xù)句4.1 構(gòu)造訓(xùn)練數(shù)據(jù)滑動(dòng)窗口生成特征與標(biāo)簽深度學(xué)習(xí)的訓(xùn)練數(shù)據(jù)不再是計(jì)數(shù)表而是整數(shù)序列。先把所有詩(shī)句拼接成一個(gè)長(zhǎng)序列或者按句切割。我傾向于按句切割但為了學(xué)習(xí)上下文關(guān)系也可以把整首詩(shī)作為一個(gè)序列中間用分隔符連接。這里提供一種簡(jiǎn)潔的按句切法def build_dataset(lines, seq_len5): # 建立字-id映射 chars sorted(set(.join(lines))) char2id {c: i for i, c in enumerate(chars)} id2char {i: c for c, i in char2id.items()} X, y [], [] for line in lines: ids [char2id[c] for c in line] # 用前seq_len個(gè)字預(yù)測(cè)后面所有字 for i in range(len(line) - seq_len): X.append(ids[i:iseq_len]) y.append(ids[iseq_len]) return X, y, char2id, id2char這段代碼的核心是滑動(dòng)窗口。比如句子“床前明月光”轉(zhuǎn)成ids后seq_len3時(shí)[床,前,明]預(yù)測(cè)月[前,明,月]預(yù)測(cè)光。這個(gè)做法讓一條五言詩(shī)句產(chǎn)生兩個(gè)訓(xùn)練樣本。注意我沒有把整首詩(shī)不分句來(lái)滑窗因?yàn)楣旁?shī)的上下句之間有語(yǔ)義呼應(yīng)但接龍通常只延續(xù)半句跨句訓(xùn)練反而會(huì)讓模型去記憶下一句開頭降低泛化性。如果你要玩藏頭詩(shī)、要續(xù)一整首那再改成跨句滑窗。seq_len是模型看到的“上文長(zhǎng)度”。n-gram里的n是固定的3LSTM里的seq_len可以靈活調(diào)。對(duì)七言詩(shī)seq_len設(shè)為7能覆蓋完整的一句但我發(fā)現(xiàn)seq_len5到6已經(jīng)足夠因?yàn)榻育垥r(shí)用戶給的前綴通常不會(huì)太長(zhǎng)而且LSTM內(nèi)部有隱狀態(tài)理論上能記住更長(zhǎng)信息。設(shè)太長(zhǎng)會(huì)加大訓(xùn)練負(fù)擔(dān)還會(huì)讓模型過于依賴前文的精確順序。4.2 搭建一個(gè)可訓(xùn)練的中文詩(shī)歌LSTM模型這里用PyTorch搭一個(gè)兩層LSTM。詞表大小就是剛才的char2id長(zhǎng)度一般幾百到一千。embedding維度我選128隱藏單元選256。下面是完整模型定義import torch import torch.nn as nn class PoemLSTM(nn.Module): def __init__(self, vocab_size, embed_dim128, hidden_dim256, num_layers2, dropout0.3): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim) self.lstm nn.LSTM(embed_dim, hidden_dim, num_layers, batch_firstTrue, dropoutdropout) self.fc nn.Linear(hidden_dim, vocab_size) def forward(self, x): # x: (batch, seq_len) emb self.embedding(x) # (batch, seq_len, embed_dim) out, _ self.lstm(emb) # (batch, seq_len, hidden_dim) last out[:, -1, :] # 取最后一個(gè)時(shí)間步 logits self.fc(last) # (batch, vocab_size) return logits這里有幾個(gè)關(guān)鍵點(diǎn)batch_firstTrue讓輸入形狀變成(batch, seq_len, feature)這是PyTorch LSTM的習(xí)慣性寫法out[:, -1, :]只取序列最后一個(gè)時(shí)間步的輸出因?yàn)轭A(yù)測(cè)目標(biāo)就是最后一個(gè)字之后的字。如果你用雙向LSTM這里要拼接前后兩個(gè)方向但古詩(shī)接龍只能看上文所以用單向LSTM更合理。訓(xùn)練時(shí)用交叉熵?fù)p失但注意別把標(biāo)簽做成one-hot直接用nn.CrossEntropyLoss()配合整數(shù)標(biāo)簽就行。優(yōu)化器我常用Adam學(xué)習(xí)率設(shè)0.001。下面是訓(xùn)練循環(huán)的骨架def train_model(model, X, y, epochs30, batch_size128, lr0.001): optimizer torch.optim.Adam(model.parameters(), lrlr) loss_fn nn.CrossEntropyLoss() dataset torch.utils.data.TensorDataset( torch.tensor(X, dtypetorch.long), torch.tensor(y, dtypetorch.long) ) loader torch.utils.data.DataLoader(dataset, batch_sizebatch_size, shuffleTrue) for epoch in range(epochs): total_loss 0 for xb, yb in loader: model.zero_grad() logits model(xb) loss loss_fn(logits, yb) loss.backward() optimizer.step() total_loss loss.item() if (epoch 1) % 5 0: print(fepoch {epoch1}, loss {total_loss/len(loader):.4f})訓(xùn)練結(jié)束后保存model.state_dict()方便下次加載。注意embedding層會(huì)把每個(gè)字映射成一個(gè)向量LSTM學(xué)的是“在這種向量排列下下一個(gè)字通常是什么”。如果你的語(yǔ)料只有幾千首過擬合會(huì)很明顯所以訓(xùn)練到loss降到一定值后就得停止不要追求完美。4.3 訓(xùn)練與采樣loss降到多少才夠用訓(xùn)練loss不是越低越好。我拿全唐詩(shī)五萬(wàn)多首做實(shí)驗(yàn)字符級(jí)詞表大約3000字在兩層LSTM 256隱藏單元下loss約在1.8左右就能穩(wěn)定生成通順句子降到1.5以下時(shí)模型開始傾向于復(fù)讀原句生成創(chuàng)新性下降。這個(gè)規(guī)律挺反直覺的——很多NLP項(xiàng)目追求loss越低越好但生成任務(wù)里loss太低等于記住了訓(xùn)練集。采樣時(shí)深度學(xué)習(xí)模型不像n-gram有硬性的context匹配失敗問題因?yàn)樗鼘?duì)任意輸入都能給出softmax分布。但正因如此沒有temperature調(diào)節(jié)的話它更容易生成高概率的常見字。我常用temperature0.8生成既能保住通順度又有一定創(chuàng)新。下面是采樣代碼def sample(model, prefix, char2id, id2char, seq_len, max_len20, temperature0.8): model.eval() # 把prefix補(bǔ)到seq_len長(zhǎng)度 chars list(prefix) for _ in range(max_len - len(prefix)): # 取最后seq_len個(gè)字不夠則左側(cè)補(bǔ)起始符這里用第一個(gè)字的id補(bǔ) context chars[-(seq_len-1):] if len(chars) seq_len-1 else chars if len(context) seq_len: pad [char2id[chars[0]]] * (seq_len - len(context)) context_ids pad [char2id[c] for c in context] else: context_ids [char2id[c] for c in context[-seq_len:]] # 確保長(zhǎng)度正確 context_ids context_ids[-seq_len:] x torch.tensor([context_ids], dtypetorch.long) with torch.no_grad(): logits model(x)[0] # 溫度采樣 logits logits / temperature probs torch.softmax(logits, dim-1) next_id torch.multinomial(probs, 1).item() chars.append(id2char[next_id]) return .join(chars)采樣時(shí)每次只取最后seq_len個(gè)字作為輸入然后逐個(gè)生成。注意我用了torch.multinomial而不是argmax這是生成任務(wù)的關(guān)鍵——純argmax會(huì)生成大概率但無(wú)聊的句子multinomial按概率隨機(jī)抽配合temperature可以得到多樣且合理的輸出。如果你想讓輸出更像格律詩(shī)可以在采樣后加一個(gè)大體檢測(cè)檢查最后一個(gè)字的韻腳或者檢查每句字?jǐn)?shù)。但這些都算是后處理放在進(jìn)階技巧里展開。5. 詩(shī)歌接龍避坑指南數(shù)據(jù)、生成與環(huán)境的四個(gè)典型翻車點(diǎn)5.1 古詩(shī)庫(kù)的編碼坑繁體、異體和不完整的標(biāo)點(diǎn)現(xiàn)象模型生成的句子全是簡(jiǎn)體字但訓(xùn)練語(yǔ)料里的“里”和“裏”被當(dāng)成兩個(gè)不同字導(dǎo)致“故里”這個(gè)常見詞被拆散。更嚴(yán)重的是有的古詩(shī)庫(kù)直接從古文獻(xiàn)掃描OCR出來(lái)混有“丨”“丶”等生僻符號(hào)會(huì)拉高詞表大小浪費(fèi)訓(xùn)練空間。原因數(shù)據(jù)來(lái)源不是為機(jī)器學(xué)習(xí)準(zhǔn)備的原始文本包含繁體、異體和噪聲符號(hào)。我一開始偷懶直接用原始語(yǔ)料跑結(jié)果詞表里冒出3000多個(gè)罕見的收字模型把所有精力用在區(qū)分這些低頻字上生成質(zhì)量大打折扣。解決訓(xùn)練前統(tǒng)一做三步先用opencc轉(zhuǎn)簡(jiǎn)體再手動(dòng)清掉非漢字字符最后過濾掉長(zhǎng)度異常的行。這一步?jīng)]法全自動(dòng)需要定期抽查樣本。血的教訓(xùn)是別相信任何“已經(jīng)清理好”的古詩(shī)下載包自己跑一遍清洗才放心。5.2 訓(xùn)練時(shí)的loss不降學(xué)習(xí)率與序列長(zhǎng)度現(xiàn)象LSTM訓(xùn)練50個(gè)epochloss一直在3.0附近徘徊生成的全是“之乎者也”一類的高頻虛詞。原因最常見的是學(xué)習(xí)率太大導(dǎo)致loss震蕩或者學(xué)習(xí)率太小導(dǎo)致模型卡在較差局部解。另一個(gè)隱藏原因是序列長(zhǎng)度太短比如seq_len2模型根本學(xué)不到語(yǔ)義。還有一個(gè)容易忽略的沒有加embedding的初始化或者輸入id從0開始但字典里有0填充導(dǎo)致padding干擾。解決先把學(xué)習(xí)率調(diào)到0.0005batch_size調(diào)小一點(diǎn)觀察loss是否有下降趨勢(shì)。如果序列長(zhǎng)度小于5先改成5。如果還是不動(dòng)檢查輸入數(shù)據(jù)是否真的被正確塑形用print(X[0], y[0])看一眼前后對(duì)應(yīng)關(guān)系。我遇到過把X和y錯(cuò)位一行的情況模型等于在猜隨機(jī)數(shù)loss當(dāng)然不降。5.3 生成內(nèi)容全是“的”“了”溫度太低與詞頻熵現(xiàn)象無(wú)論用戶輸入什么生成的下一句都是“春風(fēng)得意馬蹄疾”這種高頻詩(shī)句或者反復(fù)輸出“的”“了”這種虛詞。原因古詩(shī)語(yǔ)料里“之”“人”“風(fēng)”等字出現(xiàn)頻率極高模型學(xué)到的先驗(yàn)分布被這些高頻詞主導(dǎo)。如果temperature設(shè)得太低比如0.2softmax輸出幾乎等同于argmax模型就只會(huì)選這些高頻詞。beam search的寬度如果設(shè)得太大也會(huì)導(dǎo)致候選全是高頻組合看起來(lái)反而單一。解決把temperature調(diào)到0.81.2多試幾次。另外可以在采樣時(shí)對(duì)高頻虛詞做降權(quán)比如把“的”“了”“之”的logits減去一個(gè)大常數(shù)。這個(gè)方法雖然粗暴但很有效。還有一個(gè)技巧如果使用beam search從5個(gè)候選中挑一個(gè)“不是最順口”的反而更有詩(shī)意。5.4 環(huán)境依賴numpy版本和Python 3.8的兼容問題現(xiàn)象代碼在一臺(tái)機(jī)器上跑得好好的換到另一臺(tái)裝了Python 3.8的機(jī)器上import torch直接報(bào)錯(cuò)或者numpy操作報(bào)AttributeError: module numpy has no attribute float。原因PyTorch版本和numpy版本不匹配老版本numpy里np.float這種別名在numpy 1.24之后被移除了。很多詩(shī)歌接龍項(xiàng)目demo寫于兩三年前里面用了np.float、np.int在新環(huán)境里直接崩。解決給項(xiàng)目寫一個(gè)requirements.txt鎖定版本。我常用的組合是python3.8.18、numpy1.23.5、torch2.0.1。不要一上來(lái)就裝numpy 2.x除非你確認(rèn)代碼里沒用舊別名。還有一個(gè)更穩(wěn)做法用from numpy import float這種地方全改成float或者干脆pip install numpy1.23.5一步到位。環(huán)境問題雖然不大但能卡你半天這真不是玄學(xué)。6. 進(jìn)階技巧從單一接龍到藏頭詩(shī)與風(fēng)格控制當(dāng)你的接龍模型能穩(wěn)定續(xù)出通順句子時(shí)下一步可以讓輸出更“好玩”或者更“可控”。這里我給你三個(gè)我實(shí)際用過、效果明顯的小改造。第一個(gè)是藏頭詩(shī)生成。用戶指定四個(gè)字比如“山河無(wú)恙”要求每句開頭分別是這四個(gè)字。實(shí)現(xiàn)思路叫約束beam search在beam search擴(kuò)展候選時(shí)對(duì)于每一句的第一個(gè)字符只允許候選等于指定字。具體來(lái)說(shuō)你可以在生成前設(shè)置一個(gè)forced_chars列表第i句生成時(shí)將beam search的每一步查詢改為當(dāng)生成的字符位置是句首時(shí)直接過濾掉不是目標(biāo)字的候選。這樣做需要注意被強(qiáng)制選擇的字如果在模型里概率很低整句的log概率會(huì)比其他候選低于是beam search可能把整個(gè)分支剪掉。解決方法是放寬剪枝對(duì)被強(qiáng)制的字乘上一個(gè)放行權(quán)重或者干脆直接不讓概率參與排序只讓后面的詞決定排序。這種方法雖然簡(jiǎn)單但能讓輸出每句都以指定字開頭實(shí)現(xiàn)成本不到20行代碼。第二個(gè)是風(fēng)格控制。你想讓模型生成“李白一點(diǎn)”還是“杜甫一點(diǎn)”可以在訓(xùn)練數(shù)據(jù)上下功夫把作者信息作為條件在輸入序列最前面加一個(gè)“風(fēng)格標(biāo)記”。比如對(duì)李白的詩(shī)輸入為“[李白]床前明月光”對(duì)杜甫的詩(shī)輸入為“[杜甫]國(guó)破山河在”。訓(xùn)練時(shí)模型會(huì)把風(fēng)格標(biāo)記當(dāng)作前文的一部分生成時(shí)你也把“[李白]”拼在輸入前綴前面。這樣同一個(gè)模型能感知不同詩(shī)人的用詞習(xí)慣算是很輕量的conditional language model。如果你不想重新訓(xùn)練也可以在采樣后做規(guī)則過濾比如檢測(cè)是否含“劍”“酒”“月”——但規(guī)則永遠(yuǎn)不如數(shù)據(jù)條件自然。第三個(gè)是韻律校驗(yàn)。古詩(shī)接龍最讓人頭疼的是最后一句的韻腳。你可以準(zhǔn)備一個(gè)韻表在生成最后一個(gè)字時(shí)只采樣壓韻母的字。做法很簡(jiǎn)單把logits中不符合當(dāng)前韻部的位置全部置為負(fù)無(wú)窮然后重新softmax。注意必須先確定本首詩(shī)壓什么韻通常是第一句的最后一個(gè)字決定。如果用戶輸入的是“床前明月光”最后生成的字必須壓“ang”韻于是“霜”“鄉(xiāng)”“望”“裳”成為候選。這個(gè)校驗(yàn)可以放在溫度采樣之后也可以直接把采樣空間限制在韻部?jī)?nèi)。我的習(xí)慣是先限制韻部再采樣這樣既快又自然。我自己做過一版用藏頭詩(shī)LSTM的生成器翻車的地方在于強(qiáng)制字常常是“之”“以”這類虛詞導(dǎo)致整句變成“山之高兮水之長(zhǎng)兮”雖然壓韻但不口語(yǔ)。后來(lái)我把強(qiáng)制字出現(xiàn)的概率閾值放寬甚至在候選為空時(shí)允許放棄該句改用次優(yōu)句才算穩(wěn)定下來(lái)。這是血淚經(jīng)驗(yàn)約束越多生成質(zhì)量越容易崩需要給模型留一條“破例”的后路。這個(gè)項(xiàng)目做到最后你會(huì)發(fā)現(xiàn)詩(shī)歌接龍的核心價(jià)值不在于“寫詩(shī)有多像”而在于你對(duì)語(yǔ)言模型生成機(jī)制的完整理解——從計(jì)數(shù)到神經(jīng)網(wǎng)絡(luò)從貪心到beam search從過擬合到溫度調(diào)節(jié)。這些經(jīng)驗(yàn)會(huì)直接遷移到其他生成任務(wù)比如切詞、評(píng)論生成、甚至簡(jiǎn)單對(duì)話。希望我的這些踩坑記錄和參數(shù)習(xí)慣能幫到你少走點(diǎn)彎路。本文還有配套的精品資源點(diǎn)擊獲取