在模型對(duì)齊和評(píng)估這個(gè)方向上最貴的往往不是算力而是人工標(biāo)注。人類偏好數(shù)據(jù)既要花錢采集又要花時(shí)間清洗標(biāo)注一致性還經(jīng)常不穩(wěn)定。為了讓模型“更符合預(yù)期”團(tuán)隊(duì)往往要反復(fù)標(biāo)注、反復(fù)微調(diào)成本一路走高。這次我們來(lái)看一種更偏理論基礎(chǔ)的方法Revealed Rationality: Label-Free Evaluation and Regularization from Representation Theorems。它想解決的問(wèn)題很直接能不能不依賴人工標(biāo)簽直接從模型自己的行為中推斷它的“判斷傾向”再把這種推斷用于評(píng)估和訓(xùn)練正則化。這個(gè)方向的關(guān)鍵詞是Label-Free Evaluation無(wú)標(biāo)簽評(píng)估和Regularization正則化。核心思路來(lái)自決策理論里的“顯示偏好”和“表示定理”如果一個(gè)人或一個(gè)模型在成對(duì)選項(xiàng)之間表現(xiàn)出穩(wěn)定的選擇行為那么這些行為可以用一個(gè)潛在的效用函數(shù)來(lái)表示反過(guò)來(lái)通過(guò)行為反推效用函數(shù)就可以在沒有外部標(biāo)簽的情況下評(píng)估模型“理不理性”并把這個(gè)“理性差距”變成訓(xùn)練時(shí)可以優(yōu)化的正則項(xiàng)。這篇文章屬于理論方法拆解不是一鍵啟動(dòng)的本地工具包所以不會(huì)出現(xiàn)“下載即用”的安裝步驟。我會(huì)把標(biāo)題里的幾個(gè)理論概念翻譯成工程語(yǔ)言給出一套可參考的實(shí)現(xiàn)思路和代碼骨架再說(shuō)清楚這類方法真正落地時(shí)容易踩的坑以及評(píng)估和訓(xùn)練階段分別怎么接入。1. 核心能力速覽能力項(xiàng)說(shuō)明核心問(wèn)題在沒有人工標(biāo)簽的情況下評(píng)估模型行為并用評(píng)估結(jié)果約束訓(xùn)練過(guò)程理論來(lái)源顯示偏好理論Revealed Preference 表示定理Representation Theorems評(píng)估形式通過(guò)模型對(duì)成對(duì)選項(xiàng)的行為選擇推斷潛在效用函數(shù)計(jì)算“理性一致性”分?jǐn)?shù)正則化形式將行為偏離理性公理的程度轉(zhuǎn)化為可微損失項(xiàng)疊加到訓(xùn)練目標(biāo)中適用階段模型評(píng)估、偏好對(duì)齊、微調(diào)正則化、RLHF 之外的替代約束所需數(shù)據(jù)模型自身的成對(duì)輸出對(duì)比或行為選擇記錄不需要人工標(biāo)注工程現(xiàn)狀以研究原型為主沒有公開一鍵包需要按論文思路自行實(shí)現(xiàn)落地難點(diǎn)如何定義“一致性”、如何建模行為空間、如何避免效用函數(shù)退化與 RLHF 的關(guān)系可以作為偏好優(yōu)化目標(biāo)之外的一種約束信號(hào)不是完全替代關(guān)系2. 無(wú)標(biāo)簽評(píng)估為什么值得關(guān)注先看現(xiàn)在的典型流程。常見做法是先收集人工標(biāo)注的偏好數(shù)據(jù)例如給定同一個(gè) prompt 的多個(gè)回答讓標(biāo)注員排序然后用這些排序訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型再用獎(jiǎng)勵(lì)模型引導(dǎo)生成策略。這個(gè)流程能用但有三個(gè)明顯問(wèn)題。第一標(biāo)注成本高。要讓獎(jiǎng)勵(lì)模型穩(wěn)定通常需要大量高質(zhì)量標(biāo)注而且不同標(biāo)注員的判斷標(biāo)準(zhǔn)不一致清洗成本非常高。第二標(biāo)注噪聲大。同樣一段回答不同人可能給出相反的排序。噪聲一旦進(jìn)入獎(jiǎng)勵(lì)模型模型學(xué)到的偏好信號(hào)就會(huì)“漂移”。第三評(píng)估和訓(xùn)練目標(biāo)脫節(jié)。我們希望模型輸出“有用、安全、符合預(yù)期”但實(shí)際優(yōu)化的只是“獎(jiǎng)勵(lì)模型認(rèn)為好的回答”兩者之間可能存在系統(tǒng)性偏差。無(wú)標(biāo)簽評(píng)估的思路就是繞過(guò)人工標(biāo)注這一環(huán)從模型行為本身提取結(jié)構(gòu)信息。這里的理論支撐是如果模型在多個(gè)成對(duì)比較中保持一致那么這些選擇行為背后大概率存在一個(gè)較為穩(wěn)定的評(píng)分函數(shù)。我們可以利用這種結(jié)構(gòu)性來(lái)建立評(píng)估指標(biāo)并把背離一致性的部分作為懲罰項(xiàng)在訓(xùn)練時(shí)約束模型不要“前后矛盾”。這種思路的最大價(jià)值不是替代人工評(píng)估而是給評(píng)估和訓(xùn)練增加一個(gè)可解釋的、低成本目標(biāo)。對(duì)于小團(tuán)隊(duì)來(lái)說(shuō)尤其有意義沒有預(yù)算攢大量人工偏好可以先跑無(wú)標(biāo)簽評(píng)估篩選出性能不穩(wěn)定的輸出再針對(duì)性地做標(biāo)注和調(diào)優(yōu)。3. 理論基石顯示偏好與表示定理這個(gè)方向的兩個(gè)核心概念都來(lái)自經(jīng)濟(jì)學(xué)和決策理論理解它們就能看懂整個(gè)方法框架。3.1 顯示偏好理論顯示偏好理論的核心命題是人的偏好不需要通過(guò)自述獲得可以通過(guò)觀察其選擇行為來(lái)推斷。在買東西的場(chǎng)景里如果消費(fèi)者在商品 A 與商品 B 都買得起的情況下選擇了 A就“顯示”他更偏好 A。反復(fù)觀察不同預(yù)算條件下的選擇就能還原出一個(gè)較為完整的偏好結(jié)構(gòu)。把這個(gè)邏輯遷移到模型上就是與其去問(wèn)“你更喜歡哪種回答風(fēng)格”不如讓模型在多種回答之間做選擇。給定若干成對(duì)比較數(shù)據(jù)可以通過(guò)模型的選擇行為反推其內(nèi)在偏好。這種偏好不是模型嘴上說(shuō)出來(lái)的而是行為上暴露出來(lái)的因此叫“顯示偏好”。3.2 表示定理表示定理說(shuō)明在滿足完備性和傳遞性偏好的前提下一定存在一個(gè)實(shí)值效用函數(shù)使得選擇順序與效用函數(shù)的高低順序一致。簡(jiǎn)單來(lái)說(shuō)如果模型是“理性”的那么它的所有行為選擇都可以被看成在比較一個(gè)隱式分?jǐn)?shù)。分?jǐn)?shù)高的一方被選中分?jǐn)?shù)低的一方被忽略。這就是之后所有操作的理論基礎(chǔ)先假設(shè)模型存在一個(gè)潛在評(píng)分函數(shù)然后用行為數(shù)據(jù)去擬合這個(gè)函數(shù)擬合得越好說(shuō)明模型選擇越一致擬合不上的部分就是“不理性”的殘差。這個(gè)殘差既是評(píng)估指標(biāo)的一部分也是正則化項(xiàng)的核心。3.3 “理性”在這里不等于“正確”需要特別說(shuō)明一點(diǎn)這里的“理性”描述的是選擇行為在邏輯結(jié)構(gòu)上的一致性不意味著模型輸出的內(nèi)容更符合人類價(jià)值觀。一個(gè)模型可以前后一致地說(shuō)“不該拒絕惡意請(qǐng)求”這樣的行為高度理性但對(duì)齊結(jié)果完全不合格。所以無(wú)標(biāo)簽評(píng)估更適合作為“行為質(zhì)量約束”不能單獨(dú)作為“價(jià)值觀對(duì)齊目標(biāo)”。4. 方法拆解從行為到分?jǐn)?shù)再到正則化把兩個(gè)理論概念落到實(shí)際方法里大致可以拆成四步構(gòu)造行為數(shù)據(jù)、學(xué)習(xí)潛在效用、計(jì)算理性差距、把差距變成訓(xùn)練損失。4.1 構(gòu)造行為數(shù)據(jù)不需要人工標(biāo)簽只需要讓模型對(duì)若干選項(xiàng)做選擇。具體操作方式是給定一組輸入文本讓模型通過(guò)解碼概率、內(nèi)部隱狀態(tài)對(duì)比或者生成式比較輸出對(duì)兩個(gè)候選回答的偏好判斷。行為數(shù)據(jù)的形態(tài)不限于最終生成的文本也可以是 logprob 對(duì)比結(jié)果。行為樣本的形式可以抽象成(上下文, 選項(xiàng)A, 選項(xiàng)B, 模型選擇)。其中“模型選擇”表示模型更傾向于 A 還是 B或者兩者無(wú)差異。4.2 學(xué)習(xí)潛在效用函數(shù)用行為數(shù)據(jù)訓(xùn)練一個(gè)潛在的效用網(wǎng)絡(luò)目標(biāo)是讓這個(gè)函數(shù)盡量還原模型的全部選擇行為。如果模型選擇 A 而不選 B那學(xué)習(xí)目標(biāo)就是讓f(A) f(B)。這一步非常像訓(xùn)練獎(jiǎng)勵(lì)模型但區(qū)別在于數(shù)據(jù)不來(lái)自人類標(biāo)注而來(lái)自模型自身的行為。效用網(wǎng)絡(luò)可以用簡(jiǎn)單的 MLP也可以基于模型隱層輸出構(gòu)建。如果是大模型場(chǎng)景可以直接把最后一層隱藏狀態(tài)接入一個(gè)線性打分頭而不是單獨(dú)訓(xùn)練一個(gè)完整編碼器。4.3 計(jì)算理性差距所謂的“理性差距”通常用行為數(shù)據(jù)對(duì)“傳遞性公理”的違反程度來(lái)衡量。假設(shè)模型在第一次比較中說(shuō) A 優(yōu)于 B第二次說(shuō) B 優(yōu)于 C那么按照理性人的公理第三次比較中它應(yīng)該認(rèn)為 A 優(yōu)于 C。如果第三次結(jié)果相反就產(chǎn)生了“偏好循環(huán)”這說(shuō)明模型內(nèi)部沒有一個(gè)穩(wěn)定的全局評(píng)分函數(shù)。在實(shí)現(xiàn)上可以用排序損失或者對(duì)比損失來(lái)評(píng)估這種不一致程度。差值越大說(shuō)明模型行為越不穩(wěn)定理性程度越低。4.4 把差距變成正則化項(xiàng)無(wú)標(biāo)簽評(píng)估可以直接當(dāng)“評(píng)分指標(biāo)”使用但更有吸引力的用途是變成訓(xùn)練時(shí)的正則化項(xiàng)。做法是在常規(guī)損失之外額外加入一個(gè)“傳遞性損失”迫使模型的輸出空間更接近一個(gè)全局一致的評(píng)分函數(shù)。也就是說(shuō)模型不僅要學(xué)會(huì)回答任務(wù)本身還要在相互比較時(shí)保持一致。這等于在訓(xùn)練目標(biāo)里加了一個(gè)“自我一致性”約束。如果模型在訓(xùn)練過(guò)程中開始出現(xiàn)前后矛盾的偏好這個(gè)約束就會(huì)產(chǎn)生梯度把模型拉回更穩(wěn)定的方向。5. 一個(gè)可參考的實(shí)現(xiàn)思路下面給出一套用于驗(yàn)證思路的 PyTorch 風(fēng)格代碼骨架。說(shuō)明一下這是基于“顯示偏好 傳遞性約束”的通用實(shí)現(xiàn)思路不保證與原始論文逐行對(duì)應(yīng)。實(shí)際使用時(shí)需要根據(jù)模型結(jié)構(gòu)和行為數(shù)據(jù)格式調(diào)整。5.1 定義效用評(píng)估器假設(shè)我們已經(jīng)拿到了模型的輸出向量例如對(duì) A、B、C 三個(gè)候選回答各自編碼得到 768 維向量。先用 MLP 把這些向量映射成一個(gè)標(biāo)量分?jǐn)?shù)。import torch import torch.nn as nn import torch.nn.functional as F class ScalarEvaluator(nn.Module): 把候選回答的向量表示映射為標(biāo)量效用分?jǐn)?shù)。 def __init__(self, input_dim: int 768, hidden_dim: int 128): super().__init__() self.net nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, 1), ) def forward(self, x: torch.Tensor) - torch.Tensor: # x: [batch, input_dim] # 返回: [batch] return self.net(x).squeeze(-1)5.2 定義傳遞性正則化損失這里的核心是構(gòu)造一個(gè)可微的“非理性”指標(biāo)。假設(shè)樣本中包含三元組(A, B, C)且模型的已知偏好關(guān)系是A B、B C。那么理想情況下分?jǐn)?shù)的順序應(yīng)該是f(A) f(B) f(C)特別是f(A) f(C)。我們用邊緣損失來(lái)度量違反程度如果f(A) - f(C)小于某個(gè) margin就產(chǎn)生損失。同時(shí)附加一個(gè)輕微的分?jǐn)?shù) L2 正則避免分?jǐn)?shù)無(wú)限發(fā)散。class TransitivityRegularizer(nn.Module): 根據(jù)三元組行為數(shù)據(jù)計(jì)算傳遞性損失。 def __init__(self, evaluator: ScalarEvaluator, margin: float 0.1): super().__init__() self.evaluator evaluator self.margin margin def forward(self, A: torch.Tensor, B: torch.Tensor, C: torch.Tensor) - torch.Tensor: A, B, C: [batch, input_dim] 已有行為信息: A B, B C 理想情況下應(yīng)滿足: A C score_a self.evaluator(A) score_b self.evaluator(B) score_c self.evaluator(C) # 成對(duì)比較損失讓 A 高于 BB 高于 C pairwise_loss ( F.relu(self.margin - (score_a - score_b)) F.relu(self.margin - (score_b - score_c)) ) # 傳遞性損失讓 A 高于 C trans_loss F.relu(self.margin - (score_a - score_c)) # 輕微 L2 防止打分漂移 reg (score_a**2 score_b**2 score_c**2).mean() * 0.01 return (pairwise_loss trans_loss).mean() reg5.3 接入訓(xùn)練循環(huán)使用時(shí)可以把傳遞性正則化損失和模型的主任務(wù)損失相加。如果主任務(wù)是語(yǔ)言建模損失可以寫成evaluator ScalarEvaluator(input_dim768) regularizer TransitivityRegularizer(evaluatormargin0.1) # 從模型隱層獲取候選回答向量 A model_hidden_states_for_candidate(...) B model_hidden_states_for_candidate(...) C model_hidden_states_for_candidate(...) train_loss main_loss lambda_reg * regularizer(A, B, C) train_loss.backward()這里最需要關(guān)注的是lambda_reg的取值。太小正則約束無(wú)效太大模型會(huì)為了滿足一致性而犧牲原有生成能力。建議從0.01或0.001起步在驗(yàn)證集上觀察主任務(wù)指標(biāo)和一致性指標(biāo)的變化。5.4 無(wú)標(biāo)簽評(píng)估指標(biāo)的計(jì)算在評(píng)估階段可以簡(jiǎn)單統(tǒng)計(jì)測(cè)試行為數(shù)據(jù)中滿足傳遞性的比例或者計(jì)算平均違反 margin。例如def consistency_score(model, triplets): total 0 consistent 0 for A, B, C in triplets: scores model([A, B, C]) if scores[0] scores[2]: consistent 1 total 1 return consistent / max(total, 1)數(shù)值越高說(shuō)明模型行為越穩(wěn)定潛在的評(píng)分函數(shù)結(jié)構(gòu)越清晰。這個(gè)分?jǐn)?shù)可以當(dāng)作無(wú)標(biāo)簽評(píng)估的一維參考。6. 如何在訓(xùn)練和評(píng)估流程中實(shí)際使用這類方法要產(chǎn)生實(shí)際價(jià)值需要明確它在現(xiàn)有流程中的位置。6.1 作為評(píng)估階段的補(bǔ)充信號(hào)當(dāng)前評(píng)估體系主要依賴指標(biāo)計(jì)算、人工評(píng)測(cè)和模型評(píng)測(cè)。無(wú)標(biāo)簽評(píng)估可以作為一種低成本篩查手段先跑一批 prompt用解碼概率或模型選擇行為構(gòu)造成對(duì)比較數(shù)據(jù)然后計(jì)算一致性分?jǐn)?shù)。分?jǐn)?shù)偏低的 prompt 類型大概率是模型行為不穩(wěn)定的區(qū)域值得優(yōu)先做人工標(biāo)注和定向調(diào)優(yōu)。6.2 作為微調(diào)階段的正則化目標(biāo)在監(jiān)督微調(diào)或偏好微調(diào)階段把傳遞性損失加到主損失后面可以理解為“額外請(qǐng)一個(gè)行為一致性監(jiān)督員”。它在訓(xùn)練時(shí)盯著模型參數(shù)的更新方向一旦發(fā)現(xiàn)模型在傳遞性約束上產(chǎn)生較大偏差就用梯度把它拉回來(lái)。6.3 與 RLHF 的對(duì)比對(duì)比項(xiàng)RLHF無(wú)標(biāo)簽評(píng)估 正則化數(shù)據(jù)來(lái)源人工標(biāo)注偏好模型自身行為訓(xùn)練目標(biāo)優(yōu)化獎(jiǎng)勵(lì)模型分?jǐn)?shù)主任務(wù)損失 行為一致性損失成本高中低邏輯假設(shè)獎(jiǎng)勵(lì)模型能準(zhǔn)確代表人類偏好模型行為應(yīng)該具備內(nèi)部一致性單獨(dú)使用可以不建議必須搭配主任務(wù)無(wú)標(biāo)簽評(píng)估和正則化更適合作為 RLHF 或偏好優(yōu)化的輔助約束而不是完全替代。因?yàn)椤袄硇砸恢隆焙汀胺先祟愵A(yù)期”是兩個(gè)維度不能混為一談。7. 資源占用與性能觀察這個(gè)方向沒有現(xiàn)成的本地一鍵包所以沒有固定顯存數(shù)字可寫。但從實(shí)現(xiàn)路徑來(lái)看資源占用有三個(gè)層級(jí)需要關(guān)注。7.1 行為數(shù)據(jù)生成階段的瓶頸構(gòu)造行為數(shù)據(jù)需要大量調(diào)用基礎(chǔ)模型。如果使用 7B 級(jí)別模型在不做量化的情況下單卡推理一批樣本的顯存占用通常在 15GB 到 20GB 之間。這個(gè)數(shù)值會(huì)隨上下文長(zhǎng)度、批量大小和量化方式變化實(shí)際以本機(jī)測(cè)試為準(zhǔn)。如果顯存不足最常見的方法是降低批量大小、減少最大序列長(zhǎng)度或者使用 4bit 量化加載模型。7.2 效用網(wǎng)絡(luò)訓(xùn)練的顯存開銷效用網(wǎng)絡(luò)本身的參數(shù)量很小主要是 MLP 或線性頭顯存占用遠(yuǎn)小于基礎(chǔ)模型。但如果需要對(duì)模型隱層狀態(tài)做反向傳播就必須保留隱層計(jì)算圖顯存成本會(huì)增加。實(shí)際操作時(shí)可以先把模型隱層向量離線抽取出來(lái)再單獨(dú)訓(xùn)練效用網(wǎng)絡(luò)這樣可以把顯存占用降得很低。7.3 如何觀察性能訓(xùn)練過(guò)程和生成階段可以用nvidia-smi觀察顯存占用nvidia-smi -l 2更新頻率設(shè)置為 2 秒一次重點(diǎn)看每個(gè)進(jìn)程的顯存占用和 GPU 利用率。如果顯存占用很高優(yōu)先降低 batch size如果 GPU 利用率很低大概率是數(shù)據(jù)加載或預(yù)處理階段出現(xiàn)了瓶頸。8. 常見問(wèn)題與邊界問(wèn)題現(xiàn)象可能原因排查方式解決方案?jìng)鬟f性損失很小但生成質(zhì)量下降正則化權(quán)重過(guò)大模型過(guò)度追求一致性對(duì)比不同lambda_reg下的主任務(wù)指標(biāo)調(diào)低正則權(quán)重優(yōu)先保證主任務(wù)不退化一致性分?jǐn)?shù)很高但人工評(píng)估不認(rèn)可“理性”不完全等于“對(duì)齊”檢查模型在安全、有用性等維度的表現(xiàn)把無(wú)標(biāo)簽評(píng)估作為輔助指標(biāo)結(jié)合人工評(píng)估使用行為數(shù)據(jù)量不足效用網(wǎng)絡(luò)擬合不穩(wěn)定構(gòu)造的成對(duì)樣本太少統(tǒng)計(jì)行為樣本規(guī)模觀察效用網(wǎng)絡(luò)驗(yàn)證損失增加 prompt 覆蓋范圍和候選回答數(shù)量模型輸出出現(xiàn)循環(huán)偏好采樣溫度過(guò)高或模型本身偏好不穩(wěn)定記錄多次采樣結(jié)果分析偏好關(guān)系圖降低采樣溫度或?qū)Χ啻尾蓸咏Y(jié)果取平均無(wú)法復(fù)現(xiàn)論文效果關(guān)鍵細(xì)節(jié)缺失例如效用網(wǎng)絡(luò)的初始化、訓(xùn)練步數(shù)仔細(xì)閱讀論文正文和附錄小規(guī)模復(fù)現(xiàn)實(shí)驗(yàn)逐步調(diào)整超參數(shù)8.1 數(shù)據(jù)規(guī)模的下限無(wú)標(biāo)簽評(píng)估依賴成對(duì)比較數(shù)據(jù)如果行為樣本太少效用函數(shù)可能無(wú)法穩(wěn)定擬合。更穩(wěn)妥的做法是先用批量生成構(gòu)造一個(gè)覆蓋多種 prompt 風(fēng)格和回答長(zhǎng)度的行為庫(kù)再開始訓(xùn)練效用網(wǎng)絡(luò)。8.2 失敗模式效用函數(shù)退化如果沒有梯度約束效用網(wǎng)絡(luò)可能把所有候選回答都打同一個(gè)分這樣傳遞性損失雖然很小卻沒有任何信息量。解決方法是加入 margin 約束并監(jiān)控效用分?jǐn)?shù)的分布。如果所有分?jǐn)?shù)都擠在零點(diǎn)附近說(shuō)明模型沒有學(xué)到有效區(qū)分度。9. 最佳實(shí)踐與合規(guī)建議這套方法還處于研究階段想在生產(chǎn)環(huán)境使用建議按下面的順序推進(jìn)。9.1 先做小規(guī)模驗(yàn)證不要直接在大模型完整訓(xùn)練流程中引入新的正則項(xiàng)。先用一個(gè)小型模型或者少量數(shù)據(jù)驗(yàn)證“無(wú)標(biāo)簽評(píng)估分?jǐn)?shù)是否能反映模型行為差異”。如果一致性分?jǐn)?shù)無(wú)法區(qū)分不同模型或不同訓(xùn)練階段那就說(shuō)明數(shù)據(jù)構(gòu)造或效用網(wǎng)絡(luò)設(shè)計(jì)有問(wèn)題后面的大規(guī)模實(shí)驗(yàn)也沒有意義。9.2 保留最小可運(yùn)行實(shí)驗(yàn)配置任何實(shí)驗(yàn)項(xiàng)目都應(yīng)該有一份可以隨時(shí)復(fù)跑的 baseline 配置。數(shù)據(jù)集、prompt 生成策略、行為采樣參數(shù)、效用網(wǎng)絡(luò)超參、lambda_reg取值都要記錄在實(shí)驗(yàn)表中。否則一旦效果不好很難判斷是數(shù)據(jù)問(wèn)題、模型問(wèn)題還是正則化參數(shù)問(wèn)題。9.3 合規(guī)與授權(quán)提醒如果行為數(shù)據(jù)來(lái)自公開模型或 API 服務(wù)需要注意服務(wù)條款和使用場(chǎng)景限制。如果涉及用戶數(shù)據(jù)、內(nèi)部業(yè)務(wù)數(shù)據(jù)必須在授權(quán)范圍內(nèi)使用。涉及人臉、聲音、人物肖像或版權(quán)素材的內(nèi)容需要先確認(rèn)是否有合法授權(quán)否則只能用于內(nèi)部技術(shù)驗(yàn)證不能發(fā)布或商用。9.4 學(xué)術(shù)引用與傳播如果是用來(lái)寫論文或技術(shù)博客應(yīng)該標(biāo)注該方法來(lái)源引用原始論文和理論出處。在技術(shù)分享中要區(qū)分“論文原意”和“自己的實(shí)現(xiàn)思路”避免讓讀者誤以為某個(gè)代碼骨架是官方實(shí)現(xiàn)。10. 總結(jié)與下一步這個(gè)方向最值得嘗試的點(diǎn)在于它把“模型行為是否一致”變成了一個(gè)可計(jì)算的、可微分的信號(hào)。相比依賴人工標(biāo)注的傳統(tǒng)評(píng)估方式無(wú)標(biāo)簽評(píng)估的成本更低可以和主訓(xùn)練目標(biāo)并行使用尤其適合模型行為差異排查和偏好微調(diào)輔助約束。如果動(dòng)手驗(yàn)證建議最先做一件事用一個(gè)小模型構(gòu)造一批成對(duì)比較數(shù)據(jù)訓(xùn)練一個(gè)簡(jiǎn)單的效用打分函數(shù)然后檢查“一致性分?jǐn)?shù)是否能區(qū)分不同訓(xùn)練步數(shù)的模型”。如果能再繼續(xù)嘗試把傳遞性損失加到訓(xùn)練目標(biāo)中。最容易踩的坑有兩個(gè)。一是把“理性一致”等同于“符合人類預(yù)期”導(dǎo)致評(píng)估結(jié)果與人工評(píng)估嚴(yán)重脫節(jié)二是正則化權(quán)重設(shè)置過(guò)大模型為了保持偏好一致而犧牲了原本的生成能力出現(xiàn)明顯的質(zhì)量退化。后續(xù)可以繼續(xù)擴(kuò)展的方向包括把無(wú)標(biāo)簽評(píng)估分?jǐn)?shù)接入自動(dòng)數(shù)據(jù)篩選流程、構(gòu)造更復(fù)雜的多候選行為數(shù)據(jù)、把一致性約束擴(kuò)展到組合多個(gè)模型輸出上以及在 RLHF 訓(xùn)練管線中把它作為一個(gè)額外的獎(jiǎng)勵(lì)分支。這套思路不會(huì)取代人工標(biāo)注但可以在標(biāo)注成本上真正省下一部分預(yù)算讓模型調(diào)優(yōu)過(guò)程更可控。