成立AI數(shù)據(jù)部門(mén)，數(shù)據(jù)工程成模型能力新天花板)
2025年之后AI大模型領(lǐng)域的競(jìng)爭(zhēng)已經(jīng)從“拼模型結(jié)構(gòu)”轉(zhuǎn)向“拼數(shù)據(jù)質(zhì)量”。字節(jié)跳動(dòng)近期將AI業(yè)務(wù)的組織架構(gòu)進(jìn)一步收緊繼Seed大模型團(tuán)隊(duì)、FlowAI應(yīng)用團(tuán)隊(duì)之后又成立了一個(gè)專(zhuān)門(mén)面向數(shù)據(jù)的一級(jí)部門(mén)直接回應(yīng)了“數(shù)據(jù)是AI核心競(jìng)爭(zhēng)力”這一關(guān)鍵命題。這件事表面看是大廠(chǎng)組織調(diào)整背后其實(shí)是整個(gè)行業(yè)對(duì)數(shù)據(jù)處理、數(shù)據(jù)治理和數(shù)據(jù)集構(gòu)建方式的重新定義。這篇文章不談八卦只談技術(shù)判斷。我會(huì)從字節(jié)這個(gè)動(dòng)作出發(fā)拆解三個(gè)問(wèn)題為什么數(shù)據(jù)部門(mén)要獨(dú)立成一級(jí)部門(mén)數(shù)據(jù)工程在AI鏈路里到底卡在哪些環(huán)節(jié)普通開(kāi)發(fā)者和團(tuán)隊(duì)能從中借鑒哪些可落地的數(shù)據(jù)基礎(chǔ)設(shè)施方法論如果你正在做大模型應(yīng)用、RAG系統(tǒng)、模型微調(diào)或Agent開(kāi)發(fā)這篇文章里提到的數(shù)據(jù)清洗、數(shù)據(jù)版本管理、評(píng)測(cè)集構(gòu)建、數(shù)據(jù)飛輪等思路可以直接拿回自己的項(xiàng)目里用。1. 字節(jié)成立AI數(shù)據(jù)部門(mén)背后是對(duì)AI競(jìng)爭(zhēng)本質(zhì)的一次重新定價(jià)很多人看到“字節(jié)成立AI數(shù)據(jù)部門(mén)”的第一反應(yīng)是字節(jié)又在搞組織架構(gòu)調(diào)整。但從技術(shù)視角看這次調(diào)整的信息量遠(yuǎn)大于組織本身。Seed負(fù)責(zé)基礎(chǔ)模型Flow負(fù)責(zé)AI原生應(yīng)用而數(shù)據(jù)部門(mén)獨(dú)立出來(lái)說(shuō)明字節(jié)已經(jīng)意識(shí)到數(shù)據(jù)不是模型的附屬品而是和模型、應(yīng)用并列的第三極。過(guò)去幾年大模型的發(fā)展邏輯是“規(guī)模法則”模型越大、數(shù)據(jù)越多效果越好。但到了2024年以后大家發(fā)現(xiàn)一個(gè)問(wèn)題公開(kāi)互聯(lián)網(wǎng)的高質(zhì)量文本數(shù)據(jù)快被“挖空”了。各家訓(xùn)練數(shù)據(jù)集的重復(fù)率越來(lái)越高模型之間的差異越來(lái)越小。這時(shí)候誰(shuí)能構(gòu)建更高質(zhì)量、更獨(dú)特、更結(jié)構(gòu)化、更貼合業(yè)務(wù)場(chǎng)景的數(shù)據(jù)集誰(shuí)就能在模型效果上拉開(kāi)差距。字節(jié)這個(gè)動(dòng)作等于把“數(shù)據(jù)”從后臺(tái)職能提升到了戰(zhàn)略級(jí)部門(mén)。這背后的技術(shù)邏輯是數(shù)據(jù)已經(jīng)不只是訓(xùn)練時(shí)的“燃料”而是貫穿模型預(yù)訓(xùn)練、監(jiān)督微調(diào)、對(duì)齊、評(píng)測(cè)、知識(shí)更新、Agent工具調(diào)用的全鏈路基礎(chǔ)設(shè)施。數(shù)據(jù)部門(mén)的獨(dú)立意味著字節(jié)要用專(zhuān)業(yè)團(tuán)隊(duì)專(zhuān)門(mén)處理數(shù)據(jù)采集、清洗、去重、標(biāo)注、配比、版本管理、質(zhì)量評(píng)估這些臟活累活。對(duì)我們普通開(kāi)發(fā)者的啟示是如果你還在靠“爬點(diǎn)公開(kāi)數(shù)據(jù)直接灌給模型”的方式做應(yīng)用很快會(huì)被數(shù)據(jù)工程能力拉開(kāi)差距。這不是說(shuō)個(gè)人需要做一個(gè)龐大的數(shù)據(jù)團(tuán)隊(duì)而是要在自己的項(xiàng)目里建立“數(shù)據(jù)治理”的最小閉環(huán)。2. 大模型時(shí)代的數(shù)據(jù)不再只是“存起來(lái)”的數(shù)據(jù)先厘清一個(gè)概念。傳統(tǒng)軟件工程里數(shù)據(jù)管理關(guān)注的是結(jié)構(gòu)化數(shù)據(jù)、事務(wù)一致性、查詢(xún)性能技術(shù)棧是MySQL、Redis、Kafka、Hadoop這些。大模型時(shí)代的數(shù)據(jù)至少包含四種形態(tài)每一種都有完全不同的工程技術(shù)難點(diǎn)。第一種是預(yù)訓(xùn)練語(yǔ)料。這類(lèi)數(shù)據(jù)量級(jí)最大動(dòng)輒幾十TB甚至PB級(jí)別來(lái)源是網(wǎng)頁(yè)、書(shū)籍、論文、代碼、音視頻字幕。難點(diǎn)不是存而是清洗和去重。一個(gè)網(wǎng)頁(yè)里有大量導(dǎo)航欄、廣告、重復(fù)段落如果直接喂給模型模型學(xué)到的是噪聲而不是知識(shí)。第二種是指令數(shù)據(jù)。這是微調(diào)和對(duì)齊的關(guān)鍵。比如“請(qǐng)幫我總結(jié)這篇文章”對(duì)應(yīng)的期望輸出是“這篇文章主要講了……”。這類(lèi)數(shù)據(jù)通常是人工標(biāo)注或從用戶(hù)反饋中挖掘量級(jí)比預(yù)訓(xùn)練語(yǔ)料小很多但質(zhì)量要求極高。一條壞的指令數(shù)據(jù)可能讓模型學(xué)會(huì)錯(cuò)誤行為。第三種是評(píng)測(cè)數(shù)據(jù)。這是最容易被忽視的一類(lèi)。沒(méi)有評(píng)測(cè)集你就無(wú)法量化模型升級(jí)前后的效果變化。很多團(tuán)隊(duì)做模型微調(diào)時(shí)覺(jué)得loss下降了就是效果好結(jié)果一上線(xiàn)實(shí)測(cè)模型反而變笨了。原因就是評(píng)測(cè)集覆蓋度不夠或者評(píng)測(cè)集本身和訓(xùn)練集有重疊。第四種是業(yè)務(wù)數(shù)據(jù)/知識(shí)數(shù)據(jù)。這是企業(yè)私有數(shù)據(jù)也是RAG檢索增強(qiáng)生成的核心。包括產(chǎn)品文檔、客服記錄、數(shù)據(jù)庫(kù)內(nèi)容、結(jié)構(gòu)化知識(shí)圖譜等。難點(diǎn)在于如何把非結(jié)構(gòu)化數(shù)據(jù)拆成適合檢索的塊如何做向量化如何保持?jǐn)?shù)據(jù)更新。字節(jié)獨(dú)立數(shù)據(jù)部門(mén)本質(zhì)上就是把這四類(lèi)數(shù)據(jù)的能力統(tǒng)一收攏。而在我們自己的項(xiàng)目里也應(yīng)該按這四個(gè)維度去規(guī)劃數(shù)據(jù)工作而不是籠統(tǒng)地說(shuō)“我們有很多數(shù)據(jù)”。3. 數(shù)據(jù)質(zhì)量為什么成為模型能力的天花板2023年的時(shí)候業(yè)界流行一句話(huà)數(shù)據(jù)和模型是“垃圾進(jìn)垃圾出”。現(xiàn)在這個(gè)說(shuō)法已經(jīng)不夠準(zhǔn)確了更準(zhǔn)確的說(shuō)法是數(shù)據(jù)質(zhì)量決定了模型能力的上限模型架構(gòu)決定的是逼近這個(gè)上限的效率。為什么要強(qiáng)調(diào)這一點(diǎn)因?yàn)楹芏鄨F(tuán)隊(duì)在微調(diào)模型時(shí)花了大量時(shí)間調(diào)學(xué)習(xí)率、調(diào)LoRA rank、試各種prompt模板但最終效果不如別人一個(gè)干凈的數(shù)據(jù)集。原因在于模型參數(shù)只是把數(shù)據(jù)里的規(guī)律固化下來(lái)數(shù)據(jù)里沒(méi)有的規(guī)律模型再怎么調(diào)參也學(xué)不出來(lái)。舉個(gè)例子。如果你做客服場(chǎng)景的模型微調(diào)收集了10000條客服對(duì)話(huà)。但里面的用戶(hù)問(wèn)題大多雷同真實(shí)場(chǎng)景中的長(zhǎng)尾問(wèn)題只占5%。模型訓(xùn)練完之后常見(jiàn)問(wèn)題回答得很好一旦用戶(hù)換個(gè)說(shuō)法模型就答非所問(wèn)。這不是模型不夠聰明而是數(shù)據(jù)覆蓋度不夠。再比如做RAG系統(tǒng)時(shí)知識(shí)庫(kù)文檔里有大量重復(fù)段落、過(guò)時(shí)內(nèi)容、格式混亂的表格。檢索模塊把相關(guān)片段撈出來(lái)后生成模塊基于這些噪聲內(nèi)容做總結(jié)結(jié)果自然不理想。很多人以為是embedding模型選得不好實(shí)際是源數(shù)據(jù)沒(méi)有做清洗和治理。字節(jié)數(shù)據(jù)部門(mén)的獨(dú)立傳遞的一個(gè)重要信號(hào)就是以后評(píng)判一個(gè)AI團(tuán)隊(duì)的能力不能只看模型榜單分?jǐn)?shù)還要看這個(gè)團(tuán)隊(duì)的數(shù)據(jù)構(gòu)建、清洗、評(píng)測(cè)、迭代能力。而數(shù)據(jù)能力是可以積累的一旦形成“數(shù)據(jù)飛輪”效應(yīng)后來(lái)者很難追上。4. 從組織調(diào)整看技術(shù)趨勢(shì)數(shù)據(jù)工程正在成為AI的核心崗位如果你關(guān)注招聘市場(chǎng)會(huì)發(fā)現(xiàn)“數(shù)據(jù)工程師”和“AI數(shù)據(jù)工程師”的需求量在持續(xù)上升。傳統(tǒng)的BI數(shù)據(jù)工程師偏向報(bào)表、數(shù)倉(cāng)、ETL而AI方向的數(shù)據(jù)工程師需要理解模型訓(xùn)練邏輯、tokenizer、embedding、數(shù)據(jù)去重算法、指令數(shù)據(jù)構(gòu)建、評(píng)估集設(shè)計(jì)。字節(jié)把數(shù)據(jù)部門(mén)提升為一級(jí)部門(mén)會(huì)帶來(lái)一個(gè)連鎖反應(yīng)其他大廠(chǎng)也會(huì)跟進(jìn)行業(yè)對(duì)數(shù)據(jù)工程崗位的定價(jià)會(huì)水漲船高。對(duì)開(kāi)發(fā)者來(lái)說(shuō)現(xiàn)在學(xué)習(xí)AI數(shù)據(jù)工程相當(dāng)于2008年學(xué)習(xí)移動(dòng)開(kāi)發(fā)屬于提前卡位。AI數(shù)據(jù)工程師需要掌握的技能包括大規(guī)模文本處理如使用Spark、Dask處理TB級(jí)數(shù)據(jù)、數(shù)據(jù)去重算法如MinHash、SimHash、語(yǔ)義去重基于embedding的聚類(lèi)、數(shù)據(jù)標(biāo)注流程設(shè)計(jì)、質(zhì)量評(píng)估指標(biāo)體系、數(shù)據(jù)版本管理如DVC、數(shù)據(jù)流水線(xiàn)編排如Airflow、Prefect、以及面向大模型的數(shù)據(jù)配比實(shí)驗(yàn)方法。這些技能和傳統(tǒng)后端開(kāi)發(fā)、算法工程師有交叉但側(cè)重點(diǎn)不同。傳統(tǒng)算法工程師關(guān)心模型結(jié)構(gòu)AI數(shù)據(jù)工程師關(guān)心數(shù)據(jù)如何影響模型行為。這種“數(shù)據(jù)即代碼”的思維方式正是字節(jié)這次調(diào)整想強(qiáng)調(diào)的。5. 構(gòu)建你自己的AI數(shù)據(jù)基礎(chǔ)設(shè)施從清洗到版本管理不管你是不是字節(jié)員工這套數(shù)據(jù)方法論都可以落到自己的項(xiàng)目里。下面我以一個(gè)典型的大模型知識(shí)庫(kù)項(xiàng)目為例演示如何從零構(gòu)建一個(gè)最小可用的AI數(shù)據(jù)流水線(xiàn)。5.1 數(shù)據(jù)采集與歸一化假設(shè)你要做一個(gè)企業(yè)內(nèi)部知識(shí)庫(kù)問(wèn)答機(jī)器人。數(shù)據(jù)來(lái)源可能有內(nèi)部Wiki頁(yè)面HTML產(chǎn)品文檔Markdown/PDF歷史客服工單Excel/CSV工單留言JSON第一步把所有格式統(tǒng)一轉(zhuǎn)成純文本或Markdown并保留元數(shù)據(jù)來(lái)源、更新時(shí)間、作者、權(quán)限。下面是一個(gè)用Python做最小歸一化的示例# normalize_docs.py import json import hashlib from pathlib import Path from bs4 import BeautifulSoup import markdownify def html_to_markdown(html_content: str) - str: soup BeautifulSoup(html_content, html.parser) # 去掉 script 和 style 中的內(nèi)容 for tag in soup([script, style, nav, footer]): tag.decompose() return markdownify.MarkdownConverter().convert_html(soup.prettify()) def process_document(raw_path: Path, output_path: Path) - None: suffix raw_path.suffix.lower() if suffix .html: text html_to_markdown(raw_path.read_text(encodingutf-8)) elif suffix .md: text raw_path.read_text(encodingutf-8) elif suffix .json: data json.loads(raw_path.read_text(encodingutf-8)) # 假設(shè) JSON 里有一個(gè) content 字段 text data.get(content, ) else: text raw_path.read_text(encodingutf-8) doc { source: str(raw_path), text: text, chars: len(text), sha256: hashlib.sha256(text.encode(utf-8)).hexdigest(), } output_path.write_text(json.dumps(doc, ensure_asciiFalse, indent2), encodingutf-8) if __name__ __main__: raw_dir Path(./raw_docs) out_dir Path(./normalized_docs) out_dir.mkdir(exist_okTrue) for raw_file in raw_dir.rglob(*): if raw_file.is_file() and raw_file.suffix.lower() in (.html, .md, .json, .txt): output_file out_dir / f{raw_file.stem}.json process_document(raw_file, output_file) print(歸一化完成輸出目錄:, out_dir)這段代碼做的事情很簡(jiǎn)單但解決了大問(wèn)題不同來(lái)源的文檔有了統(tǒng)一的JSON結(jié)構(gòu)后續(xù)清洗、切塊、向量化都用這個(gè)統(tǒng)一格式而不是每種數(shù)據(jù)寫(xiě)一套解析邏輯。5.2 清洗規(guī)則去掉噪聲保留語(yǔ)義單元清洗不是簡(jiǎn)單地把空行刪掉。對(duì)于LLM場(chǎng)景清洗要考慮以下幾點(diǎn)去掉頁(yè)眉頁(yè)腳、導(dǎo)航、版權(quán)聲明等重復(fù)性字符串。去除HTML標(biāo)簽中的隱藏內(nèi)容。合并被截?cái)嗟亩温洹Ｈブ匕ň_去重和語(yǔ)義去重。過(guò)濾質(zhì)量過(guò)低的內(nèi)容如字符數(shù)過(guò)短、亂碼、無(wú)標(biāo)點(diǎn)段落。一個(gè)實(shí)用的清洗函數(shù)如下# clean_text.py import re def clean_text(text: str) - str: # 去掉不可見(jiàn)字符和亂碼 text re.sub(r[\x00-\x08\x0b\x0c\x0e-\x1f], , text) # 把多個(gè)空行壓縮為一個(gè) text re.sub(r\n{3,}, \n\n, text) # 去掉常見(jiàn)的頁(yè)眉頁(yè)腳模式這里按需調(diào)整 text re.sub(r(?m)^\s*(版權(quán)所有|Copyright|隱私政策|上一篇|下一篇)\s*$, , text) # 去掉多余空格 text re.sub(r[ \t]{2,}, , text) # 保留中文、英文、數(shù)字、常見(jiàn)標(biāo)點(diǎn)其他換成空格 text re.sub(r[^\u4e00-\u9fff\u0030-\u0039\u0041-\u005a\u0061-\u007a\u3000-\u303f\uff00-\uffef\s.,!?;:()\-], , text) # 再次壓縮空白 text re.sub(r\s, , text).strip() return text if __name__ __main__: sample 這是測(cè)試。\n\n\n\n版權(quán)所有XXX\n\n應(yīng)該保留的內(nèi)容。 print(clean_text(sample))注意清洗規(guī)則不能一刀切。比如代碼文檔里可能包含-、、{}這樣的符號(hào)直接正則替換會(huì)把代碼語(yǔ)義破壞。所以針對(duì)不同來(lái)源的數(shù)據(jù)應(yīng)該維護(hù)不同的清洗規(guī)則并保留清洗前版本方便回溯。5.3 數(shù)據(jù)去重MinHash與語(yǔ)義去重大模型訓(xùn)練和RAG檢索對(duì)重復(fù)數(shù)據(jù)都非常敏感。訓(xùn)練集重復(fù)度過(guò)高會(huì)導(dǎo)致模型記憶嚴(yán)重、泛化能力下降RAG知識(shí)庫(kù)里重復(fù)文檔會(huì)導(dǎo)致檢索結(jié)果冗余浪費(fèi)上下文窗口。精確去重可以用哈希但很多重復(fù)是“近似重復(fù)”比如兩篇文章只有幾個(gè)詞不同。推薦用MinHash LSH做大規(guī)模去重這里給一個(gè)簡(jiǎn)化版# minhash_dedup.py import hashlib from datasketch import MinHashLSH, MinHash def tokenize(text: str) - set: # 簡(jiǎn)單中文分詞按字符 n-gram或使用 jieba import jieba return set(jieba.cut_for_search(text)) def build_lsh(docs, threshold0.8, num_perm128): lsh MinHashLSH(thresholdthreshold, num_permnum_perm) minhashes {} for idx, doc in enumerate(docs): m MinHash(num_permnum_perm) for token in tokenize(doc): m.update(token.encode(utf-8)) lsh.insert(fdoc_{idx}, m) minhashes[fdoc_{idx}] m return lsh, minhashes if __name__ __main__: docs [ 大模型訓(xùn)練需要高質(zhì)量數(shù)據(jù), 大模型訓(xùn)練需要高質(zhì)量數(shù)據(jù)集, 今天的天氣真不錯(cuò), ] lsh, minhashes build_lsh(docs) # 查詢(xún)每個(gè)文檔的近似重復(fù) for key, m in minhashes.items(): result lsh.query(m) if len(result) 1: print(f{key} 與 {result} 近似重復(fù))對(duì)于精讀項(xiàng)目可以進(jìn)一步做embedding級(jí)別的語(yǔ)義去重用CLIP、bge或text-embedding模型把文本向量化然后計(jì)算相似度矩陣將相似度超過(guò)閾值的文檔合并或丟棄。5.4 數(shù)據(jù)切塊Chunking的策略RAG系統(tǒng)里切塊大小直接影響檢索效果。常見(jiàn)誤區(qū)是全庫(kù)統(tǒng)一用固定長(zhǎng)度切分。實(shí)際上切塊策略應(yīng)該結(jié)合文檔結(jié)構(gòu)判斷。比如有標(biāo)題結(jié)構(gòu)的文檔按標(biāo)題層級(jí)切分。表格數(shù)據(jù)按行/列語(yǔ)義合并。代碼文件按函數(shù)/類(lèi)切分。長(zhǎng)對(duì)話(huà)按輪次切分。一個(gè)混合切塊示例# chunker.py from typing import List, Dict def chunk_by_headings(text: str, max_chunk_size: int 1000) - List[Dict[str, str]]: lines text.split(\n) chunks [] current_chunk [] current_title section for line in lines: if line.startswith(#) and current_chunk: content \n.join(current_chunk).strip() if content: chunks.append({title: current_title, content: content}) current_title line.lstrip(#).strip() current_chunk [line] else: current_chunk.append(line) if len(\n.join(current_chunk)) max_chunk_size: content \n.join(current_chunk).strip() if content: chunks.append({title: current_title, content: content}) current_chunk [] if current_chunk: content \n.join(current_chunk).strip() if content: chunks.append({title: current_title, content: content}) return chunks if __name__ __main__: markdown_text # 第一章 什么是數(shù)據(jù)治理 數(shù)據(jù)治理是一個(gè)長(zhǎng)期工程。 ## 1.1 元數(shù)據(jù)管理 元數(shù)據(jù)是數(shù)據(jù)的數(shù)據(jù)。 # 第二章 數(shù)據(jù)質(zhì)量 數(shù)據(jù)質(zhì)量包括準(zhǔn)確性、完整性、一致性。 for chunk in chunk_by_headings(markdown_text): print(chunk[title], -, chunk[content][:30])生產(chǎn)環(huán)境中還需要考慮chunk之間的重疊避免切塊切斷了關(guān)鍵上下文。通常重疊1-2個(gè)句子即可。5.5 數(shù)據(jù)版本管理與血緣數(shù)據(jù)一旦進(jìn)入訓(xùn)練流程任何修改都可能影響模型效果。如果沒(méi)有版本管理你很難回答“這個(gè)模型是用哪一版數(shù)據(jù)訓(xùn)練的”這個(gè)問(wèn)題。推薦使用DVCData Version Control對(duì)數(shù)據(jù)集進(jìn)行版本管理它類(lèi)似Git但針對(duì)的是大文件?；玖鞒? 初始化倉(cāng)庫(kù)和 DVC git init dvc init # 添加數(shù)據(jù)目錄生成 .dvc 文件 dvc add data/raw_docs git add data/raw_docs.dvc .gitignore git commit -m add raw docs v1 # 切換分支或回滾到舊版本 git checkout commit_id -- data/raw_docs.dvc dvc checkout同時(shí)在每次數(shù)據(jù)清洗處理時(shí)建議在輸出數(shù)據(jù)集中寫(xiě)入一行 provenance來(lái)源信息{ version: 2025.06.01, source_files: [normalized_docs/abc.json, normalized_docs/def.json], clean_pipeline: clean_text.py:v1.2, dedup: minhash_dedup.py:v0.9, created_by: data_team }這樣當(dāng)模型表現(xiàn)異常時(shí)你能快速定位是哪一次數(shù)據(jù)處理改動(dòng)導(dǎo)致的。6. 數(shù)據(jù)飛輪讓數(shù)據(jù)越來(lái)越值錢(qián)的工程機(jī)制字節(jié)獨(dú)立數(shù)據(jù)部門(mén)目標(biāo)絕不只是做一次性數(shù)據(jù)集而是要建立數(shù)據(jù)飛輪。數(shù)據(jù)飛輪的核心邏輯是AI系統(tǒng)在使用過(guò)程中會(huì)產(chǎn)生新的交互數(shù)據(jù)這些數(shù)據(jù)經(jīng)過(guò)篩選、清洗和標(biāo)注之后重新進(jìn)入訓(xùn)練集持續(xù)提升模型能力模型能力提升后又帶來(lái)更多用戶(hù)產(chǎn)生更多數(shù)據(jù)。飛輪聽(tīng)起來(lái)很美好落地卻很難。難點(diǎn)在于不能把用戶(hù)的原始輸入直接當(dāng)訓(xùn)練數(shù)據(jù)需要去除個(gè)人隱私信息。需要設(shè)計(jì)采樣策略只收集那些能糾正模型錯(cuò)誤的高價(jià)值數(shù)據(jù)。需要建立人工或自動(dòng)標(biāo)注流程把原始交互轉(zhuǎn)換成指令格式。需要控制數(shù)據(jù)腐爛即舊數(shù)據(jù)可能過(guò)時(shí)需要定期清理。一個(gè)實(shí)際的飛輪管道可能長(zhǎng)這樣用戶(hù)提問(wèn) - 模型回答 - 用戶(hù)反饋點(diǎn)贊/點(diǎn)踩/修改 - 篩選出低質(zhì)量回答 - 重新生成正確答案 - 人工抽檢 - 寫(xiě)入微調(diào)數(shù)據(jù)集 - 定期微調(diào)模型 - 新模型上線(xiàn) - 產(chǎn)生新反饋。實(shí)現(xiàn)這個(gè)管道你需要一個(gè)日志系統(tǒng)記錄交互一個(gè)消息隊(duì)列異步處理一個(gè)標(biāo)注/審核平臺(tái)以及模型版本管理。對(duì)于小團(tuán)隊(duì)可以先用Notion或Airtable做標(biāo)注用Python腳本定期從數(shù)據(jù)庫(kù)導(dǎo)出數(shù)據(jù)并格式化。這里我給出一個(gè)從用戶(hù)反饋中篩選數(shù)據(jù)的最小示例# build_finetune_data.py import json from datetime import datetime, timedelta def extract_feedback_rows(db_connection, since: datetime): query SELECT id, user_query, bot_response, user_rating, revised_answer FROM ai_interaction_logs WHERE created_at %s AND user_query IS NOT NULL AND (user_rating bad OR revised_answer IS NOT NULL) with db_connection.cursor() as cursor: cursor.execute(query, (since,)) return cursor.fetchall() def convert_to_instruction(rows): instructions [] for row in rows: question row[user_query] if row[revised_answer]: answer row[revised_answer] else: # 這里應(yīng)該調(diào)用一個(gè)更強(qiáng)的模型或者人工重寫(xiě)答案不能使用原錯(cuò)誤回答 answer # 占位后續(xù)走人工標(biāo)注隊(duì)列 instructions.append({ instruction: 請(qǐng)回答用戶(hù)的問(wèn)題。, input: question, output: answer, }) return instructions if __name__ __main__: # 偽代碼實(shí)際連接數(shù)據(jù)庫(kù) rows [] with open(feedback_log.json, r, encodingutf-8) as f: rows json.load(f) instructions convert_to_instruction(rows) with open(finetune_data.jsonl, w, encodingutf-8) as f: for item in instructions: if item[output]: # 只保留有正確答案的樣本 f.write(json.dumps(item, ensure_asciiFalse) \n)注意從用戶(hù)反饋里直接拿答案是有風(fēng)險(xiǎn)的。用戶(hù)修改后的回答不一定正確所以必須經(jīng)過(guò)抽檢。數(shù)據(jù)飛輪的關(guān)鍵不是自動(dòng)而是“有質(zhì)量門(mén)檻的自動(dòng)”。7. 數(shù)據(jù)評(píng)測(cè)沒(méi)有評(píng)測(cè)集一切優(yōu)化都是空談很多團(tuán)隊(duì)投入大量精力構(gòu)建訓(xùn)練數(shù)據(jù)卻忽略了評(píng)測(cè)數(shù)據(jù)。字節(jié)數(shù)據(jù)部門(mén)如果只是建數(shù)據(jù)和清洗數(shù)據(jù)而不定義評(píng)測(cè)標(biāo)準(zhǔn)那模型方向就難以控制。評(píng)測(cè)數(shù)據(jù)應(yīng)該是獨(dú)立的、靜態(tài)的、與訓(xùn)練數(shù)據(jù)隔離的。評(píng)測(cè)集至少要覆蓋四類(lèi)能力領(lǐng)域知識(shí)問(wèn)答檢驗(yàn)?zāi)Ｐ蛯?duì)業(yè)務(wù)知識(shí)的掌握。指令遵循檢驗(yàn)?zāi)Ｐ湍芊癜磸?fù)雜指令執(zhí)行。格式輸出檢驗(yàn)?zāi)Ｐ湍芊穹€(wěn)定輸出JSON、Markdown等格式。對(duì)抗樣本檢驗(yàn)?zāi)Ｐ蛯?duì)誘導(dǎo)、歧義、噪聲的魯棒性。一個(gè)簡(jiǎn)單但有效的做法是用Git維護(hù)評(píng)測(cè)集版本并在每次模型迭代后記錄評(píng)測(cè)結(jié)果。# evaluate.py import json from openai import OpenAI # 以 OpenAI 兼容接口為例實(shí)際項(xiàng)目請(qǐng)?zhí)鎿Q成你的模型 endpoint client OpenAI(base_urlhttp://localhost:8000/v1, api_keyEMPTY) def evaluate_model(eval_path: str, model: str) - dict: with open(eval_path, r, encodingutf-8) as f: cases json.load(f) hit 0 for case in cases: prompt case[prompt] expected case[expected] response client.chat.completions.create( modelmodel, messages[{role: user, content: prompt}], temperature0, ) answer response.choices[0].message.content.strip() # 簡(jiǎn)單判斷期望關(guān)鍵詞是否出現(xiàn)在答案中 if expected in answer: hit 1 return {total: len(cases), hit: hit, accuracy: hit / len(cases)} if __name__ __main__: result evaluate_model(eval_sets/v1.0.json, your-model-name) print(評(píng)測(cè)結(jié)果:, result)生產(chǎn)級(jí)評(píng)測(cè)還需要考慮答案公平性、多選判斷、模糊匹配等但核心思想一致評(píng)測(cè)集必須固定才能對(duì)比不同版本。8. 常見(jiàn)數(shù)據(jù)工程問(wèn)題與排查思路在搭建AI數(shù)據(jù)管道時(shí)常見(jiàn)問(wèn)題其實(shí)非常集中。下面整理成一張表方便快速檢索問(wèn)題現(xiàn)象可能原因排查方式解決方案模型微調(diào)后效果不如base訓(xùn)練集包含劣質(zhì)數(shù)據(jù)或標(biāo)簽噪聲抽樣查看訓(xùn)練集計(jì)算每條數(shù)據(jù)與標(biāo)簽的相關(guān)性清洗數(shù)據(jù)剔除錯(cuò)誤標(biāo)簽提高標(biāo)注一致性RAG檢索結(jié)果相關(guān)但生成答案差檢索出的chunk內(nèi)容互相沖突或過(guò)時(shí)打印檢索結(jié)果檢查chunk是否包含矛盾信息更新源數(shù)據(jù)增加文檔有效期字段過(guò)濾過(guò)期內(nèi)容訓(xùn)練loss下降但評(píng)測(cè)集分?jǐn)?shù)不變訓(xùn)練集與評(píng)測(cè)集分布不一致分析訓(xùn)練集和評(píng)測(cè)集的詞匯/主題分布補(bǔ)充多樣化數(shù)據(jù)擴(kuò)大評(píng)測(cè)集覆蓋語(yǔ)義去重把不同文檔誤刪embedding模型不適合該領(lǐng)域抽樣查看被去重文檔計(jì)算人工相似度調(diào)整相似度閾值或換領(lǐng)域微調(diào)的embedding模型處理大數(shù)據(jù)集OOM一次性讀入內(nèi)存查看代碼是否使用read().splitlines()等內(nèi)存大的操作改用line-by-line或Spark/Dask數(shù)據(jù)版本混亂手動(dòng)復(fù)制覆蓋數(shù)據(jù)集文件檢查是否有多個(gè)data副本目錄使用DVC 對(duì)象存儲(chǔ)做版本管理標(biāo)注結(jié)果不一致標(biāo)注規(guī)范不清晰統(tǒng)計(jì)標(biāo)注員之間的重合率編寫(xiě)標(biāo)注手冊(cè)定期校準(zhǔn)用投票機(jī)制決定最終標(biāo)簽排查數(shù)據(jù)問(wèn)題最核心的方法是“先定位到樣本”。不要只看loss或accuracy要抽幾條錯(cuò)誤樣例反向分析是數(shù)據(jù)本身的問(wèn)題還是模型的問(wèn)題。9. 給不同規(guī)模團(tuán)隊(duì)的數(shù)據(jù)工程建議9.1 個(gè)人開(kāi)發(fā)者和獨(dú)立項(xiàng)目如果你只是自己做個(gè)AI應(yīng)用或研究項(xiàng)目不需要完整的平臺(tái)但至少要養(yǎng)成三個(gè)習(xí)慣數(shù)據(jù)不直接覆蓋每次清洗前保留一份raw數(shù)據(jù)。數(shù)據(jù)集版本化哪怕只是用git管理jsonl文件也要能追溯。實(shí)驗(yàn)記錄每次微調(diào)或RAG改動(dòng)時(shí)記錄用的什么數(shù)據(jù)、怎么清洗、怎么切塊?？梢杂靡粋€(gè)簡(jiǎn)單的目錄結(jié)構(gòu)project/ ├── raw/ # 原始數(shù)據(jù)只讀 ├── normalized/ # 歸一化后的數(shù)據(jù) ├── cleansed/ # 清洗去重后的數(shù)據(jù) ├── chunks/ # 切塊后的數(shù)據(jù) ├── eval_sets/ # 評(píng)測(cè)集 └── configs/ # 數(shù)據(jù)處理配置9.2 中小型團(tuán)隊(duì)建議成立一個(gè)“數(shù)據(jù)小組”或讓專(zhuān)人負(fù)責(zé)數(shù)據(jù)工程。不需要搞很大的平臺(tái)優(yōu)先打通三件事數(shù)據(jù)采集和歸一化的自動(dòng)化定時(shí)任務(wù) 統(tǒng)一schema。數(shù)據(jù)質(zhì)量監(jiān)控字符數(shù)、重復(fù)率、樣本量、字段完整性。生成數(shù)據(jù)集的流程化清洗 - 切塊 - 向量化 - 入庫(kù)每一步輸出版本號(hào)。工具選型上如果不是超大規(guī)模可以先用Python HuggingFace Datasets DVC Airflow。這些工具學(xué)習(xí)成本相對(duì)低社區(qū)資料多。9.3 大型團(tuán)隊(duì)字節(jié)成立一級(jí)數(shù)據(jù)部門(mén)說(shuō)明大型團(tuán)隊(duì)確實(shí)需要獨(dú)立的組織來(lái)定義數(shù)據(jù)標(biāo)準(zhǔn)和工具鏈。但大團(tuán)隊(duì)容易落入“重平臺(tái)輕內(nèi)容”的誤區(qū)。真正有價(jià)值的是數(shù)據(jù)集本身而不是平臺(tái)。所以即便組織龐大也要確保每條數(shù)據(jù)都能追溯到源頭每個(gè)模型都能關(guān)聯(lián)到具體數(shù)據(jù)版本。10. 總結(jié)像字節(jié)一樣思考數(shù)據(jù)字節(jié)成立AI數(shù)據(jù)一級(jí)部門(mén)不是簡(jiǎn)單的組織比拼。它背后是一個(gè)技術(shù)判斷數(shù)據(jù)工程是大模型下半場(chǎng)的基礎(chǔ)設(shè)施誰(shuí)能把數(shù)據(jù)質(zhì)量、數(shù)據(jù)版本、數(shù)據(jù)飛輪做扎實(shí)誰(shuí)就能持續(xù)迭代出更好的模型和應(yīng)用。對(duì)普通開(kāi)發(fā)者而言現(xiàn)在正是把“數(shù)據(jù)”當(dāng)成第一等公民來(lái)對(duì)待的時(shí)候。不需要等到你有幾TB數(shù)據(jù)才去搞治理從第一個(gè)RAG項(xiàng)目開(kāi)始就應(yīng)該把數(shù)據(jù)清洗、去重、評(píng)測(cè)集、版本管理做到位。這些能力會(huì)在你進(jìn)入更復(fù)雜的AI項(xiàng)目時(shí)釋放價(jià)值。最后提醒一點(diǎn)數(shù)據(jù)工作往往是枯燥的不像調(diào)參和看模型結(jié)構(gòu)那么“性感”。但正是這些枯燥的清洗、去重、標(biāo)注、版本控制工作最終決定了你的模型是聰明還是僵硬。字節(jié)用一級(jí)部門(mén)告訴行業(yè)數(shù)據(jù)值得被認(rèn)真對(duì)待。接下來(lái)你也可以在自己的項(xiàng)目里認(rèn)真對(duì)待它。 字節(jié)成立AI數(shù)據(jù)部門(mén)，數(shù)據(jù)工程成模型能力新天花板
2025年之后AI大模型領(lǐng)域的競(jìng)爭(zhēng)已經(jīng)從“拼模型結(jié)構(gòu)”轉(zhuǎn)向“拼數(shù)據(jù)質(zhì)量”。字節(jié)跳動(dòng)近期將AI業(yè)務(wù)的組織架構(gòu)進(jìn)一步收緊繼Seed大模型團(tuán)隊(duì)、FlowAI應(yīng)用團(tuán)隊(duì)之后又成立了一個(gè)專(zhuān)門(mén)面向數(shù)據(jù)的一級(jí)部門(mén)直接回應(yīng)了“數(shù)據(jù)是AI核心競(jìng)爭(zhēng)力”這一關(guān)鍵命題。這件事表面看是大廠(chǎng)組織調(diào)整背后其實(shí)是整個(gè)行業(yè)對(duì)數(shù)據(jù)處理、數(shù)據(jù)治理和數(shù)據(jù)集構(gòu)建方式的重新定義。這篇文章不談八卦只談技術(shù)判斷。我會(huì)從字節(jié)這個(gè)動(dòng)作出發(fā)拆解三個(gè)問(wèn)題為什么數(shù)據(jù)部門(mén)要獨(dú)立成一級(jí)部門(mén)數(shù)據(jù)工程在AI鏈路里到底卡在哪些環(huán)節(jié)普通開(kāi)發(fā)者和團(tuán)隊(duì)能從中借鑒哪些可落地的數(shù)據(jù)基礎(chǔ)設(shè)施方法論如果你正在做大模型應(yīng)用、RAG系統(tǒng)、模型微調(diào)或Agent開(kāi)發(fā)這篇文章里提到的數(shù)據(jù)清洗、數(shù)據(jù)版本管理、評(píng)測(cè)集構(gòu)建、數(shù)據(jù)飛輪等思路可以直接拿回自己的項(xiàng)目里用。1. 字節(jié)成立AI數(shù)據(jù)部門(mén)背后是對(duì)AI競(jìng)爭(zhēng)本質(zhì)的一次重新定價(jià)很多人看到“字節(jié)成立AI數(shù)據(jù)部門(mén)”的第一反應(yīng)是字節(jié)又在搞組織架構(gòu)調(diào)整。但從技術(shù)視角看這次調(diào)整的信息量遠(yuǎn)大于組織本身。Seed負(fù)責(zé)基礎(chǔ)模型Flow負(fù)責(zé)AI原生應(yīng)用而數(shù)據(jù)部門(mén)獨(dú)立出來(lái)說(shuō)明字節(jié)已經(jīng)意識(shí)到數(shù)據(jù)不是模型的附屬品而是和模型、應(yīng)用并列的第三極。過(guò)去幾年大模型的發(fā)展邏輯是“規(guī)模法則”模型越大、數(shù)據(jù)越多效果越好。但到了2024年以后大家發(fā)現(xiàn)一個(gè)問(wèn)題公開(kāi)互聯(lián)網(wǎng)的高質(zhì)量文本數(shù)據(jù)快被“挖空”了。各家訓(xùn)練數(shù)據(jù)集的重復(fù)率越來(lái)越高模型之間的差異越來(lái)越小。這時(shí)候誰(shuí)能構(gòu)建更高質(zhì)量、更獨(dú)特、更結(jié)構(gòu)化、更貼合業(yè)務(wù)場(chǎng)景的數(shù)據(jù)集誰(shuí)就能在模型效果上拉開(kāi)差距。字節(jié)這個(gè)動(dòng)作等于把“數(shù)據(jù)”從后臺(tái)職能提升到了戰(zhàn)略級(jí)部門(mén)。這背后的技術(shù)邏輯是數(shù)據(jù)已經(jīng)不只是訓(xùn)練時(shí)的“燃料”而是貫穿模型預(yù)訓(xùn)練、監(jiān)督微調(diào)、對(duì)齊、評(píng)測(cè)、知識(shí)更新、Agent工具調(diào)用的全鏈路基礎(chǔ)設(shè)施。數(shù)據(jù)部門(mén)的獨(dú)立意味著字節(jié)要用專(zhuān)業(yè)團(tuán)隊(duì)專(zhuān)門(mén)處理數(shù)據(jù)采集、清洗、去重、標(biāo)注、配比、版本管理、質(zhì)量評(píng)估這些臟活累活。對(duì)我們普通開(kāi)發(fā)者的啟示是如果你還在靠“爬點(diǎn)公開(kāi)數(shù)據(jù)直接灌給模型”的方式做應(yīng)用很快會(huì)被數(shù)據(jù)工程能力拉開(kāi)差距。這不是說(shuō)個(gè)人需要做一個(gè)龐大的數(shù)據(jù)團(tuán)隊(duì)而是要在自己的項(xiàng)目里建立“數(shù)據(jù)治理”的最小閉環(huán)。2. 大模型時(shí)代的數(shù)據(jù)不再只是“存起來(lái)”的數(shù)據(jù)先厘清一個(gè)概念。傳統(tǒng)軟件工程里數(shù)據(jù)管理關(guān)注的是結(jié)構(gòu)化數(shù)據(jù)、事務(wù)一致性、查詢(xún)性能技術(shù)棧是MySQL、Redis、Kafka、Hadoop這些。大模型時(shí)代的數(shù)據(jù)至少包含四種形態(tài)每一種都有完全不同的工程技術(shù)難點(diǎn)。第一種是預(yù)訓(xùn)練語(yǔ)料。這類(lèi)數(shù)據(jù)量級(jí)最大動(dòng)輒幾十TB甚至PB級(jí)別來(lái)源是網(wǎng)頁(yè)、書(shū)籍、論文、代碼、音視頻字幕。難點(diǎn)不是存而是清洗和去重。一個(gè)網(wǎng)頁(yè)里有大量導(dǎo)航欄、廣告、重復(fù)段落如果直接喂給模型模型學(xué)到的是噪聲而不是知識(shí)。第二種是指令數(shù)據(jù)。這是微調(diào)和對(duì)齊的關(guān)鍵。比如“請(qǐng)幫我總結(jié)這篇文章”對(duì)應(yīng)的期望輸出是“這篇文章主要講了……”。這類(lèi)數(shù)據(jù)通常是人工標(biāo)注或從用戶(hù)反饋中挖掘量級(jí)比預(yù)訓(xùn)練語(yǔ)料小很多但質(zhì)量要求極高。一條壞的指令數(shù)據(jù)可能讓模型學(xué)會(huì)錯(cuò)誤行為。第三種是評(píng)測(cè)數(shù)據(jù)。這是最容易被忽視的一類(lèi)。沒(méi)有評(píng)測(cè)集你就無(wú)法量化模型升級(jí)前后的效果變化。很多團(tuán)隊(duì)做模型微調(diào)時(shí)覺(jué)得loss下降了就是效果好結(jié)果一上線(xiàn)實(shí)測(cè)模型反而變笨了。原因就是評(píng)測(cè)集覆蓋度不夠或者評(píng)測(cè)集本身和訓(xùn)練集有重疊。第四種是業(yè)務(wù)數(shù)據(jù)/知識(shí)數(shù)據(jù)。這是企業(yè)私有數(shù)據(jù)也是RAG檢索增強(qiáng)生成的核心。包括產(chǎn)品文檔、客服記錄、數(shù)據(jù)庫(kù)內(nèi)容、結(jié)構(gòu)化知識(shí)圖譜等。難點(diǎn)在于如何把非結(jié)構(gòu)化數(shù)據(jù)拆成適合檢索的塊如何做向量化如何保持?jǐn)?shù)據(jù)更新。字節(jié)獨(dú)立數(shù)據(jù)部門(mén)本質(zhì)上就是把這四類(lèi)數(shù)據(jù)的能力統(tǒng)一收攏。而在我們自己的項(xiàng)目里也應(yīng)該按這四個(gè)維度去規(guī)劃數(shù)據(jù)工作而不是籠統(tǒng)地說(shuō)“我們有很多數(shù)據(jù)”。3. 數(shù)據(jù)質(zhì)量為什么成為模型能力的天花板2023年的時(shí)候業(yè)界流行一句話(huà)數(shù)據(jù)和模型是“垃圾進(jìn)垃圾出”。現(xiàn)在這個(gè)說(shuō)法已經(jīng)不夠準(zhǔn)確了更準(zhǔn)確的說(shuō)法是數(shù)據(jù)質(zhì)量決定了模型能力的上限模型架構(gòu)決定的是逼近這個(gè)上限的效率。為什么要強(qiáng)調(diào)這一點(diǎn)因?yàn)楹芏鄨F(tuán)隊(duì)在微調(diào)模型時(shí)花了大量時(shí)間調(diào)學(xué)習(xí)率、調(diào)LoRA rank、試各種prompt模板但最終效果不如別人一個(gè)干凈的數(shù)據(jù)集。原因在于模型參數(shù)只是把數(shù)據(jù)里的規(guī)律固化下來(lái)數(shù)據(jù)里沒(méi)有的規(guī)律模型再怎么調(diào)參也學(xué)不出來(lái)。舉個(gè)例子。如果你做客服場(chǎng)景的模型微調(diào)收集了10000條客服對(duì)話(huà)。但里面的用戶(hù)問(wèn)題大多雷同真實(shí)場(chǎng)景中的長(zhǎng)尾問(wèn)題只占5%。模型訓(xùn)練完之后常見(jiàn)問(wèn)題回答得很好一旦用戶(hù)換個(gè)說(shuō)法模型就答非所問(wèn)。這不是模型不夠聰明而是數(shù)據(jù)覆蓋度不夠。再比如做RAG系統(tǒng)時(shí)知識(shí)庫(kù)文檔里有大量重復(fù)段落、過(guò)時(shí)內(nèi)容、格式混亂的表格。檢索模塊把相關(guān)片段撈出來(lái)后生成模塊基于這些噪聲內(nèi)容做總結(jié)結(jié)果自然不理想。很多人以為是embedding模型選得不好實(shí)際是源數(shù)據(jù)沒(méi)有做清洗和治理。字節(jié)數(shù)據(jù)部門(mén)的獨(dú)立傳遞的一個(gè)重要信號(hào)就是以后評(píng)判一個(gè)AI團(tuán)隊(duì)的能力不能只看模型榜單分?jǐn)?shù)還要看這個(gè)團(tuán)隊(duì)的數(shù)據(jù)構(gòu)建、清洗、評(píng)測(cè)、迭代能力。而數(shù)據(jù)能力是可以積累的一旦形成“數(shù)據(jù)飛輪”效應(yīng)后來(lái)者很難追上。4. 從組織調(diào)整看技術(shù)趨勢(shì)數(shù)據(jù)工程正在成為AI的核心崗位如果你關(guān)注招聘市場(chǎng)會(huì)發(fā)現(xiàn)“數(shù)據(jù)工程師”和“AI數(shù)據(jù)工程師”的需求量在持續(xù)上升。傳統(tǒng)的BI數(shù)據(jù)工程師偏向報(bào)表、數(shù)倉(cāng)、ETL而AI方向的數(shù)據(jù)工程師需要理解模型訓(xùn)練邏輯、tokenizer、embedding、數(shù)據(jù)去重算法、指令數(shù)據(jù)構(gòu)建、評(píng)估集設(shè)計(jì)。字節(jié)把數(shù)據(jù)部門(mén)提升為一級(jí)部門(mén)會(huì)帶來(lái)一個(gè)連鎖反應(yīng)其他大廠(chǎng)也會(huì)跟進(jìn)行業(yè)對(duì)數(shù)據(jù)工程崗位的定價(jià)會(huì)水漲船高。對(duì)開(kāi)發(fā)者來(lái)說(shuō)現(xiàn)在學(xué)習(xí)AI數(shù)據(jù)工程相當(dāng)于2008年學(xué)習(xí)移動(dòng)開(kāi)發(fā)屬于提前卡位。AI數(shù)據(jù)工程師需要掌握的技能包括大規(guī)模文本處理如使用Spark、Dask處理TB級(jí)數(shù)據(jù)、數(shù)據(jù)去重算法如MinHash、SimHash、語(yǔ)義去重基于embedding的聚類(lèi)、數(shù)據(jù)標(biāo)注流程設(shè)計(jì)、質(zhì)量評(píng)估指標(biāo)體系、數(shù)據(jù)版本管理如DVC、數(shù)據(jù)流水線(xiàn)編排如Airflow、Prefect、以及面向大模型的數(shù)據(jù)配比實(shí)驗(yàn)方法。這些技能和傳統(tǒng)后端開(kāi)發(fā)、算法工程師有交叉但側(cè)重點(diǎn)不同。傳統(tǒng)算法工程師關(guān)心模型結(jié)構(gòu)AI數(shù)據(jù)工程師關(guān)心數(shù)據(jù)如何影響模型行為。這種“數(shù)據(jù)即代碼”的思維方式正是字節(jié)這次調(diào)整想強(qiáng)調(diào)的。5. 構(gòu)建你自己的AI數(shù)據(jù)基礎(chǔ)設(shè)施從清洗到版本管理不管你是不是字節(jié)員工這套數(shù)據(jù)方法論都可以落到自己的項(xiàng)目里。下面我以一個(gè)典型的大模型知識(shí)庫(kù)項(xiàng)目為例演示如何從零構(gòu)建一個(gè)最小可用的AI數(shù)據(jù)流水線(xiàn)。5.1 數(shù)據(jù)采集與歸一化假設(shè)你要做一個(gè)企業(yè)內(nèi)部知識(shí)庫(kù)問(wèn)答機(jī)器人。數(shù)據(jù)來(lái)源可能有內(nèi)部Wiki頁(yè)面HTML產(chǎn)品文檔Markdown/PDF歷史客服工單Excel/CSV工單留言JSON第一步把所有格式統(tǒng)一轉(zhuǎn)成純文本或Markdown并保留元數(shù)據(jù)來(lái)源、更新時(shí)間、作者、權(quán)限。下面是一個(gè)用Python做最小歸一化的示例# normalize_docs.py import json import hashlib from pathlib import Path from bs4 import BeautifulSoup import markdownify def html_to_markdown(html_content: str) - str: soup BeautifulSoup(html_content, html.parser) # 去掉 script 和 style 中的內(nèi)容 for tag in soup([script, style, nav, footer]): tag.decompose() return markdownify.MarkdownConverter().convert_html(soup.prettify()) def process_document(raw_path: Path, output_path: Path) - None: suffix raw_path.suffix.lower() if suffix .html: text html_to_markdown(raw_path.read_text(encodingutf-8)) elif suffix .md: text raw_path.read_text(encodingutf-8) elif suffix .json: data json.loads(raw_path.read_text(encodingutf-8)) # 假設(shè) JSON 里有一個(gè) content 字段 text data.get(content, ) else: text raw_path.read_text(encodingutf-8) doc { source: str(raw_path), text: text, chars: len(text), sha256: hashlib.sha256(text.encode(utf-8)).hexdigest(), } output_path.write_text(json.dumps(doc, ensure_asciiFalse, indent2), encodingutf-8) if __name__ __main__: raw_dir Path(./raw_docs) out_dir Path(./normalized_docs) out_dir.mkdir(exist_okTrue) for raw_file in raw_dir.rglob(*): if raw_file.is_file() and raw_file.suffix.lower() in (.html, .md, .json, .txt): output_file out_dir / f{raw_file.stem}.json process_document(raw_file, output_file) print(歸一化完成輸出目錄:, out_dir)這段代碼做的事情很簡(jiǎn)單但解決了大問(wèn)題不同來(lái)源的文檔有了統(tǒng)一的JSON結(jié)構(gòu)后續(xù)清洗、切塊、向量化都用這個(gè)統(tǒng)一格式而不是每種數(shù)據(jù)寫(xiě)一套解析邏輯。5.2 清洗規(guī)則去掉噪聲保留語(yǔ)義單元清洗不是簡(jiǎn)單地把空行刪掉。對(duì)于LLM場(chǎng)景清洗要考慮以下幾點(diǎn)去掉頁(yè)眉頁(yè)腳、導(dǎo)航、版權(quán)聲明等重復(fù)性字符串。去除HTML標(biāo)簽中的隱藏內(nèi)容。合并被截?cái)嗟亩温洹Ｈブ匕ň_去重和語(yǔ)義去重。過(guò)濾質(zhì)量過(guò)低的內(nèi)容如字符數(shù)過(guò)短、亂碼、無(wú)標(biāo)點(diǎn)段落。一個(gè)實(shí)用的清洗函數(shù)如下# clean_text.py import re def clean_text(text: str) - str: # 去掉不可見(jiàn)字符和亂碼 text re.sub(r[\x00-\x08\x0b\x0c\x0e-\x1f], , text) # 把多個(gè)空行壓縮為一個(gè) text re.sub(r\n{3,}, \n\n, text) # 去掉常見(jiàn)的頁(yè)眉頁(yè)腳模式這里按需調(diào)整 text re.sub(r(?m)^\s*(版權(quán)所有|Copyright|隱私政策|上一篇|下一篇)\s*$, , text) # 去掉多余空格 text re.sub(r[ \t]{2,}, , text) # 保留中文、英文、數(shù)字、常見(jiàn)標(biāo)點(diǎn)其他換成空格 text re.sub(r[^\u4e00-\u9fff\u0030-\u0039\u0041-\u005a\u0061-\u007a\u3000-\u303f\uff00-\uffef\s.,!?;:()\-], , text) # 再次壓縮空白 text re.sub(r\s, , text).strip() return text if __name__ __main__: sample 這是測(cè)試。\n\n\n\n版權(quán)所有XXX\n\n應(yīng)該保留的內(nèi)容。 print(clean_text(sample))注意清洗規(guī)則不能一刀切。比如代碼文檔里可能包含-、、{}這樣的符號(hào)直接正則替換會(huì)把代碼語(yǔ)義破壞。所以針對(duì)不同來(lái)源的數(shù)據(jù)應(yīng)該維護(hù)不同的清洗規(guī)則并保留清洗前版本方便回溯。5.3 數(shù)據(jù)去重MinHash與語(yǔ)義去重大模型訓(xùn)練和RAG檢索對(duì)重復(fù)數(shù)據(jù)都非常敏感。訓(xùn)練集重復(fù)度過(guò)高會(huì)導(dǎo)致模型記憶嚴(yán)重、泛化能力下降RAG知識(shí)庫(kù)里重復(fù)文檔會(huì)導(dǎo)致檢索結(jié)果冗余浪費(fèi)上下文窗口。精確去重可以用哈希但很多重復(fù)是“近似重復(fù)”比如兩篇文章只有幾個(gè)詞不同。推薦用MinHash LSH做大規(guī)模去重這里給一個(gè)簡(jiǎn)化版# minhash_dedup.py import hashlib from datasketch import MinHashLSH, MinHash def tokenize(text: str) - set: # 簡(jiǎn)單中文分詞按字符 n-gram或使用 jieba import jieba return set(jieba.cut_for_search(text)) def build_lsh(docs, threshold0.8, num_perm128): lsh MinHashLSH(thresholdthreshold, num_permnum_perm) minhashes {} for idx, doc in enumerate(docs): m MinHash(num_permnum_perm) for token in tokenize(doc): m.update(token.encode(utf-8)) lsh.insert(fdoc_{idx}, m) minhashes[fdoc_{idx}] m return lsh, minhashes if __name__ __main__: docs [ 大模型訓(xùn)練需要高質(zhì)量數(shù)據(jù), 大模型訓(xùn)練需要高質(zhì)量數(shù)據(jù)集, 今天的天氣真不錯(cuò), ] lsh, minhashes build_lsh(docs) # 查詢(xún)每個(gè)文檔的近似重復(fù) for key, m in minhashes.items(): result lsh.query(m) if len(result) 1: print(f{key} 與 {result} 近似重復(fù))對(duì)于精讀項(xiàng)目可以進(jìn)一步做embedding級(jí)別的語(yǔ)義去重用CLIP、bge或text-embedding模型把文本向量化然后計(jì)算相似度矩陣將相似度超過(guò)閾值的文檔合并或丟棄。5.4 數(shù)據(jù)切塊Chunking的策略RAG系統(tǒng)里切塊大小直接影響檢索效果。常見(jiàn)誤區(qū)是全庫(kù)統(tǒng)一用固定長(zhǎng)度切分。實(shí)際上切塊策略應(yīng)該結(jié)合文檔結(jié)構(gòu)判斷。比如有標(biāo)題結(jié)構(gòu)的文檔按標(biāo)題層級(jí)切分。表格數(shù)據(jù)按行/列語(yǔ)義合并。代碼文件按函數(shù)/類(lèi)切分。長(zhǎng)對(duì)話(huà)按輪次切分。一個(gè)混合切塊示例# chunker.py from typing import List, Dict def chunk_by_headings(text: str, max_chunk_size: int 1000) - List[Dict[str, str]]: lines text.split(\n) chunks [] current_chunk [] current_title section for line in lines: if line.startswith(#) and current_chunk: content \n.join(current_chunk).strip() if content: chunks.append({title: current_title, content: content}) current_title line.lstrip(#).strip() current_chunk [line] else: current_chunk.append(line) if len(\n.join(current_chunk)) max_chunk_size: content \n.join(current_chunk).strip() if content: chunks.append({title: current_title, content: content}) current_chunk [] if current_chunk: content \n.join(current_chunk).strip() if content: chunks.append({title: current_title, content: content}) return chunks if __name__ __main__: markdown_text # 第一章 什么是數(shù)據(jù)治理 數(shù)據(jù)治理是一個(gè)長(zhǎng)期工程。 ## 1.1 元數(shù)據(jù)管理 元數(shù)據(jù)是數(shù)據(jù)的數(shù)據(jù)。 # 第二章 數(shù)據(jù)質(zhì)量 數(shù)據(jù)質(zhì)量包括準(zhǔn)確性、完整性、一致性。 for chunk in chunk_by_headings(markdown_text): print(chunk[title], -, chunk[content][:30])生產(chǎn)環(huán)境中還需要考慮chunk之間的重疊避免切塊切斷了關(guān)鍵上下文。通常重疊1-2個(gè)句子即可。5.5 數(shù)據(jù)版本管理與血緣數(shù)據(jù)一旦進(jìn)入訓(xùn)練流程任何修改都可能影響模型效果。如果沒(méi)有版本管理你很難回答“這個(gè)模型是用哪一版數(shù)據(jù)訓(xùn)練的”這個(gè)問(wèn)題。推薦使用DVCData Version Control對(duì)數(shù)據(jù)集進(jìn)行版本管理它類(lèi)似Git但針對(duì)的是大文件?；玖鞒? 初始化倉(cāng)庫(kù)和 DVC git init dvc init # 添加數(shù)據(jù)目錄生成 .dvc 文件 dvc add data/raw_docs git add data/raw_docs.dvc .gitignore git commit -m add raw docs v1 # 切換分支或回滾到舊版本 git checkout commit_id -- data/raw_docs.dvc dvc checkout同時(shí)在每次數(shù)據(jù)清洗處理時(shí)建議在輸出數(shù)據(jù)集中寫(xiě)入一行 provenance來(lái)源信息{ version: 2025.06.01, source_files: [normalized_docs/abc.json, normalized_docs/def.json], clean_pipeline: clean_text.py:v1.2, dedup: minhash_dedup.py:v0.9, created_by: data_team }這樣當(dāng)模型表現(xiàn)異常時(shí)你能快速定位是哪一次數(shù)據(jù)處理改動(dòng)導(dǎo)致的。6. 數(shù)據(jù)飛輪讓數(shù)據(jù)越來(lái)越值錢(qián)的工程機(jī)制字節(jié)獨(dú)立數(shù)據(jù)部門(mén)目標(biāo)絕不只是做一次性數(shù)據(jù)集而是要建立數(shù)據(jù)飛輪。數(shù)據(jù)飛輪的核心邏輯是AI系統(tǒng)在使用過(guò)程中會(huì)產(chǎn)生新的交互數(shù)據(jù)這些數(shù)據(jù)經(jīng)過(guò)篩選、清洗和標(biāo)注之后重新進(jìn)入訓(xùn)練集持續(xù)提升模型能力模型能力提升后又帶來(lái)更多用戶(hù)產(chǎn)生更多數(shù)據(jù)。飛輪聽(tīng)起來(lái)很美好落地卻很難。難點(diǎn)在于不能把用戶(hù)的原始輸入直接當(dāng)訓(xùn)練數(shù)據(jù)需要去除個(gè)人隱私信息。需要設(shè)計(jì)采樣策略只收集那些能糾正模型錯(cuò)誤的高價(jià)值數(shù)據(jù)。需要建立人工或自動(dòng)標(biāo)注流程把原始交互轉(zhuǎn)換成指令格式。需要控制數(shù)據(jù)腐爛即舊數(shù)據(jù)可能過(guò)時(shí)需要定期清理。一個(gè)實(shí)際的飛輪管道可能長(zhǎng)這樣用戶(hù)提問(wèn) - 模型回答 - 用戶(hù)反饋點(diǎn)贊/點(diǎn)踩/修改 - 篩選出低質(zhì)量回答 - 重新生成正確答案 - 人工抽檢 - 寫(xiě)入微調(diào)數(shù)據(jù)集 - 定期微調(diào)模型 - 新模型上線(xiàn) - 產(chǎn)生新反饋。實(shí)現(xiàn)這個(gè)管道你需要一個(gè)日志系統(tǒng)記錄交互一個(gè)消息隊(duì)列異步處理一個(gè)標(biāo)注/審核平臺(tái)以及模型版本管理。對(duì)于小團(tuán)隊(duì)可以先用Notion或Airtable做標(biāo)注用Python腳本定期從數(shù)據(jù)庫(kù)導(dǎo)出數(shù)據(jù)并格式化。這里我給出一個(gè)從用戶(hù)反饋中篩選數(shù)據(jù)的最小示例# build_finetune_data.py import json from datetime import datetime, timedelta def extract_feedback_rows(db_connection, since: datetime): query SELECT id, user_query, bot_response, user_rating, revised_answer FROM ai_interaction_logs WHERE created_at %s AND user_query IS NOT NULL AND (user_rating bad OR revised_answer IS NOT NULL) with db_connection.cursor() as cursor: cursor.execute(query, (since,)) return cursor.fetchall() def convert_to_instruction(rows): instructions [] for row in rows: question row[user_query] if row[revised_answer]: answer row[revised_answer] else: # 這里應(yīng)該調(diào)用一個(gè)更強(qiáng)的模型或者人工重寫(xiě)答案不能使用原錯(cuò)誤回答 answer # 占位后續(xù)走人工標(biāo)注隊(duì)列 instructions.append({ instruction: 請(qǐng)回答用戶(hù)的問(wèn)題。, input: question, output: answer, }) return instructions if __name__ __main__: # 偽代碼實(shí)際連接數(shù)據(jù)庫(kù) rows [] with open(feedback_log.json, r, encodingutf-8) as f: rows json.load(f) instructions convert_to_instruction(rows) with open(finetune_data.jsonl, w, encodingutf-8) as f: for item in instructions: if item[output]: # 只保留有正確答案的樣本 f.write(json.dumps(item, ensure_asciiFalse) \n)注意從用戶(hù)反饋里直接拿答案是有風(fēng)險(xiǎn)的。用戶(hù)修改后的回答不一定正確所以必須經(jīng)過(guò)抽檢。數(shù)據(jù)飛輪的關(guān)鍵不是自動(dòng)而是“有質(zhì)量門(mén)檻的自動(dòng)”。7. 數(shù)據(jù)評(píng)測(cè)沒(méi)有評(píng)測(cè)集一切優(yōu)化都是空談很多團(tuán)隊(duì)投入大量精力構(gòu)建訓(xùn)練數(shù)據(jù)卻忽略了評(píng)測(cè)數(shù)據(jù)。字節(jié)數(shù)據(jù)部門(mén)如果只是建數(shù)據(jù)和清洗數(shù)據(jù)而不定義評(píng)測(cè)標(biāo)準(zhǔn)那模型方向就難以控制。評(píng)測(cè)數(shù)據(jù)應(yīng)該是獨(dú)立的、靜態(tài)的、與訓(xùn)練數(shù)據(jù)隔離的。評(píng)測(cè)集至少要覆蓋四類(lèi)能力領(lǐng)域知識(shí)問(wèn)答檢驗(yàn)?zāi)Ｐ蛯?duì)業(yè)務(wù)知識(shí)的掌握。指令遵循檢驗(yàn)?zāi)Ｐ湍芊癜磸?fù)雜指令執(zhí)行。格式輸出檢驗(yàn)?zāi)Ｐ湍芊穹€(wěn)定輸出JSON、Markdown等格式。對(duì)抗樣本檢驗(yàn)?zāi)Ｐ蛯?duì)誘導(dǎo)、歧義、噪聲的魯棒性。一個(gè)簡(jiǎn)單但有效的做法是用Git維護(hù)評(píng)測(cè)集版本并在每次模型迭代后記錄評(píng)測(cè)結(jié)果。# evaluate.py import json from openai import OpenAI # 以 OpenAI 兼容接口為例實(shí)際項(xiàng)目請(qǐng)?zhí)鎿Q成你的模型 endpoint client OpenAI(base_urlhttp://localhost:8000/v1, api_keyEMPTY) def evaluate_model(eval_path: str, model: str) - dict: with open(eval_path, r, encodingutf-8) as f: cases json.load(f) hit 0 for case in cases: prompt case[prompt] expected case[expected] response client.chat.completions.create( modelmodel, messages[{role: user, content: prompt}], temperature0, ) answer response.choices[0].message.content.strip() # 簡(jiǎn)單判斷期望關(guān)鍵詞是否出現(xiàn)在答案中 if expected in answer: hit 1 return {total: len(cases), hit: hit, accuracy: hit / len(cases)} if __name__ __main__: result evaluate_model(eval_sets/v1.0.json, your-model-name) print(評(píng)測(cè)結(jié)果:, result)生產(chǎn)級(jí)評(píng)測(cè)還需要考慮答案公平性、多選判斷、模糊匹配等但核心思想一致評(píng)測(cè)集必須固定才能對(duì)比不同版本。8. 常見(jiàn)數(shù)據(jù)工程問(wèn)題與排查思路在搭建AI數(shù)據(jù)管道時(shí)常見(jiàn)問(wèn)題其實(shí)非常集中。下面整理成一張表方便快速檢索問(wèn)題現(xiàn)象可能原因排查方式解決方案模型微調(diào)后效果不如base訓(xùn)練集包含劣質(zhì)數(shù)據(jù)或標(biāo)簽噪聲抽樣查看訓(xùn)練集計(jì)算每條數(shù)據(jù)與標(biāo)簽的相關(guān)性清洗數(shù)據(jù)剔除錯(cuò)誤標(biāo)簽提高標(biāo)注一致性RAG檢索結(jié)果相關(guān)但生成答案差檢索出的chunk內(nèi)容互相沖突或過(guò)時(shí)打印檢索結(jié)果檢查chunk是否包含矛盾信息更新源數(shù)據(jù)增加文檔有效期字段過(guò)濾過(guò)期內(nèi)容訓(xùn)練loss下降但評(píng)測(cè)集分?jǐn)?shù)不變訓(xùn)練集與評(píng)測(cè)集分布不一致分析訓(xùn)練集和評(píng)測(cè)集的詞匯/主題分布補(bǔ)充多樣化數(shù)據(jù)擴(kuò)大評(píng)測(cè)集覆蓋語(yǔ)義去重把不同文檔誤刪embedding模型不適合該領(lǐng)域抽樣查看被去重文檔計(jì)算人工相似度調(diào)整相似度閾值或換領(lǐng)域微調(diào)的embedding模型處理大數(shù)據(jù)集OOM一次性讀入內(nèi)存查看代碼是否使用read().splitlines()等內(nèi)存大的操作改用line-by-line或Spark/Dask數(shù)據(jù)版本混亂手動(dòng)復(fù)制覆蓋數(shù)據(jù)集文件檢查是否有多個(gè)data副本目錄使用DVC 對(duì)象存儲(chǔ)做版本管理標(biāo)注結(jié)果不一致標(biāo)注規(guī)范不清晰統(tǒng)計(jì)標(biāo)注員之間的重合率編寫(xiě)標(biāo)注手冊(cè)定期校準(zhǔn)用投票機(jī)制決定最終標(biāo)簽排查數(shù)據(jù)問(wèn)題最核心的方法是“先定位到樣本”。不要只看loss或accuracy要抽幾條錯(cuò)誤樣例反向分析是數(shù)據(jù)本身的問(wèn)題還是模型的問(wèn)題。9. 給不同規(guī)模團(tuán)隊(duì)的數(shù)據(jù)工程建議9.1 個(gè)人開(kāi)發(fā)者和獨(dú)立項(xiàng)目如果你只是自己做個(gè)AI應(yīng)用或研究項(xiàng)目不需要完整的平臺(tái)但至少要養(yǎng)成三個(gè)習(xí)慣數(shù)據(jù)不直接覆蓋每次清洗前保留一份raw數(shù)據(jù)。數(shù)據(jù)集版本化哪怕只是用git管理jsonl文件也要能追溯。實(shí)驗(yàn)記錄每次微調(diào)或RAG改動(dòng)時(shí)記錄用的什么數(shù)據(jù)、怎么清洗、怎么切塊?？梢杂靡粋€(gè)簡(jiǎn)單的目錄結(jié)構(gòu)project/ ├── raw/ # 原始數(shù)據(jù)只讀 ├── normalized/ # 歸一化后的數(shù)據(jù) ├── cleansed/ # 清洗去重后的數(shù)據(jù) ├── chunks/ # 切塊后的數(shù)據(jù) ├── eval_sets/ # 評(píng)測(cè)集 └── configs/ # 數(shù)據(jù)處理配置9.2 中小型團(tuán)隊(duì)建議成立一個(gè)“數(shù)據(jù)小組”或讓專(zhuān)人負(fù)責(zé)數(shù)據(jù)工程。不需要搞很大的平臺(tái)優(yōu)先打通三件事數(shù)據(jù)采集和歸一化的自動(dòng)化定時(shí)任務(wù) 統(tǒng)一schema。數(shù)據(jù)質(zhì)量監(jiān)控字符數(shù)、重復(fù)率、樣本量、字段完整性。生成數(shù)據(jù)集的流程化清洗 - 切塊 - 向量化 - 入庫(kù)每一步輸出版本號(hào)。工具選型上如果不是超大規(guī)模可以先用Python HuggingFace Datasets DVC Airflow。這些工具學(xué)習(xí)成本相對(duì)低社區(qū)資料多。9.3 大型團(tuán)隊(duì)字節(jié)成立一級(jí)數(shù)據(jù)部門(mén)說(shuō)明大型團(tuán)隊(duì)確實(shí)需要獨(dú)立的組織來(lái)定義數(shù)據(jù)標(biāo)準(zhǔn)和工具鏈。但大團(tuán)隊(duì)容易落入“重平臺(tái)輕內(nèi)容”的誤區(qū)。真正有價(jià)值的是數(shù)據(jù)集本身而不是平臺(tái)。所以即便組織龐大也要確保每條數(shù)據(jù)都能追溯到源頭每個(gè)模型都能關(guān)聯(lián)到具體數(shù)據(jù)版本。10. 總結(jié)像字節(jié)一樣思考數(shù)據(jù)字節(jié)成立AI數(shù)據(jù)一級(jí)部門(mén)不是簡(jiǎn)單的組織比拼。它背后是一個(gè)技術(shù)判斷數(shù)據(jù)工程是大模型下半場(chǎng)的基礎(chǔ)設(shè)施誰(shuí)能把數(shù)據(jù)質(zhì)量、數(shù)據(jù)版本、數(shù)據(jù)飛輪做扎實(shí)誰(shuí)就能持續(xù)迭代出更好的模型和應(yīng)用。對(duì)普通開(kāi)發(fā)者而言現(xiàn)在正是把“數(shù)據(jù)”當(dāng)成第一等公民來(lái)對(duì)待的時(shí)候。不需要等到你有幾TB數(shù)據(jù)才去搞治理從第一個(gè)RAG項(xiàng)目開(kāi)始就應(yīng)該把數(shù)據(jù)清洗、去重、評(píng)測(cè)集、版本管理做到位。這些能力會(huì)在你進(jìn)入更復(fù)雜的AI項(xiàng)目時(shí)釋放價(jià)值。最后提醒一點(diǎn)數(shù)據(jù)工作往往是枯燥的不像調(diào)參和看模型結(jié)構(gòu)那么“性感”。但正是這些枯燥的清洗、去重、標(biāo)注、版本控制工作最終決定了你的模型是聰明還是僵硬。字節(jié)用一級(jí)部門(mén)告訴行業(yè)數(shù)據(jù)值得被認(rèn)真對(duì)待。接下來(lái)你也可以在自己的項(xiàng)目里認(rèn)真對(duì)待它。