如果你打算評(píng)估一個(gè)數(shù)據(jù)倉(cāng)庫(kù)或者分析型數(shù)據(jù)庫(kù)能不能扛住真實(shí)業(yè)務(wù)那 TPC-DS 基本是繞不開(kāi)的壓測(cè)工具。它不只是一堆 SQL 腳本而是一套完整的決策支持基準(zhǔn)規(guī)范模擬零售行業(yè)幾十張表的數(shù)據(jù)模型再加上 99 條非?！暗筱@”的分析型查詢(xún)用來(lái)檢驗(yàn)數(shù)據(jù)庫(kù)在海量數(shù)據(jù)下的掃描、關(guān)聯(lián)、聚合、窗口計(jì)算等綜合能力。但很多人第一次接觸 TPC-DS 時(shí)卡住的不是后面的測(cè)試而是最前面的編譯安裝。TPC-DS 不像 k6 這類(lèi)壓測(cè)工具下載個(gè)二進(jìn)制就能跑它給的是 C 源碼包使用前必須自己編譯出dsdgen和dsqgen兩個(gè)工具這里面的坑其實(shí)不少。這篇內(nèi)容我會(huì)從“第一次在 Linux 上完整把 TPC-DS 跑起來(lái)”這個(gè)視角出發(fā)把編譯安裝的前因后果、完整步驟、驗(yàn)證方法以及我實(shí)際踩過(guò)的幾個(gè)編譯運(yùn)行問(wèn)題全部寫(xiě)清楚。無(wú)論你是剛開(kāi)始研究壓測(cè)工具選型還是已經(jīng)被 make 報(bào)錯(cuò)折磨到懷疑人生這篇都有參考價(jià)值。1. 先理解TPC-DS壓測(cè)工具到底是測(cè)什么的1.1 它是一套針對(duì)分析型場(chǎng)景的“標(biāo)準(zhǔn)考卷”很多人第一次聽(tīng)到 TPC-DS 會(huì)把它和 TPC-C 混淆。TPC-C 壓的是聯(lián)機(jī)交易系統(tǒng)場(chǎng)景是大量短事務(wù)、高頻寫(xiě)入、行級(jí)查詢(xún)而 TPC-DS 壓的完全是另一類(lèi)負(fù)載數(shù)據(jù)倉(cāng)庫(kù)里的復(fù)雜報(bào)表分析、多維聚合、ETL 之后的數(shù)據(jù)探索。TPC-DS 的模型來(lái)自一個(gè)模擬零售商的業(yè)務(wù)系統(tǒng)整體上由 24 張表組成其中包含 7 張事實(shí)表和 17 張維度表。事實(shí)表里存儲(chǔ)的是 store_sales、store_returns、catalog_sales、web_sales 這類(lèi)大規(guī)模銷(xiāo)售或退貨流水維度表則描述商品、客戶(hù)、地區(qū)、時(shí)間、促銷(xiāo)渠道等信息。這個(gè)模型的最大特點(diǎn)是它故意設(shè)計(jì)成了類(lèi)似真實(shí)數(shù)倉(cāng)的雪花模型或星型模型數(shù)據(jù)表之間有很深的關(guān)聯(lián)路徑字段類(lèi)型也覆蓋了數(shù)值、字符、時(shí)間等常見(jiàn)類(lèi)型還有大量的 NULL 值、邊界值、數(shù)據(jù)傾斜場(chǎng)景。在查詢(xún)負(fù)載上TPC-DS 提供了 99 條不同的查詢(xún)模板。這些查詢(xún)不是簡(jiǎn)單SELECT *而是會(huì)混合出現(xiàn)多表 JOIN、嵌套子查詢(xún)、group by 聚合、窗口函數(shù)、case when 條件分支、日期運(yùn)算、集合操作等。比如一條查詢(xún)可能先從 web_sales 里篩出某個(gè)時(shí)間段的數(shù)據(jù)再去關(guān)聯(lián) customer 維度、item 維度、promotion 維度最后在多個(gè)維度層級(jí)上做聚合比較。想跑得準(zhǔn)又跑得快數(shù)據(jù)庫(kù)的優(yōu)化器、執(zhí)行引擎、統(tǒng)計(jì)信息、存儲(chǔ)格式都必須足夠能打。所以我在實(shí)際交流時(shí)經(jīng)常把它形容成一場(chǎng)“分析型 SQL 的統(tǒng)一考試”TPC-C 相當(dāng)于測(cè)試收銀臺(tái)能不能快速處理結(jié)賬TPC-DS 則是在考商業(yè)分析團(tuán)隊(duì)能不能從千萬(wàn)行流水里快速算出一份經(jīng)營(yíng)報(bào)告。后面如果要給數(shù)據(jù)倉(cāng)庫(kù)、分析型數(shù)據(jù)庫(kù)、湖倉(cāng)引擎做橫向?qū)Ρ萒PC-DS 是一個(gè)非常通用的參考基準(zhǔn)。1.2 為什么大家都愿意把 TPC-DS 當(dāng)成壓測(cè)標(biāo)尺判斷一個(gè)壓測(cè)工具值不值得用主要看三件事場(chǎng)景是否貼近真實(shí)、結(jié)果是否可復(fù)現(xiàn)、流程是否被行業(yè)認(rèn)可。TPC-DS 在這三點(diǎn)上做得都比較到位。它有嚴(yán)格的規(guī)范去約束數(shù)據(jù)生成方式、查詢(xún)執(zhí)行方式、結(jié)果校驗(yàn)方式尤其是數(shù)據(jù)生成的隨機(jī)種子、表的規(guī)模、SQL 參數(shù)替換規(guī)則都有明確要求。這一點(diǎn)很關(guān)鍵。我們?cè)谧鰯?shù)據(jù)庫(kù)選型時(shí)如果每個(gè)人自己隨手寫(xiě)幾條 SQL 去壓測(cè)很難保證兩個(gè)數(shù)據(jù)庫(kù)跑的是同一套邏輯甚至同一條 SQL 在兩個(gè)庫(kù)里執(zhí)行計(jì)劃都完全不同。而使用 TPC-DS 統(tǒng)一生成的數(shù)據(jù)和查詢(xún)至少能做到“大家用的是同一套考卷”誰(shuí)的成績(jī)更好一目了然。另外TPC-DS 是公開(kāi)標(biāo)準(zhǔn)的測(cè)試負(fù)載不是某個(gè)數(shù)據(jù)庫(kù)廠商自己定義的測(cè)試工具。所以很多大廠在做技術(shù)分享時(shí)提到的“XX數(shù)據(jù)庫(kù) TPC-DS 1TB 性能評(píng)測(cè)”大家心里會(huì)有個(gè)基本預(yù)期這是規(guī)?；?、復(fù)雜查詢(xún)、真實(shí)數(shù)倉(cāng)模型下的結(jié)果而不是壓幾條簡(jiǎn)單 SQL 給出的數(shù)字。作為用戶(hù)我們自己也可以按文檔跑出對(duì)應(yīng)規(guī)模的數(shù)據(jù)驗(yàn)證廠商成績(jī)是否“注水”。1.3 編譯安裝是進(jìn)入正式壓測(cè)之前的“守門(mén)員”如果在搜索引擎里搜 TPC-DS大概率會(huì)發(fā)現(xiàn)它壓縮包里的代碼形態(tài)離“開(kāi)箱即用”還有一段距離。TPC-DS 官方發(fā)布的是源碼包里面包含數(shù)據(jù)生成器、查詢(xún)生成器和模板文件。我們真正要用的核心可執(zhí)行文件有兩個(gè)dsdgen負(fù)責(zé)按照指定比例因子生成原始數(shù)據(jù)文件。dsqgen負(fù)責(zé)讀取查詢(xún)模板生成帶具體參數(shù)值的 SQL 腳本。這兩個(gè)工具都需要先編譯才能在當(dāng)前 Linux 環(huán)境下運(yùn)行。原因也很簡(jiǎn)單TPC-DS 作為標(biāo)準(zhǔn)測(cè)試工具要適配不同操作系統(tǒng)、不同硬件架構(gòu)官方如果只給一個(gè) Linux x86_64 的二進(jìn)制那 macOS、Windows、ARM 環(huán)境就都用不了。更重要的是C/C 編譯出來(lái)的二進(jìn)制對(duì)系統(tǒng)庫(kù)和 CPU 指令集非常敏感在一個(gè)老版本 glibc 上編譯、拿到新版系統(tǒng)未必能跑反之用太新的環(huán)境編譯再拿回老系統(tǒng)又可能因?yàn)槿鄙俜?hào)無(wú)法啟動(dòng)。自己編譯雖然多一步但能保證工具和你當(dāng)前測(cè)試環(huán)境完全匹配。我第一次編譯 TPC-DS 時(shí)也覺(jué)得這一步很沒(méi)必要后來(lái)才發(fā)現(xiàn)正因?yàn)樗木幾g過(guò)程“有點(diǎn)原始”才逼著使用者把目錄結(jié)構(gòu)、參數(shù)文件、模板路徑都理解清楚。如果連工具怎么編譯、如何找依賴(lài)文件都不清楚后面生成數(shù)據(jù)、替換 SQL 參數(shù)時(shí)大概率也會(huì)一頭霧水。把這一步啃下來(lái)等于把整個(gè) TPC-DS 的使用流程打通了一半。2. 編譯安裝前先解決三個(gè)環(huán)境細(xì)節(jié)2.1 首選 Linux x86_64但也要關(guān)注發(fā)行版差異TPC-DS 的工具集大部分教程和測(cè)試案例都默認(rèn)在 Linux 上編譯執(zhí)行如果你是在云服務(wù)器、物理機(jī)或者容器環(huán)境里做數(shù)據(jù)庫(kù)壓測(cè)建議優(yōu)先選擇 Linux 發(fā)行版。Ubuntu/Debian、CentOS/Rocky、openEuler 這些發(fā)行版本身差異不大關(guān)鍵是能不能裝上編譯工具鏈。我在編譯時(shí)用的是一臺(tái) Ubuntu 22.04 x86_64 服務(wù)器。為什么要強(qiáng)調(diào) x86_64因?yàn)?TPC-DS 的官方 makefile 對(duì)平臺(tái)有判斷邏輯Linux 下最常見(jiàn)的MACHINE和OS配置都是LINUX。如果你的機(jī)器是 ARM 架構(gòu)比如蘋(píng)果 M 系列芯片的 Linux 虛機(jī)那編譯參數(shù)可能要做額外調(diào)整不能完全照搬網(wǎng)上的命令。如果是在容器或者最小化系統(tǒng)里跑還要注意磁盤(pán)空間。TPC-DS 編譯本身占不了多少空間但后面用-SCALE生成數(shù)據(jù)時(shí)1GB 的規(guī)模并不是只占 1GB 就結(jié)束了。以 TPC-DS 的零售模型看維度表會(huì)膨脹事實(shí)表更大加上查詢(xún)過(guò)程和日志磁盤(pán)建議至少預(yù)留數(shù)據(jù)規(guī)模 3 倍以上的空間。我第一次在 / 根目錄空間很小的機(jī)器上跑生成到一半報(bào) “No space left on device”后來(lái)只能重新?lián)Q數(shù)據(jù)目錄相當(dāng)浪費(fèi)時(shí)間。2.2 提前裝好編譯器、make 和解析器依賴(lài)早期 TPC-DS 工具包的編譯過(guò)程相對(duì)粗糙對(duì)新版 GCC 的兼容性并不是每次都理想但基本依賴(lài)還是那么幾類(lèi)C/C 編譯器一般就是gcc和g。make用來(lái)解析 Makefile 并執(zhí)行編譯目標(biāo)。flex和bison用于生成查詢(xún)模板解析器相關(guān)代碼。標(biāo)準(zhǔn)庫(kù)頭文件和基礎(chǔ)命令比如binutils、unzip。在 Debian/Ubuntu 系列上可以直接安裝全套apt update apt install -y build-essential flex bison在 CentOS/RHEL/Rocky 系列上可以這樣yum install -y gcc gcc-c make flex bison unzip為什么要單獨(dú)把 flex 和 bison 列出來(lái)因?yàn)?TPC-DS 里的dsqgen組件在編譯時(shí)可能會(huì)涉及模板解析代碼的生成。如果你沒(méi)裝這兩個(gè)工具執(zhí)行到一半可能會(huì)看到y(tǒng)acc或lex相關(guān)的報(bào)錯(cuò)出錯(cuò)后很多人會(huì)誤以為是系統(tǒng)缺了什么大依賴(lài)實(shí)際只需要補(bǔ)齊這兩個(gè)小工具。裝完后重新make clean再make即可。編譯器版本方面太老的 GCC比如 4.x編譯新版 TPC-DS 工具包時(shí)可能會(huì)遇到 C11 語(yǔ)法不被支持的問(wèn)題。如果系統(tǒng)自帶的編譯器版本實(shí)在太老建議先通過(guò)發(fā)行版的軟件源安裝更新的編譯器或者直接在比較新的 Linux 發(fā)行版上編譯。壓測(cè)工具本身并不需要多高級(jí)的優(yōu)化重點(diǎn)是要保證編譯過(guò)程中語(yǔ)法兼容。2.3 源碼包獲取認(rèn)準(zhǔn)官方工具包別拿錯(cuò)文檔在動(dòng)手之前要先清楚去“哪里下載”。搜索 TPC-DS 時(shí)你會(huì)看到官網(wǎng)提供了兩種主要下載物TPC-DS 標(biāo)準(zhǔn)規(guī)范文檔PDF描述測(cè)試流程和管理規(guī)則。TPC-DS Tools 工具包zip 壓縮包里面才是數(shù)據(jù)生成器和查詢(xún)生成器源碼。我們編譯安裝時(shí)需要的是第二個(gè)也就是工具包。官網(wǎng)對(duì)工具包的下載做了一定訪問(wèn)控制一般需要按頁(yè)面提示填寫(xiě)信息后獲取下載地址。這個(gè)過(guò)程很簡(jiǎn)單但需要注意別在命令行里直接使用某些臨時(shí)地址因?yàn)殒溄涌赡軙?huì)隨會(huì)話過(guò)期。建議先用瀏覽器下載到本地確認(rèn) zip 包完整后再上傳到服務(wù)器或放行到測(cè)試環(huán)境。也有不少開(kāi)源項(xiàng)目把 TPC-DS 的代碼做成了 GitHub 倉(cāng)庫(kù)比如第三方維護(hù)的tpcds-kit它們的編譯腳本通常更友好甚至?xí)詣?dòng) patch 掉一些官方源碼在 macOS 和 Linux 上的兼容問(wèn)題。如果你只是想在內(nèi)部環(huán)境快速跑一版數(shù)據(jù)用這類(lèi)第三方發(fā)行版也完全可以。但如果你要做正式的、可對(duì)外引用的性能測(cè)試那還是應(yīng)該用官方發(fā)布包并且記錄好版本號(hào)因?yàn)椴煌姹驹跀?shù)據(jù)分布和查詢(xún)模板上存在差異混用版本會(huì)導(dǎo)致測(cè)試結(jié)果沒(méi)有可比性。無(wú)論是官方包還是第三方包解壓后第一件事不是急著編譯而是先讀一下 README 或者 docs 目錄下的說(shuō)明。很多奇怪的問(wèn)題其實(shí)在文檔里都已經(jīng)寫(xiě)明白了只是大家習(xí)慣直接跳過(guò)。我在做這類(lèi)工具安裝時(shí)習(xí)慣把源碼包頂層目錄列出來(lái)先把目錄結(jié)構(gòu)大致過(guò)一遍mkdir -p ~/tpc-ds cd ~/tpc-ds unzip TPC-DS_Tools_v3.2.0.zip cd TPC-DS_Tools_v3.2.0 ls -la看到tools、query_templates、specification這類(lèi)目錄出現(xiàn)后就知道版本沒(méi)有拿錯(cuò)。tools目錄里放著編譯源碼query_templates里放著 SQL 生成模板兩邊后續(xù)都會(huì)用到。3. 編譯安裝全流程從 Makefile.suite 到 dsdgen、dsqgen3.1 解壓后的目錄結(jié)構(gòu)與編譯參數(shù)設(shè)計(jì)TPC-DS 的源碼目錄結(jié)構(gòu)和很多傳統(tǒng)數(shù)據(jù)庫(kù)工具不太一樣它不是執(zhí)行一個(gè)./configure就能自動(dòng)探測(cè)系統(tǒng)環(huán)境的而是需要你通過(guò)頂部的一個(gè)makefile.suite文件告訴編譯系統(tǒng)“我在什么操作系統(tǒng)上跑”。進(jìn)入解壓后的根目錄通常會(huì)看到一個(gè)類(lèi)似makefile.suite的文件它就像整套工具編譯的“總控面板”。tools子目錄下的 Makefile 會(huì)去 include 這個(gè)總控文件所以你在tools目錄里直接執(zhí)行 make 時(shí)真正讀取的編譯參數(shù)可能來(lái)自上層目錄。打開(kāi)makefile.suite后最常見(jiàn)的需要確認(rèn)的配置項(xiàng)是OS LINUX MACHINE LINUXOS告訴編譯系統(tǒng)當(dāng)前的操作系統(tǒng)類(lèi)型MACHINE告訴編譯系統(tǒng)當(dāng)前的硬件/平臺(tái)類(lèi)型。把這兩項(xiàng)都設(shè)置成LINUX對(duì)應(yīng) Linux x86_64 是最常見(jiàn)的默認(rèn)配置。如果某些發(fā)行版默認(rèn)沒(méi)有設(shè)置或者你在 macOS 上編譯就需要根據(jù)你看到的模板改成對(duì)應(yīng)的值。這里我強(qiáng)調(diào)一下一定要檢查不要認(rèn)為官網(wǎng)發(fā)的包默認(rèn)就一定能編譯。有些版本默認(rèn)值寫(xiě)的是OS LINUX但如果之前有人在同目錄下改過(guò)編譯參數(shù)或者 zip 解壓時(shí)權(quán)限、換行符出了問(wèn)題就會(huì)導(dǎo)致變量沒(méi)被正確識(shí)別。最常見(jiàn)的現(xiàn)象是 make 時(shí)提示某個(gè)平臺(tái)相關(guān)內(nèi)容找不到或者把非 Linux 路徑下的庫(kù)引入進(jìn)來(lái)。遇到這種問(wèn)題先回makefile.suite找原因往往比在 makefile 里硬調(diào)更有效。3.2 官方源碼的主目錄結(jié)構(gòu)與編譯入口以 TPC-DS 官方工具包為例解壓后的大致目錄層次是這樣的不同版本可能會(huì)略有差別TPC-DS_Tools_v3.2.0/ ├── makefile.suite ├── query_templates/ ├── specification/ ├── ETL/ └── tools/ ├── dsdgen.cpp ├── dsqgen.cpp ├── makefile ├── ...tools目錄是編譯的主戰(zhàn)場(chǎng)。進(jìn)入該目錄后執(zhí)行make即可觸發(fā)編譯。但我不建議第一次就直接傻乎乎地make因?yàn)槿绻幾g失敗你會(huì)看到滿(mǎn)屏的 error 卻不知道從哪看起。比較穩(wěn)妥的做法是先把編譯日志保存下來(lái)再快速定位錯(cuò)誤cd ~/tpc-ds/TPC-DS_Tools_v3.2.0/tools make clean make 21 | tee make.log為什么要make clean因?yàn)槿绻坝腥司幾g過(guò)、生成了舊的.o目標(biāo)文件你修改了makefile.suite后這些舊文件可能不會(huì)自動(dòng)全部重建造成一些非?！霸幃悺钡逆溄訄?bào)錯(cuò)。執(zhí)行 clean 后再 make可以保證所有源碼都按照新的參數(shù)重新編譯。如果編譯順利你會(huì)在tools目錄下看到新增的dsdgen和dsqgen兩個(gè)可執(zhí)行文件。有的版本還會(huì)生成tpcds.idx等數(shù)據(jù)處理文件這些文件是運(yùn)行時(shí)配套的不要手滑刪掉。3.3 make 過(guò)程中的實(shí)際輸出怎么看很多人一看到編譯輸出就緊張覺(jué)得幾十行 warning 就是有問(wèn)題。其實(shí) C 編譯里的 warning 很常見(jiàn)像“未使用變量”“隱式類(lèi)型轉(zhuǎn)換”這類(lèi)提示一般不影響工具使用。真正需要關(guān)注的是 error 級(jí)別的輸出也就是以error:開(kāi)頭的內(nèi)容。我編譯時(shí)發(fā)現(xiàn)如果缺少 bison/flex報(bào)錯(cuò)通常會(huì)指向某個(gè).y或.l文件并提示找不到y(tǒng)acc或lex。如果缺少 g會(huì)直接提示g: command not found。如果把OS或MACHINE改成了一組不存在的類(lèi)型make 時(shí)則可能提示某個(gè)-D宏沒(méi)有被定義甚至直接進(jìn)入一個(gè)錯(cuò)誤的編譯分支?？吹竭@些錯(cuò)誤先對(duì)照第 2 節(jié)檢查環(huán)境再回頭檢查 makefile.suite效率會(huì)高很多。如果 make 過(guò)程中出現(xiàn)了非常長(zhǎng)的找不到標(biāo)準(zhǔn)庫(kù)頭文件的報(bào)錯(cuò)比如iostream: No such file or directory那基本可以確定編譯工具鏈沒(méi)裝全或者當(dāng)前環(huán)境中 C 標(biāo)準(zhǔn)庫(kù)路徑?jīng)]配置好。此時(shí)不要盲目去修改源碼先執(zhí)行一下g --version確認(rèn) g 真實(shí)存在且版本可用再?lài)L試用包管理器補(bǔ)齊libstdc-dev或g。3.4 編譯產(chǎn)物確認(rèn)與安裝到統(tǒng)一目錄make 成功后我建議先驗(yàn)證一下產(chǎn)物能不能正常執(zhí)行cd ~/tpc-ds/TPC-DS_Tools_v3.2.0/tools file dsdgen dsqgen ./dsdgen -helpfile命令能看到可執(zhí)行文件的格式如果是 64 位 ELF說(shuō)明編譯出來(lái)的架構(gòu)沒(méi)問(wèn)題。./dsdgen -help能打印出 dsdgen 支持的所有參數(shù)如果能看到那說(shuō)明工具已經(jīng)可以運(yùn)行。很多人編譯完就留在tools目錄里用這樣也沒(méi)問(wèn)題但如果后面還要生成多份數(shù)據(jù)集或者要把工具提供給其他測(cè)試同學(xué)使用更推薦把工具集中復(fù)制到一個(gè)獨(dú)立目錄比如/opt/tpc-ds/bin或者用戶(hù)目錄下的~/tools/tpc-ds/bin。mkdir -p /opt/tpc-ds/bin cp dsdgen dsqgen tpcds.idx /opt/tpc-ds/bin/注意這里我要提醒一句dsdgen運(yùn)行時(shí)不光要靠可執(zhí)行文件還需要tpcds.idx這類(lèi)分布數(shù)據(jù)文件。如果你只拷貝了dsdgen和dsqgen運(yùn)行時(shí)會(huì)提示找不到 DISTRIBUTIONS 文件。把tpcds.idx一起拷過(guò)去并把tools目錄里的數(shù)據(jù)文件路徑搞一致會(huì)省去很多麻煩?？截愅瓿珊罂梢园?opt/tpc-ds/bin加進(jìn)PATH環(huán)境變量export PATH/opt/tpc-ds/bin:$PATH但注意這樣只是當(dāng)前終端生效后續(xù)重新登錄會(huì)丟。如果希望長(zhǎng)期生效可以寫(xiě)到.bashrc或/etc/profile.d/tpc-ds.sh中。這一步雖然不是編譯本身但對(duì)后續(xù)壓測(cè)工具使用體驗(yàn)影響很大。4. 編譯成功不等于能用功能驗(yàn)證與數(shù)據(jù)生成流程4.1 先跑一個(gè)最小規(guī)模的數(shù)據(jù)生成任務(wù)工具編譯完自然要實(shí)際生成一份測(cè)試數(shù)據(jù)驗(yàn)證一下。TPC-DS 的數(shù)據(jù)生成器dsdgen用一個(gè)叫SCALE的參數(shù)控制數(shù)據(jù)規(guī)模SCALE 1表示生成大約 1GB 的原始數(shù)據(jù)。之所以說(shuō)“大約”是因?yàn)?TPC-DS 不是簡(jiǎn)單按行數(shù)線性擴(kuò)展而是按每個(gè)表的目標(biāo)規(guī)模比例放大最終總大小接近 1GB。在執(zhí)行之前先建立一個(gè)數(shù)據(jù)輸出目錄例如mkdir -p /tmp/tpcds/data cd /tmp/tpcds/data然后回到tools目錄執(zhí)行cd ~/tpc-ds/TPC-DS_Tools_v3.2.0/tools ./dsdgen -SCALE 1 -DISTRIBUTIONS ./tpcds.idx -DIR /tmp/tpcds/data這里有幾個(gè)參數(shù)需要解釋一下-SCALE 1數(shù)據(jù)規(guī)模倍率1 代表約 1GB。-DISTRIBUTIONS ./tpcds.idx指定分布數(shù)據(jù)文件路徑。如果dsdgen和tpcds.idx在同一目錄并且你在當(dāng)前目錄執(zhí)行也可以省略但建議在腳本里顯式寫(xiě)清楚避免路徑對(duì)不上。-DIR /tmp/tpcds/data數(shù)據(jù)文件輸出目錄。這個(gè)命令運(yùn)行幾分鐘后就能在/tmp/tpcds/data下看到很多.dat結(jié)尾的文件。比如日期表、商品表、銷(xiāo)售表等。用wc -l可以簡(jiǎn)單看看每個(gè)文件行數(shù)wc -l /tmp/tpcds/data/*.dat | tail -5 head -3 /tmp/tpcds/data/store_sales.datSCALE 1的 store_sales 數(shù)據(jù)行數(shù)一般會(huì)在幾十萬(wàn)到百萬(wàn)級(jí)別總文件看起來(lái)不大但對(duì)測(cè)試流程來(lái)說(shuō)已經(jīng)能跑通全鏈路了。我建議新手第一輪壓測(cè)不要一上來(lái)就生成 10GB 或 100GB先用 1GB 驗(yàn)證工具穩(wěn)不穩(wěn)、目錄路徑對(duì)不對(duì)、文件格式是否符合預(yù)期。確認(rèn)沒(méi)問(wèn)題后再根據(jù)被測(cè)數(shù)據(jù)庫(kù)的實(shí)際容量和對(duì)標(biāo)場(chǎng)景放大規(guī)模。4.2 用 dsqgen 生成真正的壓測(cè) SQL數(shù)據(jù)文件生成只是第一步。TPC-DS 的 99 條 SQL 并不是直接寫(xiě)死的值而是放在查詢(xún)模板里。模板里有各種位置參數(shù)比如日期范圍、類(lèi)別編號(hào)、客戶(hù)數(shù)量等需要運(yùn)行dsqgen解析模板并替換成指定規(guī)模的隨機(jī)參數(shù)才能生成可供數(shù)據(jù)庫(kù)執(zhí)行的 SQL。生成 SQL 前確認(rèn)你已經(jīng)進(jìn)入解壓后的根目錄里的query_templates目錄因?yàn)閐sqgen需要指定模板文件所在的目錄和模板列表。一個(gè)常見(jiàn)命令如下cd ~/tpc-ds/TPC-DS_Tools_v3.2.0/query_templates ../tools/dsqgen -DIRECTORY . \ -INPUT templates.lst \ -DIALECT netezza \ -OUTPUT_DIR /tmp/tpcds/queries先創(chuàng)建好/tmp/tpcds/queries目錄。這里的-DIALECT netezza指的是“生成 SQL 的風(fēng)格”。TPC-DS 的模板最初是為某一種特定 SQL 方言寫(xiě)的不同數(shù)據(jù)庫(kù)在函數(shù)、類(lèi)型轉(zhuǎn)換、字符串語(yǔ)法上有細(xì)微差異dsqgen會(huì)根據(jù) dialect 參數(shù)對(duì)模板內(nèi)部的部分語(yǔ)法做替換。如果被測(cè)數(shù)據(jù)庫(kù)不在官方支持的 dialect 列表里比較通用的辦法是先生成 netezza 風(fēng)格或直接參考你的數(shù)據(jù)庫(kù)官方文檔里推薦使用的 dialect。生成后打開(kāi)幾個(gè) SQL 文件看看如果里面有特別數(shù)據(jù)庫(kù)不支持的函數(shù)可以在導(dǎo)入階段做統(tǒng)一替換或者在執(zhí)行前用文本處理腳本過(guò)濾。很多數(shù)據(jù)庫(kù)產(chǎn)品比如分析型數(shù)據(jù)倉(cāng)庫(kù)都已經(jīng)兼容 PostgreSQL 或 MySQL 語(yǔ)法你可以按實(shí)際支持的語(yǔ)法做少量修正。4.3 如何判斷生成的查詢(xún)“能用”dsqgen執(zhí)行完成后會(huì)在輸出目錄里生成一個(gè)或多個(gè) SQL 文件。不少人看到文件生成就覺(jué)得萬(wàn)事大吉直接把整個(gè) SQL 丟進(jìn)數(shù)據(jù)庫(kù)執(zhí)行結(jié)果跑出來(lái)一片報(bào)錯(cuò)。這里我建議執(zhí)行前先做兩層驗(yàn)證。第一層是看 SQL 的規(guī)模對(duì)不對(duì)。用文本工具統(tǒng)計(jì)一下query_0.sql里包含多少個(gè)查詢(xún)正常情況應(yīng)當(dāng)接近 99 個(gè)如果少了要檢查模板列表是否完整。第二層是抽樣執(zhí)行。不要先跑全量而是從生成的文件中挑一個(gè)最簡(jiǎn)單的查詢(xún)比如基于 date_dim、item 這類(lèi)小表的查詢(xún)先單條執(zhí)行。這一步能快速發(fā)現(xiàn) dialect 選擇是否正確、字段名是否和實(shí)際表結(jié)構(gòu)匹配。確認(rèn)單條 SQL 能跑后再逐步增加查詢(xún)條數(shù)最后才用并發(fā)或計(jì)時(shí)腳本跑完整 99 條。不要因?yàn)?SQL 是工具生成的就默認(rèn)它一定能一次通過(guò)。4.4 完整的壓測(cè)數(shù)據(jù)鏈路長(zhǎng)什么樣把數(shù)據(jù)文件和 SQL 文件都準(zhǔn)備好后接下來(lái)就是壓測(cè)工具真正發(fā)揮作用的階段。常見(jiàn)做法是把.dat文件通過(guò)數(shù)據(jù)導(dǎo)入工具加載到被測(cè)數(shù)據(jù)庫(kù)表中表結(jié)構(gòu)和 TPC-DS 模型一致再把 SQL 文件里的查詢(xún)依次執(zhí)行或者使用一個(gè)外部腳本控制并發(fā)、記錄耗時(shí)和正確性結(jié)果。如果你用的是 PostgreSQL 系數(shù)據(jù)庫(kù)可以用COPY命令導(dǎo)入.dat文件。如果用的是其他分析型數(shù)據(jù)庫(kù)通常也有對(duì)應(yīng)的導(dǎo)入指令或者直接用官方提供的 ETL 腳本把文本文件轉(zhuǎn)換為更適合批量加載的格式。這里有個(gè)容易踩的細(xì)節(jié).dat文件里字段分隔符是豎線|不是逗號(hào)導(dǎo)入時(shí)記得指定分隔符否則所有字段會(huì)擠到第一列導(dǎo)致建表、校驗(yàn)全部錯(cuò)亂。我第一次用 psql 的\copy導(dǎo)入時(shí)忘了指定 delimiter結(jié)果生成了一大堆錯(cuò)誤數(shù)據(jù)排查了很久才發(fā)現(xiàn)是這么低級(jí)的問(wèn)題。5. 編譯安裝和初運(yùn)行中的常見(jiàn)問(wèn)題與排查思路5.1 編譯階段的典型報(bào)錯(cuò)對(duì)照表安裝 TPC-DS 的過(guò)程中編譯階段的報(bào)錯(cuò)是最多的。我把實(shí)際見(jiàn)過(guò)的情況整理成了表格方便你在遇到類(lèi)似問(wèn)題時(shí)快速對(duì)照。報(bào)錯(cuò)現(xiàn)象大概率原因處理方式g: command not found沒(méi)裝 C 編譯器安裝gcc-c或build-essentialmake: command not found沒(méi)裝 make安裝makelex/yacc 相關(guān)錯(cuò)誤缺少 flex/bison安裝flex bison后重新 make clean makeOS/MACHINE 相關(guān)問(wèn)題makefile.suite 平臺(tái)參數(shù)沒(méi)配對(duì)編譯前檢查并設(shè)置OSLINUX、MACHINELINUXiostream: No such file or directoryg 缺失或 libstdc 開(kāi)發(fā)包缺失補(bǔ)全編譯工具鏈后重試undefined referencemake clean 沒(méi)執(zhí)行舊對(duì)象文件殘留執(zhí)行 make clean 后完整重新編譯cannot find -lxxx某些靜態(tài)庫(kù)缺失根據(jù)報(bào)錯(cuò)中的庫(kù)名搜索安裝對(duì)應(yīng) dev 包這里想重點(diǎn)說(shuō)下make clean的價(jià)值。TPC-DS 這類(lèi)老 C 項(xiàng)目依賴(lài)關(guān)系和自動(dòng)依賴(lài)生成并不算完善如果你第一次編譯發(fā)現(xiàn)缺了 flex裝好 flex 后直接再 make系統(tǒng)可能只重新編譯部分文件導(dǎo)致“改了環(huán)境但沒(méi)生效”的假象。最穩(wěn)妥的做法始終是make clean make5.2 數(shù)據(jù)生成階段的常見(jiàn)報(bào)錯(cuò)對(duì)照表編譯通過(guò)只是第一步運(yùn)行dsdgen和dsqgen時(shí)也有不少問(wèn)題同樣整理成速查表報(bào)錯(cuò)現(xiàn)象大概率原因處理方式DISTRIBUTIONS file not found沒(méi)指定 tpcds.idx 路徑加-DISTRIBUTIONS /path/tpcds.idx參數(shù)No space left on device數(shù)據(jù)規(guī)模超出磁盤(pán)空間清理磁盤(pán)或換更大目錄Permission denied輸出目錄無(wú)寫(xiě)權(quán)限檢查目錄權(quán)限或改用有權(quán)限的路徑無(wú)法打開(kāi)輸出文件-DIR指定目錄不存在先 mkdir -p 輸出目錄Segmentation fault (core dumped)內(nèi)存不足或二進(jìn)制與系統(tǒng)不兼容減小 SCALE確認(rèn)平臺(tái)參數(shù)正確數(shù)據(jù)文件都是空文件dsdgen 當(dāng)前目錄缺少輔助文件在 tools 目錄下運(yùn)行或顯式指定 DISTRIBUTIONS關(guān)于內(nèi)存不足導(dǎo)致的段錯(cuò)誤多說(shuō)一句。雖然生成數(shù)據(jù)主要吃 CPU 和磁盤(pán)但某些向量數(shù)據(jù)和排序過(guò)程還是會(huì)占用較多內(nèi)存。如果是低配虛擬機(jī)比如 2GB 內(nèi)存還跑多個(gè)進(jìn)程并行生成直接崩潰也不奇怪。建議第一輪只用單進(jìn)程、小 SCALE 驗(yàn)證然后再考慮并行比如用-PARALLEL 2 -CHILD 1分別開(kāi)兩個(gè)進(jìn)程。5.3 疑似環(huán)境問(wèn)題時(shí)的系統(tǒng)化排查方法早期使用 TPC-DS 時(shí)環(huán)境問(wèn)題很容易被誤判為代碼問(wèn)題。比如在某個(gè) Linux 發(fā)行版上編譯通過(guò)但換一臺(tái)機(jī)器執(zhí)行時(shí)提示無(wú)法加載動(dòng)態(tài)庫(kù)或直接段錯(cuò)誤多半不是寫(xiě)錯(cuò)了命令而是編譯環(huán)境與運(yùn)行環(huán)境差異太大。遇到這種情況我的排查順序是這樣的先確認(rèn)執(zhí)行環(huán)境架構(gòu)uname -m排除 ARM 和 x86_64 混淆。再確認(rèn)當(dāng)前 shell 的 PATH 和動(dòng)態(tài)庫(kù)搜索路徑echo $PATH、ldd ./dsdgen。查看可執(zhí)行文件依賴(lài)了哪些系統(tǒng)庫(kù)ldd dsdgen。如果動(dòng)態(tài)庫(kù)缺失優(yōu)先補(bǔ)齊庫(kù)文件如果庫(kù)版本太低盡量在更干凈或更新的系統(tǒng)上重新編譯一次。在實(shí)際排障時(shí)ldd是非常好用的工具它能直接告訴你編譯出來(lái)的二進(jìn)制需要哪些.so文件。如果某個(gè)庫(kù)顯示not found那這個(gè)工具拿到其他機(jī)器上大概率也會(huì)運(yùn)行失敗。與其到處拷貝缺失庫(kù)不如就直接在目標(biāo)機(jī)器或同版本系統(tǒng)上重新編譯這種“土辦法”反而更穩(wěn)。5.4 編譯期間的日志也要學(xué)會(huì)保存我見(jiàn)過(guò)很多同學(xué)卡在編譯錯(cuò)誤上第一反應(yīng)是把錯(cuò)誤截個(gè)圖下來(lái)但看不到上面幾百行里更早的 error。正確做法是在第一次觸發(fā)編譯時(shí)就順手把完整日志存下來(lái)make 21 | tee /tmp/tpcds_make.log這樣不僅方便你自己搜索報(bào)錯(cuò)點(diǎn)還能在向別人提問(wèn)時(shí)給出完整上下文。日志里有時(shí)候能看到多個(gè) error但真正的根因往往是最前面那一個(gè)后面的 error 可能只是前面錯(cuò)誤的連帶反應(yīng)。比如頭文件找不到后面幾百行未定義標(biāo)識(shí)符的報(bào)錯(cuò)其實(shí)都不需要看修復(fù)頭文件路徑后它們會(huì)一起消失。6. 關(guān)于后續(xù)使用的一些實(shí)用建議和踩坑體會(huì)把 TPC-DS 編譯安裝這件事說(shuō)清楚之后我還想聊一些后續(xù)真正做壓測(cè)時(shí)會(huì)用到的經(jīng)驗(yàn)。很多文章只寫(xiě)到能生成數(shù)據(jù)就結(jié)束了但實(shí)際把工具集成進(jìn)測(cè)試流程后你會(huì)遇到比編譯安裝更多的問(wèn)題。第一優(yōu)先用腳本統(tǒng)一封裝命令不要每次手工敲。TPC-DS 的dsdgen參數(shù)并不復(fù)雜但一旦涉及并行生成、多規(guī)模數(shù)據(jù)集手工敲會(huì)很容易漏參數(shù)或把不同規(guī)模的數(shù)據(jù)混在同一目錄里。我在實(shí)際使用中會(huì)為不同 SCALE 值分別建目錄比如data_1/、data_100/、data_1000/然后寫(xiě)一個(gè)簡(jiǎn)單的 shell 腳本把數(shù)據(jù)生成和 SQL 生成兩個(gè)步驟串起來(lái)SCALE${1:-1} mkdir -p /tmp/tpcds/data_$SCALE cd /opt/tpc-ds ./dsdgen -SCALE $SCALE -DISTRIBUTIONS ./tpcds.idx -DIR /tmp/tpcds/data_$SCALE這樣重復(fù)跑同一規(guī)模數(shù)據(jù)時(shí)只需要改一個(gè)變量不容易出線路徑混亂。第二不要光記官方命令不記版本。TPC-DS 不同版本之間生成的模板、表結(jié)構(gòu)、查詢(xún)數(shù)量可能都有差異。如果你要對(duì)比兩個(gè)數(shù)據(jù)庫(kù)最好使用同一個(gè)版本的工具包和同一規(guī)模的 SCALE否則測(cè)試結(jié)論很難讓聽(tīng)的人信服。第三數(shù)據(jù)生成是可以并行的但并行后文件會(huì)被切分成多個(gè)分片導(dǎo)入數(shù)據(jù)庫(kù)前需要把分片合并或讓數(shù)據(jù)庫(kù)并行加載工具識(shí)別分片。實(shí)際導(dǎo)入時(shí)要注意這樣會(huì)占用大量 IO建議在目標(biāo)數(shù)據(jù)庫(kù)磁盤(pán)壓力較低的時(shí)候執(zhí)行避免把壓測(cè)環(huán)境搞成 IO 阻塞。我自己在做這套工具時(shí)最大的體會(huì)是“編譯安裝只是入場(chǎng)券真正難的是把數(shù)據(jù)、查詢(xún)、數(shù)據(jù)庫(kù)三者的邊界理清楚”。如果你第一次編譯 TPC-DS 時(shí)報(bào)錯(cuò)不用慌大部分問(wèn)題都出在環(huán)境缺依賴(lài)或者平臺(tái)參數(shù)沒(méi)配對(duì)。按make clean make、補(bǔ)依賴(lài)、查 DISTRIBUTIONS 路徑這條路走下來(lái)基本都能過(guò)。最后再分享一個(gè)小技巧把編譯好的二進(jìn)制連同tpcds.idx、查詢(xún)模板和 templates.lst 整份放到一個(gè)單獨(dú)的目錄不要每次臨時(shí)去解壓包翻。這樣后面不管誰(shuí)要用只要把這個(gè)目錄拷走再配好 PATH 就能直接用。對(duì)于長(zhǎng)期做數(shù)據(jù)庫(kù)壓測(cè)的團(tuán)隊(duì)來(lái)說(shuō)這套“干凈的環(huán)境目錄”能節(jié)省很多重復(fù)試錯(cuò)的時(shí)間。