CLI數(shù)據(jù)分析【免費下載鏈接】millerMiller is like awk, sed, cut, join, and sort for name-indexed data such as CSV, TSV, and tabular JSON項目地址https://gitcode.com/gh_mirrors/mi/miller點擊查看免費下載Miller 把文本數(shù)據(jù)切分為記錄、字段、鍵值對三層并分別用記錄分隔符RS、字段分隔符FS與鍵值對分隔符PS來控制切分與拼接。本文以 Miller 官方參考文檔 docs/src/reference-main-separators.md 為主體完整講解--irs/--ors、--ifs/--ofs、--ips/--ops及--rs/--fs/--ps、--repifs、--ifs-regex/--ips-regex等全套分隔符命令行參數(shù)并對照倉庫源碼 pkg/cli/separators.go 與 pkg/cli/option_parse.go 講清其底層實現(xiàn)。讀完本文你將能夠在 DKVP、CSV、TSV、NIDX、XTAB 等任意格式之間自由切換分隔符實現(xiàn)數(shù)據(jù)格式的無縫轉(zhuǎn)換。記錄分隔符、字段分隔符與鍵值對分隔符Miller 從三個層次來理解分隔符記錄分隔符record separatorRS把一條條記錄分開字段分隔符field separatorFS把一條記錄里的各個字段即鍵值對分開鍵值對分隔符pair separatorPS把每個字段內(nèi)部的鍵與值分開。以經(jīng)典的 DKVP 鍵值對格式 為例數(shù)據(jù)文件 docs/src/data/a.dkvp 內(nèi)容如下cat docs/src/data/a.dkvpa1,b2,c3 a4,b5,c6在這兩行數(shù)據(jù)中記錄分隔符是換行符——它把a1,b2,c3與a4,b5,c6兩條記錄分開字段分隔符是,——它把a1、b2、c3這三個鍵值對字段分開鍵值對分隔符是——它把每個字段內(nèi)的鍵如a與值如1分開。以上是 Miller 的默認值可通過--ips、--ops等 flag 覆蓋詳見下文。需要特別說明的是并非所有文件格式都同時具備這三類分隔符。例如 CSV 就沒有鍵值對分隔符——因為 CSV 的鍵表頭獨占一行值獨占一行鍵和值并不相鄰。同樣分隔符也并非對所有文件格式都可編程。例如在 JSON 對象 中鍵值對分隔符是:、字段分隔符是,寫作{a:1,b:2,c:3}但這兩者都不可修改。即便執(zhí)行mlr --json --ips : --ips cat myfile.json你也不會得到{a1,b2,c3}——因為鍵值對分隔符:是 JSON 規(guī)范的一部分Miller 不會、也不能改變它。這一點在源碼中也有對應在 pkg/cli/separators.go 的defaultPSes表中json、yaml、dcf、recutils等格式的 PS 一律標注為N/A不可變更、不可參數(shù)化。輸入與輸出分隔符IRS/ORS、IFS/OFS、IPS/OPSMiller 允許輸入與輸出使用相同的分隔符如 CSV 輸入、CSV 輸出也允許在輸入與輸出之間更換分隔符如 CSV 輸入、JSON 輸出從而實現(xiàn)數(shù)據(jù)的格式轉(zhuǎn)換。Miller 使用以下命名體系IRS與ORS輸入記錄分隔符與輸出記錄分隔符IFS與OFS輸入字段分隔符與輸出字段分隔符IPS與OPS輸入鍵值對分隔符與輸出鍵值對分隔符。例如把輸入為逗號/等號風格的 DKVP 數(shù)據(jù)轉(zhuǎn)換為輸出為分號/冒號風格的數(shù)據(jù)mlr --ifs , --ofs ; --ips --ops : cut -o -f c,a,b docs/src/data/a.dkvpc:3;a:1;b:2 c:6;a:4;b:5這里cut -o -f c,a,b把字段順序重排為c,a,b同時輸入側按,與解析輸出側按;與:寫回。再看 CSV 場景。CSV 沒有鍵值對分隔符但字段分隔符同樣可以自由切換mlr --csv head -n 2 docs/src/example.csvcolor,shape,flag,k,index,quantity,rate yellow,triangle,true,1,11,43.6498,9.8870 red,square,true,2,15,79.2778,0.0130mlr --csv --ofs pipe head -n 2 docs/src/example.csvcolor|shape|flag|k|index|quantity|rate yellow|triangle|true|1|11|43.6498|9.8870 red|square|true|2|15|79.2778|0.0130只加了一個--ofs pipe輸出字段分隔符就從逗號變成了管道符|。雙向同設的快捷 flag--rs、--fs、--ps如果數(shù)據(jù)的輸入輸出分隔符相同、不需要分別設置可以使用--rs、--fs、--ps。例如--fs :與--ifs : --ofs :完全等價但敲擊鍵盤的次數(shù)更少。以使用分號作字段分隔符、冒號作鍵值對分隔符的 DKVP 數(shù)據(jù) docs/src/data/modsep.dkvp 為例cat docs/src/data/modsep.dkvpa:1;b:2;c:3 a:4;b:5;c:6mlr --fs ; --ps : cut -o -f c,a,b docs/src/data/modsep.dkvpc:3;a:1;b:2 c:6;a:4;b:5從源碼看--rs、--fs、--ps的解析器會同時把值寫入ReaderOptions與WriterOptions例如 pkg/cli/option_parse.go 中--fs的解析器同時設置options.ReaderOptions.IFS與options.WriterOptions.OFS并分別標記ifsWasSpecified與ofsWasSpecified。這就是一個 flag 同時作用于輸入與輸出的實現(xiàn)機制。多字符分隔符除少數(shù)不允許參數(shù)化的文件格式外所有分隔符都可以是多字符的。但注意對于 CSVCSV-lite 沒有這些限制IRS必須是\n且IFS必須是單字符。例如把輸入的分號/冒號數(shù)據(jù)輸出為三連分號;;;與:風格mlr --ifs ; --ips : --ofs ;;; --ops : cut -o -f c,a,b docs/src/data/modsep.dkvpc:3;;;a:1;;;b:2 c:6;;;a:4;;;b:5輸入側照舊按單字符;與:解析輸出側則按多字符;;;與:拼接充分體現(xiàn)了 Miller 輸入/輸出分隔符相互獨立的設計。--repifs把連續(xù)重復的分隔符視為一個如果數(shù)據(jù)中的字段分隔符是一個或多個連續(xù)空格可以使用--ifs space --repifs來解析。更一般地--repifs表示字段分隔符的多次連續(xù)出現(xiàn)只算作一次。兩種常見的處理語義對比在 CSV 數(shù)據(jù)中我們常用空字符串表示空值例如2,9,,,,,6,5,4——這里每個逗號都是有效分隔連續(xù)逗號之間是空字段必須保留但如果字段分隔符是空格把2 4 5解析成與2 4 5相同往往更自然——此時--repifs --ifs 就能實現(xiàn)這個效果。實際上--ipprint選項在內(nèi)部就是用--repifs實現(xiàn)的。從源碼看pkg/cli/separators.go 的defaultAllowRepeatIFSes表中pprint格式的默認值即為true而 CSV、DKVP、TSV 等格式默認為false——也就是說 PPRINT 格式天生就允許重復分隔符用空格對齊其余格式則需要顯式傳入--repifs才會開啟。來看官方示例數(shù)據(jù)文件 docs/src/data/extra-spaces.txtcat docs/src/data/extra-spaces.txtoh say can you see by the dawns early light what somlr --ifs --repifs --inidx --oxtab cat docs/src/data/extra-spaces.txt1 oh 2 say 3 can 4 you 1 see 2 by 3 the 4 dawns 1 early 2 light 3 what 4 so--inidx把每條記錄當作 NIDX索引編號格式讀入——字段沒有名字自動按位置編號 1、2、3、4--oxtab則輸出為 XTAB 豎向表格。行內(nèi)多個連續(xù)空格都被折疊成一個字段分隔所以oh say can you被正確切成了 4 個字段。正則表達式分隔符--ifs-regex 與 --ips-regexIFS和IPS可以是正則表達式使用--ifs-regex或--ips-regex代替--ifs或--ips即可。例如--ifs space --repifs和--ifs-regex ( )都能實現(xiàn)連續(xù)空格算一個分隔的效果。但官方文檔特別提示--ifs space --repifs比--ifs-regex ( )大約快 3 倍——正則表達式功能強大但速度更慢。因此能用手寫空格折疊解決的場景優(yōu)先用--repifs正則分隔符更適合真正需要正則能力的復雜場景例如按多種空白字符混合切分。從源碼實現(xiàn)看--ifs-regex的解析器pkg/cli/option_parse.go會調(diào)用lib.CompileMillerRegex把參數(shù)編譯為正則對象存入options.ReaderOptions.IFSRegex--ips-regex同理存入IPSRegex。這與--ifs直接存入字符串字面量的路徑不同也正是它更慢的原因所在。另外需要注意spaces、tabs、whitespace這些正則別名本身已經(jīng)是正則表達式因此不應與--repifs搭配使用。事實上當提供了--ifs-regex時--repifs會被忽略。分隔符別名避免 shell 轉(zhuǎn)義的煩惱許多分隔符在 shell 中需要轉(zhuǎn)義例如--ifs ;、--ofs |。Miller 為此提供了命名別名可在命令行直接書寫。執(zhí)行以下命令查看完整列表mlr help list-separator-aliasesascii_esc \x1b ascii_etx \x03 ascii_fs \x1c ascii_gs \x1d ascii_null \x00 ascii_rs \x1e ascii_soh \x01 ascii_stx \x02 ascii_us \x1f asv_fs \x1f asv_rs \x1e colon : comma , cr \r crcr \r\r crlf \r\n crlfcrlf \r\n\r\n equals lf \n lflf \n\n newline \n pipe | semicolon ; slash / space tab \t usv_fs \xe2\x90\x9f usv_rs \xe2\x90\x9e這些別名中crlf、crlfcrlf、lflf等對換行風格特別有用——例如--ors crlf可以輸出 RFC-4180 風格的 CRLF 行尾。asv_fs/asv_rs對應 ASCII 單位分隔符/記錄分隔符與usv_fs/usv_rs對應 Unicode U241F/U241E則是 ASV/USV 這類專門用于分隔字段/記錄的控制字符格式見 CSV/TSV/ASV/USV 等格式說明。而--ifs-regex與--ips-regex則另有正則別名表mlr help list-separator-regex-aliasesspaces ( ) tabs (\t) whitespace ([ \t])從源碼 pkg/cli/separators.go 看這些別名都定義在SEPARATOR_NAMES_TO_VALUES與SEPARATOR_REGEX_NAMES_TO_VALUES兩張映射表中pkg/cli/mlrcli_util.go 中的SeparatorFromArg與SeparatorRegexFromArg函數(shù)負責把別名解析為真實的分隔符字符串——如果命中別名表就返回對應值否則原樣返回參數(shù)本身。這也是 shell 補全pkg/cli/flag_types.go 中的FlagValueCandidates能夠為--ifs等 flag 枚舉候選值的基礎。命令行 flag 匯總綜合以上內(nèi)容Miller 的分隔符相關 flag 全景如下--rs --irs --ors --fs --ifs --ofs --repifs --ifs-regex --ps --ips --ops --ips-regex其中--rs {string}/--irs {string}/--ors {string}記錄分隔符輸入和輸出 / 僅輸入 / 僅輸出--fs {string}/--ifs {string}/--ofs {string}字段分隔符輸入和輸出 / 僅輸入 / 僅輸出--ps {string}/--ips {string}/--ops {string}鍵值對分隔符輸入和輸出 / 僅輸入 / 僅輸出--repifs允許輸入字段分隔符連續(xù)重復出現(xiàn)并只算一次--ifs-regex {string}/--ips-regex {string}以正則表達式形式指定輸入字段分隔符 / 輸入鍵值對分隔符。完整的 flag 說明可參見 reference-main-flag-list.md 的分隔符 flag 一節(jié)或在終端運行mlr help separator-flags查看。DSL 內(nèi)置變量IRS、ORS、IFS、OFS、IPS、OPSMiller 在 DSL 中向用戶暴露了只讀的 內(nèi)置變量IRS、ORS、IFS、OFS、IPS、OPS。與 AWK 不同你不能在 begin 塊中給這些變量賦值——它們的值只反映你在命令行指定的內(nèi)容因此用途有限主要用于調(diào)試或在put/filter中讀取當前生效的分隔符。例如下面的命令在每條記錄上追加一個字段d其值由輸入字段分隔符,與輸出字段分隔符;拼接而成mlr --ifs , --ofs ; --ips --ops : --from docs/src/data/a.dkvp put $d . IFS . ||| . OFS . a:1;b:2;c:3;d:,|||; a:4;b:5;c:6;d:,|||;可以看到d字段中嵌入了IFS,與OFS;的真實值直觀驗證了內(nèi)置變量的含義。哪些分隔符適用于哪些文件格式不同文件格式對 RS/FS/PS 的支持程度差異很大。官方文檔給出了完整的對照表RSFSPSCSV默認\n可設為\r\n*默認,必須是單字符無TSV默認\n可設為\r\n*默認\t必須是單字符無CSV-lite默認\n*默認,無TSV-lite默認\n*默認\t無JSON不適用記錄位于{與}之間恒為,不可修改恒為:不可修改YAML不適用文檔由---或單個數(shù)組分隔不適用不可修改恒為:不可修改DCF不適用段落由空行分隔不適用不可修改恒為:不可修改recutils不適用記錄由空行分隔不適用不可修改恒為:不可修改DKVP默認\n默認,默認DKVPX默認\n默認,輸入必須是單字符默認輸入必須是單字符NIDX默認\n默認空格無XTAB不使用記錄之間用額外的 FS 分隔\n*默認空格并允許重復PPRINT默認\n*空格并允許重復無Markdown恒為\n不可修改 *一個或多個空格加|再加一個或多個空格不可修改無* 在 Windows 上為\r\n。配套的注意事項如下CSVIRS必須是換行符輸入時接受 CR/LF 行尾ORS必須是換行符默認或回車換行——例如--ors crlf或--ors \r\n用于在任何平臺上輸出 RFC-4180 風格行尾IFS必須是單字符。CSV-lite 沒有這些限制。TSVIRS必須是換行符輸入時接受 CR/LF 行尾ORS必須是換行符默認或回車換行IFS必須是制表符。TSV-lite 沒有這些限制。JSON 與 YAML忽略命令行傳入的分隔符 flag。無表頭 CSV與使用逗號作為IFS的 NIDX 格式有相當程度的重疊詳見 CSV 帶表頭與不帶表頭。XTAB的記錄分隔符是字段分隔符的重復例如一條記錄是x1,y2、下一條是x3,y4且OFS為換行符時輸出行依次為x 1、y 2、一個額外換行、x 3、y 4。這意味著要定制 XTAB應設置OFS而非ORS。這張表的底層依據(jù)同樣可以在 pkg/cli/separators.go 中找到defaultFSes、defaultPSes、defaultRSes三張表按格式csv、tsv、csvlite、tsvlite、json、yaml、dkvp、dkvpx、nidx、xtab、pprint、markdown等記錄了每種格式的默認分隔符凡標記為N/A的即表示該格式不可參數(shù)化。例如defaultFSes[json] N/A、defaultRSes[xtab] \n\nXTAB 用兩個換行——即空行——分隔記錄與文檔表格完全吻合。小結與實戰(zhàn)建議Miller 的分隔符體系可以概括為三句話三層分隔記錄分隔符RS切記錄、字段分隔符FS切字段、鍵值對分隔符PS切鍵值三者分別有輸入I與輸出O兩個版本共六個獨立可配置項。按需取舍DKVP、XTAB 等格式三類分隔符齊全且全部可編程CSV/TSV 無鍵值對分隔符但字段分隔符可編程JSON/YAML/DCF/recutils 等格式的分隔符由規(guī)范決定不可修改。用對工具普通場景直接用--ifs/--ofs/--ips/--ops或快捷的--fs/--ps連續(xù)空格數(shù)據(jù)用--ifs space --repifs比正則快約 3 倍真正需要正則切分時用--ifs-regex/--ips-regex需要跨平臺穩(wěn)定行尾時用--ors crlf等別名。掌握這些參數(shù)你就可以在 CSV、TSV、DKVP、NIDX、XTAB、JSON 等格式之間自由轉(zhuǎn)換數(shù)據(jù)也可以在同一格式內(nèi)部按需定制分隔符——這正是 Miller 作為面向命名索引數(shù)據(jù)的 awk/sed/cut/join/sort的核心能力之一。贊分享CLI數(shù)據(jù)分析【免費下載鏈接】millerMiller is like awk, sed, cut, join, and sort for name-indexed data such as CSV, TSV, and tabular JSON項目地址https://gitcode.com/gh_mirrors/mi/miller點擊查看免費下載相關推薦antd Space 分隔符separator完全指南相鄰組件間隔符的配置方式與渲染原理antd Space 分隔符separator完全指南相鄰組件間隔符的配置方式與渲染原理 Ant Design 的 Space https://link.前端UI組件設計系統(tǒng)StarRocks split 函數(shù)完全指南字符串按分隔符切分與 ARRAY 化處理StarRocks split 函數(shù)完全指南字符串按分隔符切分與 ARRAY 化處理 split 是 StarRocks 提供的字符串處理函數(shù)用于將一段字符數(shù)據(jù)庫OLAP數(shù)據(jù)倉庫大數(shù)據(jù)湖倉一體數(shù)據(jù)分析SeaTunnel Split Transform 詳解按分隔符拆分字段的配置、行為與源碼原理SeaTunnel Split Transform 詳解按分隔符拆分字段的配置、行為與源碼原理 Split Transform 是 SeaTunnel se數(shù)據(jù)集成ETL大數(shù)據(jù)批處理流處理變更數(shù)據(jù)捕獲上一篇如何用Mousecape打造專屬桌面體驗5步個性化指南下一篇Zeus IoT解鎖百萬級設備并發(fā)的工業(yè)級物聯(lián)網(wǎng)平臺創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考