簡介《主數(shù)據(jù)管理實踐白皮書2.0》由中國信通院云計算與大數(shù)據(jù)研究所牽頭聯(lián)合多家企業(yè)于2023年數(shù)據(jù)資產(chǎn)管理大會發(fā)布面向數(shù)據(jù)治理從業(yè)者、企業(yè)數(shù)據(jù)架構(gòu)師及主數(shù)據(jù)管理相關(guān)人員。白皮書沿用1.0版主體結(jié)構(gòu)重點新增各行業(yè)主數(shù)據(jù)實踐、管理模式與管理策略系統(tǒng)梳理主數(shù)據(jù)定義、特點、管理范圍及與元數(shù)據(jù)、明細(xì)數(shù)據(jù)、參考數(shù)據(jù)的關(guān)系并覆蓋裝備制造、能源化工、金融、通信、地產(chǎn)、政府機構(gòu)等行業(yè)的落地案例。資源包內(nèi)含1個PDF文件大小約4.47MB內(nèi)容涵蓋主數(shù)據(jù)識別、標(biāo)準(zhǔn)制定、管理制度、管理平臺、應(yīng)用模式及成功要素與誤區(qū)分析目錄結(jié)構(gòu)完整便于按章節(jié)檢索學(xué)習(xí)。目前已有252人學(xué)習(xí)下載適合需要系統(tǒng)理解主數(shù)據(jù)管理體系、對標(biāo)行業(yè)實踐或推進(jìn)企業(yè)主數(shù)據(jù)項目落地的讀者參考。1. 主數(shù)據(jù)管理到底是什么從一個“客戶名字對不上”的困惑說起你有沒有遇到過這種事同一個客戶在銷售系統(tǒng)里叫“某某科技有限公司”在財務(wù)系統(tǒng)里叫“某某科技公司”到了客服系統(tǒng)又變成了“某某科技股份有限公司”。三個系統(tǒng)各記各的月底對賬時財務(wù)和銷售吵得不可開交最后發(fā)現(xiàn)只是名字寫法不一樣。這不是誰工作不認(rèn)真而是缺了一套讓所有系統(tǒng)“說同一種話”的機制。這套機制就是主數(shù)據(jù)管理。主數(shù)據(jù)指的是一個組織里那些跨部門、跨業(yè)務(wù)、跨系統(tǒng)都要用到的核心業(yè)務(wù)實體信息比如客戶、供應(yīng)商、物料、組織機構(gòu)、人員。它們像是一棟大樓的地基——平時看不見但所有業(yè)務(wù)都踩在上面。主數(shù)據(jù)管理則是圍繞這些數(shù)據(jù)制定規(guī)則、搭建平臺、理順流程的一整套做法目標(biāo)只有一個讓同一個業(yè)務(wù)對象在全組織范圍內(nèi)只有一個權(quán)威版本。這份《主數(shù)據(jù)管理實踐白皮書2.0》要講透的正是這套機制怎么想、怎么做、怎么不踩坑。2. 為什么主數(shù)據(jù)值得單獨管它和普通數(shù)據(jù)到底差在哪2.1 主數(shù)據(jù)的七個特征不是所有數(shù)據(jù)都叫主數(shù)據(jù)很多人第一次聽到“主數(shù)據(jù)”這個詞會下意識覺得“主”就是“主要”那公司里主要的數(shù)據(jù)都是主數(shù)據(jù)。這個理解偏了。白皮書里列了主數(shù)據(jù)的七個特征我挑三個最關(guān)鍵的展開說?？缭讲块T。主數(shù)據(jù)是各個部門在開展業(yè)務(wù)時都需要的數(shù)據(jù)是所有部門及其業(yè)務(wù)過程的“最大公約數(shù)”。銷售要用客戶信息財務(wù)也要用客戶信息客服還要用客戶信息——這個客戶信息就是主數(shù)據(jù)。但銷售產(chǎn)生的訂單記錄財務(wù)部門不會直接拿來用那就不算。跨越流程。主數(shù)據(jù)不依賴某個具體業(yè)務(wù)流程但主要業(yè)務(wù)流程都離不開它。打個比方客戶這個實體從簽約到發(fā)貨到收款到售后每個流程都要引用它但它本身不會因為流程走完了就消失。它像舞臺的布景戲一場接一場地演布景一直在那兒。穩(wěn)定性。主數(shù)據(jù)描述的是操作對象的關(guān)鍵信息業(yè)務(wù)過程中產(chǎn)生的數(shù)據(jù)會繼承、引用、復(fù)制這些信息但除非主數(shù)據(jù)的基本特征發(fā)生改變否則它不會隨著業(yè)務(wù)的改變而改變?？蛻舻淖缘刂纷兞四鞘亲兏蛻粝铝艘还P新訂單那是明細(xì)數(shù)據(jù)不是主數(shù)據(jù)變了。除了這三個還有權(quán)威性、共享性、長期性、擴展性、高價值性。七個特征合在一起其實就在回答一個問題這份數(shù)據(jù)是不是全組織都認(rèn)、都用的“基準(zhǔn)線”是才值得單獨管。2.2 不管主數(shù)據(jù)會怎樣三個真實會發(fā)生的麻煩不搞主數(shù)據(jù)管理最直接的后果就是信息交互成本飆升。每個系統(tǒng)各存一套客戶編碼系統(tǒng)之間傳數(shù)據(jù)時得額外維護(hù)映射表A系統(tǒng)的“C001”對應(yīng)B系統(tǒng)的“KH001”對應(yīng)C系統(tǒng)的“客戶001”。映射表一多維護(hù)的人自己都記不清更別說新增系統(tǒng)時又要重新對一遍。白皮書里說得很直白通過統(tǒng)一的主數(shù)據(jù)管理機制可以降低信息核對的成本避免因為基礎(chǔ)數(shù)據(jù)的多樣導(dǎo)致的信息核對、匯總、統(tǒng)計的失誤和錯誤。第二個麻煩是數(shù)據(jù)標(biāo)準(zhǔn)化無從談起。沒有主數(shù)據(jù)管控體系組織架構(gòu)、運營模式、管控流程、角色與職責(zé)都是模糊的各部門按自己的習(xí)慣來最后數(shù)據(jù)集成和共享的穩(wěn)定性根本沒法保證。第三個麻煩更隱蔽數(shù)據(jù)源質(zhì)量失控。主數(shù)據(jù)平臺前端如果沒有可靠的控制人為因素產(chǎn)生的數(shù)據(jù)問題會源源不斷。比如錄入客戶信息時有人寫全稱有人寫簡稱有人把“有限公司”寫成“有限責(zé)任公司”這些看似微小的差異到了數(shù)據(jù)分析環(huán)節(jié)就是災(zāi)難。構(gòu)建通用的、方便的、集中處理的主數(shù)據(jù)總線實現(xiàn)一致性的組織級數(shù)據(jù)視圖才能從源頭把質(zhì)量管住。2.3 主數(shù)據(jù)管理的核心價值一實體一編碼主數(shù)據(jù)管理最核心的價值用一句話概括就是在標(biāo)準(zhǔn)化的基礎(chǔ)上實現(xiàn)唯一化。白皮書里反復(fù)強調(diào)“一實體一編碼”一物一碼、一客一碼、一人一碼。這個“一碼”不是隨便編個號而是經(jīng)過跨部門業(yè)務(wù)協(xié)同和組織機構(gòu)基礎(chǔ)信息整合后由權(quán)威部門維護(hù)的唯一標(biāo)識。有了這個唯一編碼各系統(tǒng)在交互數(shù)據(jù)時可以直接使用無需額外維護(hù)映射表和進(jìn)行翻譯處理。這就像全國身份證號不管你走到哪個城市、辦什么事出示的都是同一個號碼不需要每個城市再給你編一套本地號。主數(shù)據(jù)管理要做的就是給企業(yè)的核心業(yè)務(wù)實體發(fā)“身份證”。3. 主數(shù)據(jù)容易和什么搞混四組關(guān)系一次厘清3.1 主數(shù)據(jù) vs 元數(shù)據(jù)一個是貨物一個是說明書元數(shù)據(jù)是關(guān)于數(shù)據(jù)的描述性信息提供數(shù)據(jù)的定義、結(jié)構(gòu)、來源、格式等詳細(xì)說明充當(dāng)數(shù)據(jù)的“數(shù)據(jù)說明書”。主數(shù)據(jù)是實際的業(yè)務(wù)實體信息是業(yè)務(wù)活動和決策的基礎(chǔ)。打個比方倉庫里有一批貨主數(shù)據(jù)是貨本身——客戶、產(chǎn)品、供應(yīng)商元數(shù)據(jù)是貼在貨架上的標(biāo)簽和隨貨附的清單告訴你這批貨叫什么、從哪來、什么規(guī)格、什么時候入庫。標(biāo)簽和清單很重要沒有它們你管不好貨但它們不是貨。元數(shù)據(jù)可以描述主數(shù)據(jù)的各種屬性包括名稱、類型、來源、創(chuàng)建日期幫助更好地理解主數(shù)據(jù)確保一致性和準(zhǔn)確性。兩者相輔相成但角色完全不同。3.2 主數(shù)據(jù) vs 明細(xì)數(shù)據(jù)名詞和動詞的區(qū)別白皮書里用了一個很精妙的類比主數(shù)據(jù)捕獲的是名詞明細(xì)數(shù)據(jù)捕獲的是動詞。主數(shù)據(jù)是“物品中文名稱”“企業(yè)注冊資金”這類相對穩(wěn)定的信息靜止不變或者一段時間內(nèi)靜止不變。明細(xì)數(shù)據(jù)是物流運輸數(shù)據(jù)、傳感器數(shù)據(jù)、客戶訂單、存貨跟蹤、銷售記錄、售后事件它們是實時變化的描述的是某一個時間點發(fā)生的事務(wù)行為。名詞和動詞的關(guān)系意味著主數(shù)據(jù)是明細(xì)數(shù)據(jù)的上下文。沒有“客戶”這個名詞一筆“客戶下單”的動詞就失去了主語。反過來明細(xì)數(shù)據(jù)不斷產(chǎn)生但主數(shù)據(jù)不會因此改變除非客戶的基本特征真的變了。3.3 主數(shù)據(jù) vs 參考數(shù)據(jù)特殊子集和上下文提供者參考數(shù)據(jù)是定義其他數(shù)據(jù)字段使用的一組允許值的數(shù)據(jù)包含附加的文本描述更像數(shù)據(jù)字典。從范圍上看參考數(shù)據(jù)是主數(shù)據(jù)的一種特殊子集。兩者都是為了業(yè)務(wù)數(shù)據(jù)的創(chuàng)建和使用提供重要的上下文語境信息同時參考數(shù)據(jù)又為主數(shù)據(jù)提供上下文以便用戶理解數(shù)據(jù)的含義。舉個例子客戶主數(shù)據(jù)里有個“客戶等級”字段取值只能是“鉆石、黃金、白銀、普通”。這個取值列表就是參考數(shù)據(jù)。它本身不是客戶但它定義了客戶某個屬性的合法范圍。主數(shù)據(jù)和參考數(shù)據(jù)在組織運營過程中均塑造了進(jìn)入組織的業(yè)務(wù)數(shù)據(jù)而且兩者都是組織層面的共享資源。3.4 主數(shù)據(jù)管理 vs 數(shù)據(jù)治理局部和全局的關(guān)系數(shù)據(jù)治理是更大的框架涵蓋數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)生命周期等方方面面。主數(shù)據(jù)管理是數(shù)據(jù)治理中的一個關(guān)鍵環(huán)節(jié)聚焦在核心業(yè)務(wù)實體的跨系統(tǒng)一致性上。白皮書把主數(shù)據(jù)管理作為企業(yè)數(shù)據(jù)管理體系的重要一環(huán)位置擺得很清楚它不是全部但缺了它整個體系就缺了地基。4. 主數(shù)據(jù)管理具體管什么從識別到應(yīng)用的完整鏈條4.1 主數(shù)據(jù)識別三個條件同時滿足才算數(shù)主數(shù)據(jù)對象的識別主要看三個方面是否為核心對象、是否屬于基礎(chǔ)數(shù)據(jù)、是否被重復(fù)使用。被判定對象需要同時具備這三個特征才能被識別為主數(shù)據(jù)對象。核心對象是與組織業(yè)務(wù)經(jīng)營直接相關(guān)的最關(guān)鍵、最核心的數(shù)據(jù)對象基礎(chǔ)數(shù)據(jù)是組織業(yè)務(wù)經(jīng)營活動發(fā)生的依托重復(fù)使用是被組織多個業(yè)務(wù)部門、多個系統(tǒng)之間共享。實際操作中組織通常會使用多因素分析方法結(jié)合共享性、權(quán)威性、穩(wěn)定性、高價值性等識別因素判別符合程度。白皮書里提到了UC矩陣法用UUse和CCreate來表示數(shù)據(jù)的使用和產(chǎn)生情況識別同一類數(shù)據(jù)由多少個源頭創(chuàng)建、由多少個系統(tǒng)共享。一個數(shù)據(jù)如果只有一個系統(tǒng)創(chuàng)建、多個系統(tǒng)使用那它大概率就是主數(shù)據(jù)。4.2 主數(shù)據(jù)標(biāo)準(zhǔn)編碼、分類、描述、質(zhì)量安全四件套主數(shù)據(jù)標(biāo)準(zhǔn)通常包含編碼規(guī)范、分類體系、描述與表達(dá)規(guī)范、質(zhì)量與安全規(guī)范。編碼規(guī)范用于唯一標(biāo)識和分類包括編碼規(guī)則、編碼結(jié)構(gòu)、編碼字典三部分。編碼規(guī)則定義如何生成唯一編碼比如使用數(shù)字、字母或組合編碼結(jié)構(gòu)定義編碼的組成部分和它們之間的關(guān)系編碼字典提供編碼的含義和解釋。分類體系是對組織內(nèi)主數(shù)據(jù)進(jìn)行分類和組織的一套方法和框架包括分類方法、分類層次、分類字典。描述與表達(dá)規(guī)范即主數(shù)據(jù)模型包含主數(shù)據(jù)定義、數(shù)據(jù)格式、數(shù)據(jù)值范圍、數(shù)據(jù)字典、數(shù)據(jù)關(guān)系。質(zhì)量與安全規(guī)范則明確準(zhǔn)確性、完整性、一致性、可用性等質(zhì)量要求以及訪問控制、加密、備份等安全要求。4.3 主數(shù)據(jù)管理平臺九個模塊撐起一套系統(tǒng)白皮書列出的主數(shù)據(jù)管理平臺功能包括主數(shù)據(jù)標(biāo)準(zhǔn)管理、主數(shù)據(jù)編碼管理、主數(shù)據(jù)建模管理、主數(shù)據(jù)生命周期管理、主數(shù)據(jù)集成管理、主數(shù)據(jù)質(zhì)量管理、主數(shù)據(jù)安全管理、工作流程管理、用戶權(quán)限管理。這九個模塊不是每個企業(yè)都要全部上但核心邏輯是標(biāo)準(zhǔn)先行編碼統(tǒng)一模型定義清楚然后管住從申請、校驗、審核、發(fā)布、維護(hù)、變更到停用的全生命周期。4.4 主數(shù)據(jù)應(yīng)用集中式、聯(lián)邦式、分析式三條路主數(shù)據(jù)的應(yīng)用模式有三種。集中式應(yīng)用是建立統(tǒng)一的主數(shù)據(jù)平臺各系統(tǒng)都從這里取數(shù)適合管控力度強的組織。聯(lián)邦式應(yīng)用是集團(tuán)和成員單位兩級部署集團(tuán)統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一編碼、統(tǒng)一管理、統(tǒng)一發(fā)布成員單位在集團(tuán)管轄范圍外可以自管適合多業(yè)態(tài)集團(tuán)。分析式應(yīng)用是把主數(shù)據(jù)作為分析對象支撐決策和分析。5. 主數(shù)據(jù)管理的常見誤區(qū)五條血淚經(jīng)驗5.1 誤區(qū)一主數(shù)據(jù)管理無法貫穿源頭系統(tǒng)易混點以為建了主數(shù)據(jù)平臺就萬事大吉源頭系統(tǒng)該怎么錄還怎么錄。為什么混主數(shù)據(jù)平臺看起來是“中心”容易讓人以為數(shù)據(jù)都從這里走。怎么區(qū)分主數(shù)據(jù)管理必須貫穿源頭系統(tǒng)。如果源頭系統(tǒng)不改造、不接入主數(shù)據(jù)平臺就是個空殼。白皮書在金融行業(yè)實踐里特別提到金融業(yè)可以較為徹底地對源頭業(yè)務(wù)系統(tǒng)進(jìn)行改造升級并做好全局的系統(tǒng)對接確保主數(shù)據(jù)上下游一致貫通。源頭不改后面全白搭。5.2 誤區(qū)二混淆業(yè)務(wù)實體數(shù)據(jù)和主數(shù)據(jù)范圍易混點把交易數(shù)據(jù)、賬單數(shù)據(jù)也當(dāng)成主數(shù)據(jù)來管。為什么混這些數(shù)據(jù)也很重要也跨系統(tǒng)容易讓人誤以為“重要主數(shù)據(jù)”。怎么區(qū)分主數(shù)據(jù)是反映核心業(yè)務(wù)實體狀態(tài)屬性的基礎(chǔ)信息交易數(shù)據(jù)、賬單數(shù)據(jù)是明細(xì)數(shù)據(jù)是動詞不是名詞。判斷標(biāo)準(zhǔn)很簡單這個數(shù)據(jù)是描述“誰/什么”還是描述“發(fā)生了什么”前者可能是主數(shù)據(jù)后者一定不是。5.3 誤區(qū)三同時維護(hù)多套主數(shù)據(jù)編碼體系易混點集團(tuán)一套編碼子公司一套編碼各業(yè)務(wù)線再一套編碼。為什么混不同業(yè)務(wù)線歷史遺留不同各自有各自的編碼習(xí)慣強行統(tǒng)一阻力大。怎么區(qū)分主數(shù)據(jù)的核心價值就是唯一化。同時維護(hù)多套編碼體系等于沒有主數(shù)據(jù)管理。白皮書強調(diào)“一實體一編碼”如果做不到跨系統(tǒng)信息對稱就是空話。多套編碼并存的組織最后還是要花大力氣做映射成本一點沒省。5.4 誤區(qū)四組織內(nèi)主數(shù)據(jù)編碼沿用外部編碼易混點直接拿外部標(biāo)準(zhǔn)編碼當(dāng)自己的主數(shù)據(jù)編碼用。為什么混外部編碼看起來權(quán)威、省事不用自己編。怎么區(qū)分外部編碼可以作為參考但組織內(nèi)主數(shù)據(jù)編碼必須反映自身業(yè)務(wù)實體的唯一性。外部編碼的更新節(jié)奏、覆蓋范圍、編碼規(guī)則不一定匹配組織內(nèi)部需求。白皮書在通信行業(yè)實踐里提到通信企業(yè)普遍發(fā)布了主數(shù)據(jù)標(biāo)準(zhǔn)推動主數(shù)據(jù)在企業(yè)范圍內(nèi)保持統(tǒng)一這個統(tǒng)一是組織級的統(tǒng)一不是照搬外部。5.5 誤區(qū)五將主數(shù)據(jù)作為孤立項目推行易混點立項、建平臺、上線然后項目組解散。為什么混項目制是常見的IT建設(shè)方式容易讓人以為主數(shù)據(jù)也是一錘子買賣。怎么區(qū)分主數(shù)據(jù)管理是長效機制不是孤立項目。白皮書在成功要素里明確列出高層領(lǐng)導(dǎo)支持和參與、業(yè)務(wù)方深度參與和認(rèn)責(zé)、合適的主數(shù)據(jù)管理模式、技術(shù)工具的選擇、主數(shù)據(jù)度量與評估。這五條沒有一條是項目上線就結(jié)束的。主數(shù)據(jù)管理需要持續(xù)運營度量與評估要常態(tài)化。6. 什么時候該上主數(shù)據(jù)管理什么時候先別急主數(shù)據(jù)管理不是萬能藥也不是所有組織都必須立刻上馬。判斷的標(biāo)準(zhǔn)白皮書其實已經(jīng)給了當(dāng)組織面臨跨部門、跨業(yè)務(wù)、跨流程、跨系統(tǒng)的數(shù)據(jù)一致性問題時主數(shù)據(jù)管理就是剛需。具體來說如果你發(fā)現(xiàn)以下信號說明該認(rèn)真考慮主數(shù)據(jù)管理了同一個客戶在三個以上系統(tǒng)里有不同編碼月底對賬需要人工核對基礎(chǔ)信息新系統(tǒng)上線時對接老系統(tǒng)的基礎(chǔ)數(shù)據(jù)要花幾周時間做映射數(shù)據(jù)分析報告里同一個維度的數(shù)據(jù)對不上。但反過來如果組織規(guī)模很小業(yè)務(wù)系統(tǒng)就那么兩三個部門之間溝通靠吼就能對齊那強行上主數(shù)據(jù)管理平臺反而是負(fù)擔(dān)。主數(shù)據(jù)管理的成本不低需要組織保障、流程改造、系統(tǒng)對接小組織未必扛得住。還有一種情況是先別急如果組織連基本的數(shù)據(jù)標(biāo)準(zhǔn)都沒有數(shù)據(jù)質(zhì)量一團(tuán)糟那應(yīng)該先做數(shù)據(jù)治理的基礎(chǔ)工作把元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量管起來再考慮主數(shù)據(jù)管理。主數(shù)據(jù)管理是數(shù)據(jù)治理體系里比較靠上的環(huán)節(jié)地基沒打好就蓋樓容易翻車。白皮書里提到的成功要素其實也是判斷能不能上的清單高層領(lǐng)導(dǎo)支持和參與有沒有業(yè)務(wù)方深度參與和認(rèn)責(zé)有沒有合適的主數(shù)據(jù)管理模式想清楚了沒有技術(shù)工具選型有沒有譜主數(shù)據(jù)度量與評估機制有沒有這五條如果大部分是“沒有”那建議先補課別急著上平臺。我自己踩過的坑是曾經(jīng)以為主數(shù)據(jù)管理就是買個軟件、配個編碼規(guī)則結(jié)果發(fā)現(xiàn)最難的從來不是技術(shù)而是讓業(yè)務(wù)部門認(rèn)賬。編碼規(guī)則定了業(yè)務(wù)部門說“我們習(xí)慣用自己的”平臺上了源頭系統(tǒng)說“改造排期排到明年”。后來才明白主數(shù)據(jù)管理本質(zhì)是管理問題技術(shù)只是載體。從那以后我每次評估主數(shù)據(jù)項目都強制先走一遍“業(yè)務(wù)方認(rèn)不認(rèn)、源頭改不改、編碼統(tǒng)不統(tǒng)”這三問答不上來就不往下推。希望幫到你。本文還有配套的精品資源點擊獲取