簡(jiǎn)介一套面向數(shù)據(jù)分析師、前端開(kāi)發(fā)者與企業(yè)管理的BI可視化模板合集內(nèi)含100套大數(shù)據(jù)展示案例覆蓋業(yè)務(wù)駕駛艙、實(shí)時(shí)監(jiān)控、經(jīng)營(yíng)分析、銷(xiāo)售報(bào)表、用戶畫(huà)像等高頻場(chǎng)景。壓縮包共2000個(gè)文件以JavaScript腳本、CSS樣式和HTML頁(yè)面為核心同時(shí)配有PNG、JPG、GIF圖片素材、JSON測(cè)試數(shù)據(jù)以及字體、圖標(biāo)、地圖、配置文件等周邊資源整體約471MB模板多基于Bootstrap等前端框架結(jié)構(gòu)完整可直接替換數(shù)據(jù)用于演示或二次開(kāi)發(fā)。內(nèi)容涉及大數(shù)據(jù)處理框架、ETL流程、數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)湖、實(shí)時(shí)流分析、預(yù)測(cè)建模等知識(shí)的可視化表達(dá)直觀呈現(xiàn)從數(shù)據(jù)采集到?jīng)Q策看板的完整鏈路對(duì)理解Hadoop、Spark、Kafka等技術(shù)棧很有幫助。已有649人學(xué)習(xí)下載適合初學(xué)者研究圖表布局與配色也適合開(kāi)發(fā)者快速搭建大屏原型、完善項(xiàng)目交付從中獲得可復(fù)用的頁(yè)面方案與數(shù)據(jù)呈現(xiàn)思路。1. 100套BI大數(shù)據(jù)展示真正難的不是畫(huà)屏而是數(shù)據(jù)鏈路很多人接到“做100套BI大數(shù)據(jù)展示”這個(gè)需求時(shí)第一反應(yīng)是找模板、換圖表、調(diào)配色。實(shí)際落地過(guò)的人都知道100套大屏里真正讓你熬夜的不是那張圖怎么畫(huà)而是背后的數(shù)據(jù)從哪來(lái)、怎么算、怎么保證不翻車(chē)。BI大數(shù)據(jù)展示的本質(zhì)是“數(shù)據(jù)接入 - 建模 - 可視化”三段式工程畫(huà)屏只是最后一步。適合誰(shuí)看負(fù)責(zé)公司數(shù)據(jù)大屏、BI報(bào)表、運(yùn)營(yíng)駕駛艙的數(shù)據(jù)開(kāi)發(fā)、BI工程師或者是被老板一句話“把數(shù)據(jù)都上墻”砸中的后端同學(xué)。這里有個(gè)反直覺(jué)結(jié)論100套展示頁(yè)面的工作量分布大約是 20% 做圖表、30% 做數(shù)據(jù)模型、50% 在排坑和處理數(shù)據(jù)質(zhì)量。本文就把這條鏈路拆開(kāi)講透從架構(gòu)選型一路講到參數(shù)調(diào)優(yōu)和常見(jiàn)坑。2. 先立住架構(gòu)與數(shù)據(jù)鏈路大屏展示系統(tǒng)的地基2.1 鏈路層決策單機(jī)直連、MPP數(shù)倉(cāng)還是數(shù)據(jù)倉(cāng)庫(kù)服務(wù)BI大數(shù)據(jù)展示的第一步不是選圖表庫(kù)而是先把數(shù)據(jù)從業(yè)務(wù)系統(tǒng)搬到“能查得快”的地方。常見(jiàn)的做法有三種我一般會(huì)按數(shù)據(jù)量和并發(fā)這兩個(gè)維度來(lái)選。第一種是單機(jī)直連業(yè)務(wù)庫(kù)適合數(shù)據(jù)量在百萬(wàn)級(jí)以內(nèi)、并發(fā)查詢少的內(nèi)部看板。直接拿 MySQL 或 Oracle 的表來(lái)出數(shù)省掉中間環(huán)節(jié)開(kāi)發(fā)最快但業(yè)務(wù)庫(kù)壓力大上線后容易把線上事務(wù)拖垮。第二種是搭建 MPP 數(shù)倉(cāng)比如 Doris、StarRocks、ClickHouse適合千萬(wàn)到億級(jí)數(shù)據(jù)、大屏和自助分析并發(fā)查詢的場(chǎng)景。這類(lèi)系統(tǒng)用列式存儲(chǔ)和并行計(jì)算聚合查詢快但需要額外部署集群運(yùn)維成本高。第三種是采購(gòu)云上數(shù)據(jù)倉(cāng)庫(kù)服務(wù)或商業(yè) BI 平臺(tái)比如 Power BI 配合云數(shù)倉(cāng)。適合企業(yè)沒(méi)有專(zhuān)職大數(shù)據(jù)運(yùn)維團(tuán)隊(duì)、又想快速上線的情況。Power BI 的數(shù)據(jù)關(guān)系建模能力很成熟做多表關(guān)聯(lián)和指標(biāo)計(jì)算都方便但到了企業(yè)內(nèi)部部署層面仍繞不開(kāi)數(shù)據(jù)刷新和權(quán)限管控。選型時(shí)除了看數(shù)據(jù)量還要看查詢模式。大屏展示基本是匯總查詢很少有明細(xì)掃描所以優(yōu)先考慮支持預(yù)聚合的引擎。一個(gè)小建議早期可以先單機(jī)直連跑通端到端流程再切到 MPP 數(shù)倉(cāng)避免一上來(lái)就被運(yùn)維壓垮。2.2 BI引擎選型查得快的底層邏輯是預(yù)聚合和列式存儲(chǔ)BI 引擎的核心差異不在 SQL 語(yǔ)法而在存儲(chǔ)和計(jì)算方式。行式存儲(chǔ)如 MySQL InnoDB適合點(diǎn)查詢和頻繁更新但做SELECT region, SUM(sales) FROM orders GROUP BY region這種掃描時(shí)會(huì)把整行數(shù)據(jù)讀出來(lái)浪費(fèi) IO。列式存儲(chǔ)如 ClickHouse、Doris只讀取需要的列聚合性能高出幾個(gè)數(shù)量級(jí)。另一個(gè)關(guān)鍵點(diǎn)是預(yù)聚合。大屏上最常見(jiàn)的指標(biāo)比如今日銷(xiāo)售額、在線用戶數(shù)、訂單量其實(shí)可以提前算好存起來(lái)查詢時(shí)直接讀結(jié)果。常見(jiàn)做法是維護(hù)一張匯總表定時(shí)用離線任務(wù)跑聚合查詢端只碰匯總表。這套“空間換時(shí)間”的思路是90% BI 大屏項(xiàng)目不卡頓的根本原因。至于那些必須實(shí)時(shí)計(jì)算的指標(biāo)才讓查詢引擎直接算并在前端做緩存和輪詢控制。選型時(shí)還要考慮一個(gè)容易被忽視的點(diǎn)聯(lián)表查詢能力。Power BI 這類(lèi)工具通過(guò)數(shù)據(jù)關(guān)系模型自動(dòng)處理多表關(guān)聯(lián)而 ClickHouse 的 JOIN 相對(duì)弱需要提前把寬表建好。所以如果指標(biāo)體系里大量涉及多表關(guān)聯(lián)要么選支持星型模型優(yōu)化的引擎要么在建模階段就做寬表。2.3 最小可用鏈路搭建從業(yè)務(wù)庫(kù)抽取到寬表這里給出一套最小可用的抽取腳本先把鏈路跑通。場(chǎng)景是從 MySQL 業(yè)務(wù)庫(kù)讀取訂單表寫(xiě)入 Doris 寬表按天分區(qū)。# extract_orders.py # 增量抽取訂單數(shù)據(jù)到寬表依賴 Python 3.8 和 pymysql、requests import pymysql import requests import json import time # 業(yè)務(wù)庫(kù)連接只讀賬號(hào)避免影響線上事務(wù) src pymysql.connect( host192.168.1.10, port3306, userbi_reader, passwordxxxx, databaseapp_orders, charsetutf8mb4 ) # 目標(biāo)數(shù)倉(cāng) Stream Load API使用 Doris 的 HTTP 導(dǎo)入接口 dst_url http://192.168.1.20:8030/api/bi_dw/orders/_stream_load # 記錄上次抽取位點(diǎn)實(shí)際生產(chǎn)用元數(shù)據(jù)表存 offset last_sync_ts int(time.time()) - 3600 # 只取最近一小時(shí)新增或修改的數(shù)據(jù) sql f SELECT order_id, user_id, region, amount, status, pay_time FROM orders WHERE update_time FROM_UNIXTIME({last_sync_ts}) AND update_time FROM_UNIXTIME({int(time.time())}) LIMIT 50000 cur src.cursor() cur.execute(sql) rows cur.fetchall() # 轉(zhuǎn)為 JSON 數(shù)組并提交給 Doris data [ { order_id: r[0], user_id: r[1], region: r[2], amount: float(r[3]), status: r[4], pay_time: str(r[5]) } for r in rows ] resp requests.put(dst_url, datajson.dumps(data)) res resp.json() if res.get(Status) Success: print(floaded {len(rows)} rows) else: print(fload failed: {res})這段腳本做的事是從業(yè)務(wù)庫(kù)拉取增量數(shù)據(jù)轉(zhuǎn)成 JSON 后通過(guò) Doris 的 Stream Load 接口寫(xiě)入。注意幾個(gè)參數(shù)LIMIT 50000是單批次上限避免一次拉太多撐爆內(nèi)存時(shí)間窗口設(shè)成一小時(shí)是保守做法配合每 10 分鐘一次的調(diào)度就能做到準(zhǔn)實(shí)時(shí)。寫(xiě)入后必須檢查返回狀態(tài)Status不是Success時(shí)要告警不能靜默失敗。跑通后再往上建一層匯總表比如region_daily_summary按地區(qū)和日期預(yù)聚合訂單金額和單量大屏查詢?nèi)恐赶騾R總表。這一步做扎實(shí)后面做可視化就輕松很多。3. 建模與指標(biāo)口徑100套大屏最容易在同一張表上打架3.1 星型還是雪花BI大屏建模首先看維度冗余數(shù)據(jù)倉(cāng)庫(kù)建模有兩個(gè)經(jīng)典套路星型模型和雪花模型。星型模型把維度表冗余到一層比如地區(qū)維表直接帶省市區(qū)字段查詢時(shí)少 JOIN 一次適合查詢頻繁的 BI 場(chǎng)景雪花模型把維度拆成多級(jí)規(guī)范化表省存儲(chǔ)但查詢要多 JOIN。實(shí)際做大屏展示我一般選星型理由是 BI 引擎的強(qiáng)項(xiàng)就是列式掃描和預(yù)聚合存儲(chǔ)便宜、查詢快才是硬道理省那點(diǎn)空間沒(méi)有意義。建模時(shí)要特別注意維表的質(zhì)量。比如“地區(qū)”這個(gè)維度業(yè)務(wù)庫(kù)里可能既有“廣東省-深圳市”又有“廣東-深圳”不統(tǒng)一會(huì)導(dǎo)致同一個(gè)指標(biāo)在不同大屏上差出幾倍。這里要建一張標(biāo)準(zhǔn)的地區(qū)維表把業(yè)務(wù)側(cè)的雜數(shù)據(jù)映射到統(tǒng)一維度這個(gè)過(guò)程叫維度對(duì)齊是大屏不“打架”的前提。3.2 指標(biāo)口徑體系原子指標(biāo)、派生指標(biāo)與復(fù)合指標(biāo)的拆分100套大屏背后其實(shí)是幾十個(gè)核心指標(biāo)的不同組合。指標(biāo)口徑不統(tǒng)一是BI項(xiàng)目最常見(jiàn)的內(nèi)耗來(lái)源。比如“銷(xiāo)售額”這個(gè)指標(biāo)A 大屏按訂單支付時(shí)間統(tǒng)計(jì)B 大屏按訂單創(chuàng)建時(shí)間統(tǒng)計(jì)兩邊數(shù)字永遠(yuǎn)對(duì)不上。所以建模階段就要把指標(biāo)拆成三層原子指標(biāo)是直接從事實(shí)表里取的度量比如訂單金額、訂單數(shù)量有明確的業(yè)務(wù)定義。派生指標(biāo)是在原子指標(biāo)上增加維度限定比如“華東區(qū)銷(xiāo)售額”“今日支付訂單數(shù)”這里要統(tǒng)一“今日”的邊界自然日 00:00-23:59:59。復(fù)合指標(biāo)是業(yè)務(wù)計(jì)算規(guī)則比如“同比 (本期-同期)/同期”一旦定了規(guī)則不能隨意改。常見(jiàn)的落地做法是出一份指標(biāo)字典文檔寫(xiě)明每個(gè)指標(biāo)的名稱、口徑、計(jì)算公式、來(lái)源表和更新頻率。Power BI 項(xiàng)目里尤其建議直接在數(shù)據(jù)模型層定義計(jì)算列和度量值把口徑固化在模型里而不是靠各人寫(xiě) SQL 時(shí)自覺(jué)統(tǒng)一。3.3 數(shù)據(jù)質(zhì)量校驗(yàn)?zāi)_本聚合之前先過(guò)三關(guān)數(shù)據(jù)有質(zhì)量問(wèn)題大屏上線就是事故現(xiàn)場(chǎng)。我習(xí)慣在聚合任務(wù)之前加一層校驗(yàn)?zāi)_本跑三個(gè)檢查空值率、重復(fù)率、波動(dòng)率。# validate_data.py # 校驗(yàn)昨日明細(xì)數(shù)據(jù)質(zhì)量任意一項(xiàng)異常則退出并報(bào)警 import pymysql conn pymysql.connect(host192.168.1.20, userbi_check, passwordxxxx, databasebi_dw) cur conn.cursor() # 檢查1訂單表核心字段空值率超過(guò) 1% 則失敗 cur.execute( SELECT COUNT(*) AS total, SUM(CASE WHEN amount IS NULL OR amount 0 THEN 1 ELSE 0 END) AS bad_cnt FROM ods_orders WHERE ds CURRENT_DATE() - INTERVAL 1 DAY ) total, bad_cnt cur.fetchone() if bad_cnt and bad_cnt / total 0.01: raise SystemExit(famount 空值率異常: {bad_cnt / total:.2%}) # 檢查2訂單ID重復(fù)率超過(guò) 0.1% 則失敗 cur.execute( SELECT COUNT(*) - COUNT(DISTINCT order_id) AS dup_cnt, COUNT(*) AS total FROM ods_orders WHERE ds CURRENT_DATE() - INTERVAL 1 DAY ) dup_cnt, total2 cur.fetchone() if dup_cnt / total2 0.001: raise SystemExit(forder_id 重復(fù)率異常: {dup_cnt / total2:.2%}) # 檢查3日銷(xiāo)售額環(huán)比波動(dòng)超過(guò) 30% 則人工確認(rèn) cur.execute( SELECT SUM(amount) FROM ods_orders WHERE ds CURRENT_DATE() - INTERVAL 1 DAY ) today_amt cur.fetchone()[0] cur.execute( SELECT SUM(amount) FROM ods_orders WHERE ds CURRENT_DATE() - INTERVAL 2 DAY ) yesterday_amt cur.fetchone()[0] if today_amt and yesterday_amt and abs(today_amt - yesterday_amt) / yesterday_amt 0.3: print(fwarning: 日銷(xiāo)售額波動(dòng) {today_amt/yesterday_amt - 1:.2%}請(qǐng)人工確認(rèn))這段腳本的核心邏輯是把校驗(yàn)規(guī)則前置。空值率超過(guò) 1% 就阻斷聚合避免臟數(shù)據(jù)進(jìn)匯總表重復(fù)率檢查針對(duì)上游重復(fù)推送波動(dòng)率只告警不停任務(wù)因?yàn)榇蟠?、活?dòng)導(dǎo)致的波動(dòng)屬于正?，F(xiàn)象。參數(shù)0.01、0.001、0.3可以根據(jù)業(yè)務(wù)調(diào)整但閾值必須有否則數(shù)據(jù)異常會(huì)一路穿透到大屏。校驗(yàn)通過(guò)后讓腳本繼續(xù)執(zhí)行后續(xù)的聚合任務(wù)失敗則觸發(fā)告警釘釘/企業(yè)微信機(jī)器人即可并阻止大屏刷新。這樣能避免“數(shù)據(jù)錯(cuò)了一天沒(méi)人發(fā)現(xiàn)”的經(jīng)典翻車(chē)事故。4. 可視化與前端實(shí)現(xiàn)100套頁(yè)面靠模板化不靠手繪4.1 圖表選型與模板工程化從單個(gè)大屏抽象到組件庫(kù)BI 大屏可視化選型主流是 ECharts 和 AntV二者都提供豐富圖表類(lèi)型。ECharts 的生態(tài)成熟散點(diǎn)圖、地圖、關(guān)系圖等復(fù)雜圖表都開(kāi)箱即用適合快速搭建AntV G2Plot 的統(tǒng)計(jì)圖表更適合做數(shù)據(jù)洞察類(lèi)報(bào)表。做 100 套大屏?xí)r最忌諱每個(gè)頁(yè)面從零寫(xiě)配置正確方向是組件化把常用圖表封裝成組件用 JSON 配置驅(qū)動(dòng)一套代碼出幾十個(gè)頁(yè)面。常見(jiàn)做法是將頁(yè)面拆成三層基礎(chǔ)組件層折線圖、柱狀圖、排行表、指標(biāo)卡、業(yè)務(wù)組件層銷(xiāo)售趨勢(shì)圖、區(qū)域地圖、實(shí)時(shí)訂單滾動(dòng)列表、頁(yè)面模板層通過(guò)拖拽或 JSON 描述組合業(yè)務(wù)組件。100 套頁(yè)面不是 100 份獨(dú)立代碼而是 30 個(gè)業(yè)務(wù)組件配上不同的數(shù)據(jù)源和頁(yè)面布局。前端只需要維護(hù)組件庫(kù)新增需求時(shí)通常只是加一份 JSON 配置開(kāi)發(fā)周期從 3 天壓縮到 3 小時(shí)。4.2 大數(shù)據(jù)量渲染的落地啟示從 QTableWidget 卡頓到 QAbstractTableModel 優(yōu)化大屏和數(shù)據(jù)報(bào)表里經(jīng)常遇到“數(shù)據(jù)量大導(dǎo)致界面卡死”的問(wèn)題。這個(gè)在 Web 端可以用虛擬滾動(dòng)解決而在桌面端工具、內(nèi)部數(shù)據(jù)管理客戶端里經(jīng)典案例是 Qt 的表格卡頓。很多人用 QTableWidget 直接塞幾萬(wàn)行數(shù)據(jù)界面瞬間失去響應(yīng)。原因是 QTableWidget 為每個(gè)單元格都創(chuàng)建了獨(dú)立的 item 對(duì)象10 萬(wàn)行乘以 10 列就是 100 萬(wàn)個(gè)對(duì)象內(nèi)存和渲染全部崩塌。解決思路是改用 QTableView 配合自定義 QAbstractTableModel。模型只維護(hù)數(shù)據(jù)本身視圖按需向模型索要可見(jiàn)區(qū)域的單元格數(shù)據(jù)滾動(dòng)時(shí)動(dòng)態(tài)加載界面只渲染屏幕上那幾十行。這套機(jī)制叫“視圖只顯示可見(jiàn)區(qū)域”和 Web 端虛擬滾動(dòng)原理相同。# table_model.py # 使用 QAbstractTableModel 實(shí)現(xiàn)大數(shù)據(jù)量表格視圖只渲染可見(jiàn)區(qū)域 from PyQt5.QtCore import QAbstractTableModel, QModelIndex, Qt from PyQt5.QtWidgets import QApplication, QTableView, QVBoxLayout, QWidget class BigTableModel(QAbstractTableModel): def __init__(self, data, headers, parentNone): super().__init__(parent) self._data data # 二維列表可能包含數(shù)十萬(wàn)行 self._headers headers def rowCount(self, parentQModelIndex()): return len(self._data) def columnCount(self, parentQModelIndex()): return len(self._headers) def data(self, index, roleQt.DisplayRole): if not index.isValid(): return None if role Qt.DisplayRole: value self._data[index.row()][index.column()] # 數(shù)值列格式化千分位分隔 if isinstance(value, (int, float)) and value 10000: return f{value:,} return str(value) return None def headerData(self, section, orientation, role): if role Qt.DisplayRole and orientation Qt.Horizontal: return self._headers[section] return None # 10萬(wàn)行 x 20列 的測(cè)試數(shù)據(jù) data [[i * j for j in range(20)] for i in range(100000)] headers [f列{j} for j in range(20)] app QApplication([]) view QTableView() model BigTableModel(data, headers) view.setModel(model) # 關(guān)鍵按需加載視圖只請(qǐng)求可視區(qū)域的 cell view.setUniformRowHeights(True) # 行高等高加速滾動(dòng)計(jì)算 w QWidget() layout QVBoxLayout(w) layout.addWidget(view) w.resize(900, 600) w.show() app.exec_()這段代碼的關(guān)鍵點(diǎn)在data()方法視圖滾動(dòng)時(shí)只調(diào)用可見(jiàn)單元格的行列索引模型才返回對(duì)應(yīng)數(shù)據(jù)而不是把全部 10 萬(wàn)行一次性塞給界面。setUniformRowHeights(True)是給視圖一個(gè)提示所有行高相同滾動(dòng)時(shí)計(jì)算位置更快。數(shù)據(jù)格式化放在data()里而不是預(yù)先拼好字符串也是省內(nèi)存的做法。換成 Web 端的大屏表格道理相同用虛擬滾動(dòng)組件只渲染可視區(qū)域的行不要一次性把幾千行 DOM 全掛到頁(yè)面上。前端框架的VirtualList組件就是干這個(gè)的。4.3 大屏自適應(yīng)與前端性能從 rem 到 scale大屏自適應(yīng)是前端最容易“翻車(chē)”的環(huán)節(jié)。常見(jiàn)方案有兩種rem 方案和 scale 方案。rem 方案適合內(nèi)容可以在窄屏上換行的頁(yè)面但大屏圖表?yè)Q行后布局容易亂scale 方案把整塊畫(huà)布按設(shè)計(jì)稿比例縮放適合固定比例的大屏如 16:9圖表內(nèi)部不會(huì)變形但分辨率差距過(guò)大時(shí)兩側(cè)可能留黑邊。我一般選 scale 方案設(shè)計(jì)稿按 1920x1080 出然后計(jì)算實(shí)際窗口與設(shè)計(jì)稿的倍率用 CSS transform 縮放畫(huà)布。注意縮放后的事件坐標(biāo)需要換算點(diǎn)擊圖表時(shí)傳給后端的是換算后的數(shù)據(jù)坐標(biāo)。性能方面大數(shù)據(jù)量圖表優(yōu)先用 Canvas 渲染避免用 DOM/SVG 畫(huà)幾千個(gè)點(diǎn)ECharts 默認(rèn)就是用 Canvas但如果用了 SVG 渲染且數(shù)據(jù)量大切換回 Canvas 立竿見(jiàn)影。另外一個(gè)被忽略的參數(shù)是圖表刷新頻率。很多大屏接 WebSocket每 3 秒推一次數(shù)據(jù)。前端要做的不是全量刷新圖表而是用setOption的merge模式更新局部數(shù)據(jù)避免整個(gè)圖表重繪造成閃爍和 CPU 飆升。5. BI大數(shù)據(jù)展示避坑指南這些坑我全踩過(guò)5.1 大屏加載慢查詢沒(méi)走預(yù)聚合直接把明細(xì)表暴露給前端現(xiàn)象頁(yè)面打開(kāi)要等 5 秒以上后端接口也慢并發(fā)一高直接超時(shí)。原因是 SQL 直接查明細(xì)表每次都要掃全表做 GROUP BY。解決匯總表兜底明細(xì)查詢只走分頁(yè)接口。檢查方法很直接——在數(shù)據(jù)庫(kù)里執(zhí)行大屏的查詢 SQL看執(zhí)行計(jì)劃和掃描行數(shù)。掃描超過(guò)百萬(wàn)行且耗時(shí)超 1 秒就必須建預(yù)聚合表或改用 MPP 引擎的物化視圖。5.2 兩個(gè)大屏指標(biāo)對(duì)不上口徑不統(tǒng)一各寫(xiě)各的 SQL現(xiàn)象運(yùn)營(yíng)大屏顯示今日銷(xiāo)售額 80 萬(wàn)財(cái)務(wù)大屏顯示 75 萬(wàn)兩邊都覺(jué)得自己沒(méi)錯(cuò)。原因是口徑不同運(yùn)營(yíng)按支付時(shí)間算財(cái)務(wù)按訂單創(chuàng)建時(shí)間且剔除退款。解決在指標(biāo)字典里固化口徑并用統(tǒng)一的數(shù)據(jù)模型層輸出不允許各頁(yè)面自己寫(xiě) SQL 聚合。出現(xiàn)爭(zhēng)議時(shí)以字典文檔為準(zhǔn)。這個(gè)教訓(xùn)讓我養(yǎng)成一個(gè)習(xí)慣任何 BI 項(xiàng)目開(kāi)工第一周先交指標(biāo)字典否則后面返工成本極高。5.3 大屏訪問(wèn)高峰數(shù)據(jù)庫(kù) CPU 100%大屏直連業(yè)務(wù)庫(kù)現(xiàn)象上午 10 點(diǎn)運(yùn)營(yíng)看大屏高峰期業(yè)務(wù)系統(tǒng)出現(xiàn)響應(yīng)變慢數(shù)據(jù)庫(kù)告警 CPU 100%。原因是 BI 查詢直連了業(yè)務(wù)主庫(kù)聚合查詢把數(shù)據(jù)庫(kù)資源吃光。解決BI 查詢必須走只讀副本或數(shù)倉(cāng)物理隔離業(yè)務(wù)流量。如果暫時(shí)沒(méi)有數(shù)倉(cāng)至少用一主一從BI 連從庫(kù)。再往上一層給大屏接口加 Redis 緩存相同查詢 30 秒內(nèi)不重復(fù)打庫(kù)。5.4 大屏數(shù)據(jù)停在 2 小時(shí)前調(diào)度任務(wù)失敗但沒(méi)人發(fā)現(xiàn)現(xiàn)象數(shù)據(jù)一直沒(méi)有更新查看調(diào)度日志發(fā)現(xiàn)凌晨的同步任務(wù)報(bào)錯(cuò)后退出了但沒(méi)有任何告警。原因是腳本里沒(méi)有失敗通知異常被吞掉。解決每個(gè)同步腳本末尾檢查狀態(tài)失敗時(shí)調(diào)用告警接口同時(shí)在調(diào)度平臺(tái)配置任務(wù)失敗告警監(jiān)控任務(wù)狀態(tài)本身。大屏頁(yè)面上再加一個(gè)數(shù)據(jù)更新時(shí)間標(biāo)識(shí)用戶看到時(shí)間就能判斷數(shù)據(jù)是否新鮮。5.5 大屏突然出現(xiàn) NULL 或者 0上游改字段名同步把數(shù)據(jù)寫(xiě)空了現(xiàn)象一個(gè)好好的大屏今天突然顯示 0排查發(fā)現(xiàn)同步任務(wù)正常但業(yè)務(wù)庫(kù)改了字段名老字段全是空值。原因是同步腳本寫(xiě)死了字段名上游結(jié)構(gòu)變更沒(méi)有觸發(fā)告警。解決同步腳本增加字段存在性檢查跑數(shù)前先DESC一下源表對(duì)比預(yù)期字段列表不一致就失敗并通知數(shù)倉(cāng)負(fù)責(zé)人。上線前對(duì)同步鏈路做字段血緣登記上策是讓數(shù)據(jù)開(kāi)發(fā)走規(guī)范的變更流程但現(xiàn)實(shí)是都得靠腳本自檢兜底。6. 進(jìn)階用法從“能看”到“敢用”——權(quán)限、血緣驗(yàn)證與交付習(xí)慣大屏做到能看、夠快之后再往前一步是解決“敢用”的問(wèn)題業(yè)務(wù)負(fù)責(zé)人敢不敢拿大屏數(shù)據(jù)在周會(huì)上拍板。這需要三層能力。第一層是行級(jí)權(quán)限。同一個(gè)大屏區(qū)域經(jīng)理只能看自己區(qū)域的數(shù)據(jù)。落地方案是在查詢 SQL 里注入權(quán)限過(guò)濾條件比如WHERE region ${user.region}或者用 BI 工具內(nèi)置的行級(jí)安全RLS功能。這個(gè)必須在建模層做不能靠前端隱藏否則直接調(diào)接口就能繞過(guò)。第二層是數(shù)據(jù)血緣可追溯。每個(gè)指標(biāo)向前能查到來(lái)源表和計(jì)算邏輯向后能查到用在了哪些大屏。常見(jiàn)做法是同步一份指標(biāo)到數(shù)據(jù)源的映射表再在半自動(dòng)采集 SQL 解析結(jié)果。這樣線上數(shù)據(jù)出問(wèn)題能快速定位影響面而不是一個(gè)大屏一個(gè)坑去挖。第三層是上線前的驗(yàn)證習(xí)慣。我個(gè)人的習(xí)慣是換一臺(tái)電腦、換一個(gè)網(wǎng)絡(luò)環(huán)境清掉緩存后完整走一遍看總數(shù)和業(yè)務(wù)日?qǐng)?bào)核對(duì)、看趨勢(shì)過(guò)去的拐點(diǎn)日期是否對(duì)得上、看明細(xì)點(diǎn)擊大屏鉆取到明細(xì)抽幾條對(duì)賬。三層都過(guò)了才敢把大屏推到全員。最后說(shuō)一個(gè)交付習(xí)慣每次交付都留一份 README寫(xiě)清數(shù)據(jù)刷新時(shí)間、調(diào)度依賴、口徑文檔位置和已知限制。別覺(jué)得啰嗦三個(gè)月后你不在現(xiàn)場(chǎng)接手的人不會(huì)再來(lái)問(wèn)你但他一定會(huì)翻這份文檔。這就是我在這類(lèi)項(xiàng)目里最深的教訓(xùn)。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取