數(shù)據(jù)工程數(shù)據(jù)編排ETL任務(wù)調(diào)度批處理流處理數(shù)據(jù)集成后端【免費(fèi)下載鏈接】mage-ai Build, run, and manage data pipelines for integrating and transforming data.項目地址https://gitcode.com/gh_mirrors/ma/mage-ai點擊查看免費(fèi)下載本篇文章基于開源倉庫 mage-ai 中mage_integrations/mage_integrations/sources/monday的官方連接器說明深入講解如何在 Mage 數(shù)據(jù)集成Data Integration管道中接入 Mondaymonday.com作為數(shù)據(jù)源包括api_token、board_id、board_limit三個核心配置項的作用與取值、API Token 的獲取方式以及該連接器內(nèi)部通過 GraphQL 查詢實現(xiàn)的boards、workspaces、groups、columns、board_views五大數(shù)據(jù)流stream及其分頁、Schema 與錯誤處理機(jī)制。閱讀本文后你將能夠在自己的 Mage 項目中完整配置并運(yùn)行 Monday 數(shù)據(jù)源同步任務(wù)。Monday 數(shù)據(jù)源在 mage-ai 中的定位Mage 數(shù)據(jù)集成框架mage_integrations將“源Source”定義為“你希望從中加載數(shù)據(jù)并同步到另一個系統(tǒng)的外部系統(tǒng)”Monday 就是官方提供的一個 SaaS 類數(shù)據(jù)源用于將 monday.com 上的看板Board、工作區(qū)Workspace、分組Group、列Column和視圖View等數(shù)據(jù)抽取出來供下游數(shù)據(jù)管道使用。你可以在 docs/data-integrations/overview.mdx 的 “Sources” 一節(jié)中看到它與其他數(shù)據(jù)源的并列關(guān)系。從倉庫結(jié)構(gòu)看該連接器的完整實現(xiàn)位于入口與數(shù)據(jù)加載邏輯mage_integrations/mage_integrations/sources/monday/init.pyHTTP 客戶端封裝mage_integrations/mage_integrations/sources/monday/client.py數(shù)據(jù)流定義mage_integrations/mage_integrations/sources/monday/streams.py各數(shù)據(jù)流的 JSON Schemamage_integrations/mage_integrations/sources/monday/schemas/配置模板mage_integrations/mage_integrations/sources/monday/templates/config.json必需配置項api_token、board_id 與 board_limit配置 Monday 數(shù)據(jù)源時必須提供以下憑據(jù)與參數(shù)下表來自連接器 README 與配置模板Key描述示例值api_token用于身份認(rèn)證的 API Token。abcdefghijklmnopqrstuvwxyzboard_id用于查詢看板board相關(guān)數(shù)據(jù)的看板 ID。12345678board_limitboards數(shù)據(jù)流中每頁返回的看板數(shù)量。25其中board_limit在 templates/config.json 中默認(rèn)值為25board_id默認(rèn)為null即不指定具體看板由boards查詢動態(tài)發(fā)現(xiàn)。三個配置項在源碼中的實際作用api_token在 client.py 中Client.get_headers()直接以Authorization: api_token請求頭方式透傳給 Monday API因此該 Token 必須具備讀取看板、分組、列、視圖等對象的權(quán)限范圍。board_id雖然它出現(xiàn)在配置項中但從源碼看groups、columns、board_views這三個子數(shù)據(jù)流實際使用的看板 ID 來自父數(shù)據(jù)流boards動態(tài)下發(fā)的board_id見后文“父子數(shù)據(jù)流”一節(jié)board_id配置項更多用于顯式限定查詢范圍或配合上游配置使用。board_limit直接影響boards數(shù)據(jù)流的 GraphQL 查詢變量與分頁行為。在 streams.py 中BoardsStream.get_url_params()會將board_limit作為board_limit變量傳入查詢同時 get_next_page_token() 判斷“本頁返回的看板數(shù)是否等于board_limit”來決定是否繼續(xù)翻頁因此調(diào)大它可減少請求次數(shù)但需注意不要超過 Monday API 單次查詢的看板數(shù)量上限。如何獲取 api_token按連接器 README 的指引獲取 API Token 的官方路徑是訪問 Monday 開發(fā)者文檔中的 “Accessing API tokens” 章節(jié)developer.monday.com下/api-reference/docs/authentication#accessing-api-tokens。基本流程是登錄你的 monday.com 賬號進(jìn)入賬戶管理員設(shè)置找到開發(fā)者/API 相關(guān)入口創(chuàng)建或復(fù)制一個 API Token僅對管理員可見且應(yīng)妥善保管將該 Token 填入數(shù)據(jù)源配置的api_token字段。獲取 Token 后你可以直接用它與 Monday GraphQL API 的https://api.monday.com/v2端點交互進(jìn)行驗證——這正是該連接器內(nèi)部真實調(diào)用的 API 地址見 client.py 的base_url。連接器架構(gòu)與調(diào)用鏈從源碼結(jié)構(gòu)可以梳理出該數(shù)據(jù)源的完整調(diào)用鏈入口類Monday(Source)init.py繼承自mage_integrations.sources.base.Source在初始化時構(gòu)造Client并通過load_data()根據(jù)stream.tap_stream_id從STREAMS注冊表中實例化對應(yīng)的數(shù)據(jù)流類?？蛻舳薈lient繼承自 mage_integrations/mage_integrations/sources/http/client.py 中的Client基類重寫了base_url與get_headers()所有請求最終由基類make_request()發(fā)出POST JSON bodyGraphQL 查詢以query字段提交。數(shù)據(jù)流基類BaseStream實現(xiàn)了通用的加載循環(huán)不斷以client.request(methodpost, body{query: ..., variables: ...})拉取數(shù)據(jù)將parse_response()的結(jié)果分批 yield 出去再根據(jù)get_next_page_token()判斷是否繼續(xù)翻頁直到?jīng)]有下一頁為止。值得一提的是基類make_request()帶有utils.ratelimit(100, 60)限速裝飾器即每 60 秒最多 100 次請求并默認(rèn)設(shè)置 300 秒的請求超時同時通過 STATUS_CODE_EXCEPTION_MAPPING 將 400/401/403/404/405/409/429/500/503 等狀態(tài)碼映射為BadRequestError、AuthenticationError、RateLimitError等具體異常。也就是說配置的 Token 失效401或觸發(fā) Monday 限流429時Mage 都會拋出對應(yīng)類型的可讀異常便于在管道日志中快速定位問題。五大數(shù)據(jù)流Stream詳解STREAMS注冊表streams.py共注冊了 5 個數(shù)據(jù)流每個數(shù)據(jù)流都有對應(yīng)的 JSON Schema 文件與主鍵定義數(shù)據(jù)流主鍵復(fù)制鍵Schema 文件數(shù)據(jù)內(nèi)容boardsid無schemas/boards.json看板及其內(nèi)嵌的 items條目與 column_valuesworkspacesid無schemas/workspaces.json工作區(qū)信息name、kind、descriptiongroupsid無schemas/groups.json看板內(nèi)的分組title、position、colorcolumnsid無schemas/columns.json看板內(nèi)的列定義archived、width、type 等board_viewsid無schemas/board_views.json看板的視圖name、type、settings_strboards唯一支持分頁的頂層數(shù)據(jù)流BoardsStream是分頁與父子關(guān)系的核心。它通過帶page和board_limit變量的 GraphQL 查詢拉取看板列表query ($page: Int!, $board_limit: Int!) { boards(limit: $board_limit, page: $page, order_by: created_at) { id, updated_at, name, description, state, workspace_id, items { id, name, state, created_at, updated_at, column_values { id, title, text, type, value, additional_info } } } }其分頁邏輯為第一頁從page 1開始若本頁返回的記錄數(shù)恰好等于board_limit則page加 1 繼續(xù)請求否則視為已到末頁、停止翻頁。同時BoardsStream.get_child_context()會把每條看板記錄的id作為子數(shù)據(jù)流的上下文board_id下發(fā)給groups、columns、board_views。另外注意post_process()會把看板與 items 的id從字符串轉(zhuǎn)換為整數(shù)而 schemas/boards.json 也相應(yīng)地將id聲明為integer類型。workspaces從看板反查工作區(qū)WorkspacesStream的查詢會遍歷boards節(jié)點的workspace字段取出每個看板所屬工作區(qū)的id/name/kind/description并在parse_response()中跳過workspace為null的記錄即未歸屬任何工作區(qū)的看板。由于它依賴全局看板列表反查實際含義是“所有可訪問看板對應(yīng)的工作區(qū)去重集合”。groups / columns / board_views三個父子子數(shù)據(jù)流這三個數(shù)據(jù)流都聲明了parent_stream_type BoardsStream與ignore_parent_replication_keys True即它們以boards為父流、按看板逐個查詢各自的 GraphQL 查詢通過boards(ids: $board_id)定位具體看板groups查詢分組的title / position / id / colorpost_process()中把position轉(zhuǎn)為浮點數(shù)并回填board_idcolumns查詢列的archived / id / settings_str / title / type / width同樣回填board_idboard_views查詢視圖的id / name / type / settings_str。這意味著只要配置了api_tokenboards流會自動發(fā)現(xiàn)所有可訪問的看板并驅(qū)動三個子流完成全量看板元數(shù)據(jù)抽取無需手工為每個看板填寫board_id配置board_id配置項在此處更多作為兜底/定向手段存在。Schema 與數(shù)據(jù)一致性每個數(shù)據(jù)流都在 schemas/ 下提供獨(dú)立的 JSON Schema字段類型與實際查詢結(jié)果嚴(yán)格對應(yīng)。幾個值得注意的類型設(shè)計boards.json中id、workspace_id為integerupdated_at聲明為date-time格式字符串items為寬松對象數(shù)組additionalProperties: true兼容 Monday items 中動態(tài)變化的 column_valuesgroups.json中position為number與源碼中float()轉(zhuǎn)換一致board_id聲明為numbercolumns.json與board_views.json的id為stringMonday 的列 ID 與視圖 ID 本質(zhì)上是字符串標(biāo)識所有 Schema 均設(shè)置additionalProperties: false約束已定義字段防止無關(guān)字段進(jìn)入目標(biāo)表。主鍵方面5 個數(shù)據(jù)流均以id作為唯一主鍵見各流的primary_keys且均未設(shè)置復(fù)制鍵replication_key None因此這些數(shù)據(jù)流默認(rèn)按“全量替換/追加”方式同步適合看板元數(shù)據(jù)這類低頻變化的數(shù)據(jù)。在 Mage 中配置并使用 Monday 數(shù)據(jù)源新建數(shù)據(jù)集成管道在 Mage 項目中創(chuàng)建一個 Data Integration 類型的管道Source 選擇Monday填寫配置依次填入api_token必填、board_id可選用于限定看板、board_limit默認(rèn) 25控制boards流每頁拉取數(shù)量可參照 templates/config.json 的結(jié)構(gòu)選擇要同步的數(shù)據(jù)流勾選boards、workspaces、groups、columns、board_views中需要的流并選擇目標(biāo)Destination運(yùn)行管道點擊運(yùn)行后可打開日志觀察各流的加載情況每個流完成后會打印Finish loading data for stream StreamName日志見 streams.py。配置或運(yùn)行時的常見問題排查401 AuthenticationErrorapi_token無效或權(quán)限不足重新在 monday.com 管理后臺生成 Token429 RateLimitError請求過于頻繁連接器已內(nèi)置 60 秒 100 次的限速可適當(dāng)調(diào)大board_limit減少分頁請求次數(shù)boards 流不返回數(shù)據(jù)確認(rèn)賬號下有可訪問的看板且 Token 具備對應(yīng)工作區(qū)/看板的讀取權(quán)限。小結(jié)Monday 數(shù)據(jù)源是 mage-ai 數(shù)據(jù)集成體系中典型的“GraphQL API 父子流”型連接器對外只需api_token一個強(qiáng)校驗憑據(jù)配合board_limit控制boards流的分頁規(guī)模即可自動發(fā)現(xiàn)看板并級聯(lián)抽取groups、columns、board_views與workspaces數(shù)據(jù)。理解其 streams.py 中的分頁判定與子流board_id下發(fā)機(jī)制能幫助你在調(diào)優(yōu)同步性能與排查權(quán)限問題時事半功倍。贊分享數(shù)據(jù)工程數(shù)據(jù)編排ETL任務(wù)調(diào)度批處理流處理數(shù)據(jù)集成后端【免費(fèi)下載鏈接】mage-ai Build, run, and manage data pipelines for integrating and transforming data.項目地址https://gitcode.com/gh_mirrors/ma/mage-ai點擊查看免費(fèi)下載相關(guān)推薦10個提升Python編程效率的技巧Ultimate-Python-Resource-Hub高手經(jīng)驗分享10個提升Python編程效率的技巧Ultimate Python Resource Hub高手經(jīng)驗分享 Ultimate Python Resource H數(shù)據(jù)工程數(shù)據(jù)編排ETL任務(wù)調(diào)度批處理流處理數(shù)據(jù)集成后端前端PearcleanermacOS應(yīng)用徹底卸載的終極解決方案PearcleanermacOS應(yīng)用徹底卸載的終極解決方案 你是否曾注意到在macOS上刪除應(yīng)用后磁盤空間并沒有明顯增加這并非錯覺——大多數(shù)應(yīng)用在卸載時數(shù)據(jù)工程數(shù)據(jù)編排ETL任務(wù)調(diào)度批處理流處理數(shù)據(jù)集成后端前端AMD量化模型生產(chǎn)部署終極指南容器化、監(jiān)控與性能優(yōu)化全流程AMD量化模型生產(chǎn)部署終極指南容器化、監(jiān)控與性能優(yōu)化全流程 在當(dāng)今AI應(yīng)用快速發(fā)展的時代 AMD量化模型 的生產(chǎn)部署已成為企業(yè)實現(xiàn)高效推理的關(guān)鍵技術(shù)。本文將數(shù)據(jù)工程數(shù)據(jù)編排ETL任務(wù)調(diào)度批處理流處理數(shù)據(jù)集成后端前端上一篇2025最新PHPWord教程10分鐘上手Word文檔自動化下一篇Noi瀏覽器批量提問1鍵同步13個AI站點的完整指南創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考