Dora 分布式部署指南多機(jī)集群、標(biāo)簽調(diào)度、滾動升級與 systemd 運(yùn)維完整手冊【免費(fèi)下載鏈接】doraDORA (Dataflow-Oriented Robotic Architecture 面向數(shù)據(jù)流的機(jī)器人架構(gòu)) 是為 AI 與具身智能機(jī)器人打造的高性能開發(fā)框架以數(shù)據(jù)流范式重構(gòu)開發(fā)邏輯原生支持分布式部署與端邊云協(xié)同 —— 無需復(fù)雜適配即可實(shí)現(xiàn)一體端到端具身大小腦、VLA等模型部署無縫銜接感知、推理、控制全鏈路讓 AI 能力與機(jī)器人動作深度融合。 依托 Rust 內(nèi)核與零拷貝通信技術(shù)它將具身大小腦、VLA等模型推理、多模態(tài)數(shù)據(jù)融合延遲壓縮至微秒級同時(shí)兼容 ROS2 生態(tài)與國產(chǎn) AI 芯片徹底降低具身智能機(jī)器人的開發(fā)門檻讓分布式部署下的 AI 賦能創(chuàng)新更高效、更靈活。項(xiàng)目地址: https://gitcode.com/dora-rs/doraDoraDataflow-Oriented Robotic Architecture是為 AI 與具身智能機(jī)器人打造的高性能開發(fā)框架內(nèi)置開箱即用的分布式部署能力一條命令拉起多機(jī)集群用標(biāo)簽調(diào)度把節(jié)點(diǎn)精準(zhǔn)放置到目標(biāo)機(jī)器零停機(jī)滾動升級整集群再配合systemd服務(wù)實(shí)現(xiàn)開機(jī)自啟與崩潰自愈。本文覆蓋從cluster.yml配置到生產(chǎn)運(yùn)維 Runbook 的全部關(guān)鍵步驟幫你把同一份數(shù)據(jù)流 YAML 從單機(jī)開發(fā)平滑擴(kuò)展到多機(jī)生產(chǎn)環(huán)境。一、三級架構(gòu)Dora 分布式系統(tǒng)的組成 Dora 的分布式架構(gòu)分為三層職責(zé)清晰、互不干擾CLI -- Coordinator -- Daemon(s) -- Nodes / Operators (單實(shí)例) (每機(jī)器一個(gè)) (用戶代碼)CLI發(fā)送 build / start / stop 等控制命令到 CoordinatorCoordinator單一編排者負(fù)責(zé)節(jié)點(diǎn)放置決策與數(shù)據(jù)流生命周期管理Daemon每臺機(jī)器運(yùn)行一個(gè)負(fù)責(zé)拉起并監(jiān)管本機(jī)節(jié)點(diǎn)進(jìn)程N(yùn)ode用戶代碼。同機(jī)節(jié)點(diǎn)走共享內(nèi)存跨機(jī)節(jié)點(diǎn)通過 Zenoh 發(fā)布訂閱通信。數(shù)據(jù)流量不經(jīng)過 Coordinator控制面與數(shù)據(jù)面完全分離——這是 Dora 能把多機(jī)推理鏈路延遲壓到微秒級的關(guān)鍵設(shè)計(jì)。 更完整的網(wǎng)絡(luò)拓?fù)銵AN、VPN mesh、zenoh 路由跨 NAT見 docs/multi-machine.md完整集群參考見 docs/distributed-deployment.md。二、5 分鐘拉起多機(jī)集群cluster up 快速上手 ?Dora 提供兩條部署路徑臨時(shí)模式手動在各機(jī)器啟動dora daemon適合開發(fā)測試和托管集群模式一個(gè)cluster.ymldora cluster命令族SSH 管理所有機(jī)器。生產(chǎn)環(huán)境推薦后者。第 1 步編寫 cluster.ymlcoordinator: addr: 10.0.0.1 machines: - id: robot host: 10.0.0.2 user: ubuntu - id: gpu-server host: 10.0.0.3 user: ubuntu第 2 步一條命令拉起集群dora cluster up cluster.yml它會自動啟動本地 Coordinator然后 SSH 到每臺機(jī)器啟動 Daemon并輪詢直到全部 Daemon 注冊成功started dora coordinator on 0.0.0.0 (reachable from other machines) Starting daemon on robot (ubuntu10.0.0.2) Starting daemon on gpu-server (ubuntu10.0.0.3) All 2 daemons connected.第 3 步啟動跨機(jī)數(shù)據(jù)流并查看集群健康dora start dataflow.yml --name my-app --attach dora cluster statusDAEMON ID LAST HEARTBEAT robot 2s ago gpu-server 1s ago Active dataflows: 1第 4 步需要時(shí)一鍵拆除dora cluster down 提示Daemon 之間無需手工互指地址——每臺 Daemon 會從--coordinator-addr推導(dǎo)出自己的對外地址并注冊給 Coordinator由 Coordinator 把先注冊者的地址下發(fā)給后注冊者自動組成全連接 mesh啟動順序任意。三、cluster.yml 配置參考機(jī)器清單與標(biāo)簽 ?字段默認(rèn)值說明coordinator.addr必填Coordinator 綁定地址coordinator.port6013WebSocket 端口machines[].id必填機(jī)器唯一標(biāo)識供deploy.machine引用machines[].host必填SSH 可達(dá)的主機(jī)名或 IPmachines[].user當(dāng)前用戶SSH 用戶名machines[].port22SSH 端口非標(biāo)準(zhǔn)端口時(shí)設(shè)置machines[].daemon_port53291Daemon 本地監(jiān)聽端口同機(jī)多 Daemon 時(shí)需區(qū)分machines[].zenoh_addr/zenoh_porthost/5456其他 Daemon 撥號到本機(jī)的地址與端口machines[].labels空鍵值標(biāo)簽用于標(biāo)簽調(diào)度一個(gè) 3 機(jī) GPU 集群的典型寫法coordinator: addr: 192.168.1.1 machines: - id: coordinator-host host: 192.168.1.1 labels: role: control - id: gpu-a100 host: 192.168.1.10 user: ml labels: gpu: a100 arch: x86_64 - id: jetson-01 host: 192.168.1.20 user: nvidia labels: gpu: jetson arch: arm64四、節(jié)點(diǎn)調(diào)度三策略machine、labels、自動分配 在dataflow.yml的節(jié)點(diǎn)上通過deploy段控制放置解析優(yōu)先級為machine labels 未命名。策略 1按機(jī)器 ID 精確指定nodes: - id: camera deploy: machine: robot # 匹配 cluster.yml 中的 id path: ./camera-driver outputs: [frames]策略 2按標(biāo)簽匹配推薦nodes: - id: inference deploy: labels: gpu: true # 目標(biāo) Daemon 標(biāo)簽必須是其超集 path: ./ml-model inputs: frames: camera/frames outputs: [predictions]Coordinator 會選中第一個(gè)標(biāo)簽超集滿足要求的已連接 Daemon{gpu: true, arch: arm64}滿足{gpu: true}的要求。標(biāo)簽匹配不到任何 Daemon 時(shí)部署直接失敗并報(bào)錯(cuò)no daemon matches labels {gpu: true}——快速失敗優(yōu)于靜默放錯(cuò)機(jī)器。策略 3未指定時(shí)自動分配給第一臺無--machine-id的默認(rèn)Daemon。 最佳實(shí)踐多用標(biāo)簽、少寫死機(jī)器 ID。標(biāo)簽把數(shù)據(jù)流與具體硬件解耦換機(jī)器、加機(jī)器時(shí)無需改dataflow.yml。五、二進(jìn)制分發(fā)策略local、scp、http 怎么選 節(jié)點(diǎn)二進(jìn)制如何送達(dá)遠(yuǎn)機(jī)由deploy.distribute控制策略適用場景取舍local默認(rèn)同構(gòu)集群、CI 構(gòu)建每臺機(jī)器需要構(gòu)建工具鏈Daemon 在本機(jī)自行編譯scp異構(gòu)集群、交叉編譯好的二進(jìn)制需要 CLI 機(jī)器對目標(biāo)機(jī)有 SSH 權(quán)限http防火墻隔離、air-gapped DaemonCoordinator 充當(dāng)制品倉庫Daemon 經(jīng) HTTP 拉取需認(rèn)證nodes: - id: my-node deploy: machine: edge-01 distribute: scp # 本地編譯后推送到目標(biāo)機(jī) path: ./my-node六、systemd 服務(wù)一鍵安裝守護(hù)進(jìn)程重啟自愈 ?生產(chǎn)部署應(yīng)將 Daemon 安裝為 systemd 服務(wù)——斷電重啟不丟、崩潰自動拉起dora cluster install cluster.yml # Installing dora-daemon-robot on ubuntu10.0.0.2... OK # Installing dora-daemon-gpu-server on ubuntu10.0.0.3... OK # 2/2 succeeded.每臺機(jī)器會生成dora-daemon-id單元核心屬性Restarton-failureRestartSec5崩潰 5 秒后自動重啟Afternetwork-online.target等網(wǎng)絡(luò)就緒再啟動WantedBymulti-user.target開機(jī)自啟。驗(yàn)證與卸載ssh ubuntu10.0.0.2 sudo systemctl status dora-daemon-robot dora cluster uninstall cluster.yml # 停止、禁用并刪除單元文件七、滾動升級零停機(jī)更新整集群 更新集群只需一條命令dora cluster upgrade cluster.yml對每臺機(jī)器依次執(zhí)行三步其余機(jī)器全程不受影響Upgrading robot (ubuntu10.0.0.2)... SCP binary... OK Restart service... OK Waiting for reconnect... OK (3.2s) 2/2 succeeded.SCP本地dora二進(jìn)制到目標(biāo)機(jī)/usr/local/bin/dora重啟systemd 服務(wù)輪詢Coordinator 直到該 Daemon 重連30 秒超時(shí)。Daemon 重連后自動恢復(fù)機(jī)制會把該機(jī)器上被中斷的數(shù)據(jù)流節(jié)點(diǎn)全部重新拉起見下節(jié)。前置條件Daemon 已通過dora cluster install裝為 systemd 服務(wù)目標(biāo)機(jī)具備 sudo 權(quán)限本地二進(jìn)制與集群版本兼容。八、自動恢復(fù)Daemon 斷線重連后節(jié)點(diǎn)自愈 Daemon 因網(wǎng)絡(luò)抖動、機(jī)器重啟或服務(wù)重啟而掉線再重連時(shí)Coordinator 會自動修復(fù)Daemon 重連并提交當(dāng)前運(yùn)行中的StatusReportCoordinator 比對期望狀態(tài)找出缺失的數(shù)據(jù)流向該 Daemon 下發(fā)SpawnDataflowNodes命令重建缺失節(jié)點(diǎn)。為防止節(jié)點(diǎn)秒崩 → 無限重建的死循環(huán)恢復(fù)帶30 秒退避同一 Daemon/數(shù)據(jù)流對每 30 秒最多嘗試一次重建節(jié)點(diǎn)重新上報(bào)運(yùn)行中后退避清除。注意自動恢復(fù)只覆蓋dora start啟動的托管數(shù)據(jù)流本地dora run不受 Coordinator 跟蹤。單節(jié)點(diǎn)粒度的崩潰重啟策略restart_policy、max_restarts、指數(shù)退避等見 docs/fault-tolerance.md與自動恢復(fù)疊加使用形成縱深防御。九、日常運(yùn)維 Runbook監(jiān)控、日志與故障排查 日常操作速查dora list # 列出運(yùn)行中的數(shù)據(jù)流 dora top # 實(shí)時(shí)資源監(jiān)控TUI dora logs my-app --node id --follow # 查看任意機(jī)器上節(jié)點(diǎn)的日志 dora stop my-app # 停止數(shù)據(jù)流 dora cluster status # 集群健康Daemon 心跳 活動數(shù)據(jù)流數(shù) dora cluster restart cluster.yml my-app # 按名稱重啟數(shù)據(jù)流故障排查四板斧癥狀排查動作Daemon 連不上檢查 Coordinator 是否監(jiān)聽可路由地址journalctl -u dora-daemon-id -f看日志核對--coordinator-addr/ 端口SSH 命令失敗確認(rèn)ssh -o BatchModeyes userhost echo ok免密可用核對 cluster.yml 中user字段標(biāo)簽不匹配dora cluster status查看已連 Daemon標(biāo)簽在 Daemon 啟動時(shí)注入運(yùn)行期不可改需重啟 Daemon自動恢復(fù)沒觸發(fā)確認(rèn)數(shù)據(jù)流由dora start啟動查 Coordinator 日志中auto-recovery: re-spawning注意 30 秒退避最佳實(shí)踐清單?開發(fā)期用dora run dataflow.yml本地驗(yàn)證同一份 YAML 直接上集群deploy字段本地模式下被忽略生產(chǎn)環(huán)境務(wù)必dora cluster install裝 systemd配合節(jié)點(diǎn)級restart_policy雙保險(xiǎn)優(yōu)先標(biāo)簽調(diào)度把cluster.yml與數(shù)據(jù)流定義一起納入版本控制升級走滾動方案不要整體停機(jī)。多 Daemon 聯(lián)動的完整示例見 examples/multiple-daemons/更多命令細(xì)節(jié)見 docs/cli.md?！久赓M(fèi)下載鏈接】doraDORA (Dataflow-Oriented Robotic Architecture 面向數(shù)據(jù)流的機(jī)器人架構(gòu)) 是為 AI 與具身智能機(jī)器人打造的高性能開發(fā)框架以數(shù)據(jù)流范式重構(gòu)開發(fā)邏輯原生支持分布式部署與端邊云協(xié)同 —— 無需復(fù)雜適配即可實(shí)現(xiàn)一體端到端具身大小腦、VLA等模型部署無縫銜接感知、推理、控制全鏈路讓 AI 能力與機(jī)器人動作深度融合。 依托 Rust 內(nèi)核與零拷貝通信技術(shù)它將具身大小腦、VLA等模型推理、多模態(tài)數(shù)據(jù)融合延遲壓縮至微秒級同時(shí)兼容 ROS2 生態(tài)與國產(chǎn) AI 芯片徹底降低具身智能機(jī)器人的開發(fā)門檻讓分布式部署下的 AI 賦能創(chuàng)新更高效、更靈活。項(xiàng)目地址: https://gitcode.com/dora-rs/dora創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考