Exo 分布式 AI 集群容錯(cuò)完全指南一臺(tái)設(shè)備掉線時(shí)集群如何繼續(xù)運(yùn)轉(zhuǎn)【免費(fèi)下載鏈接】exoRun frontier AI locally.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/exo8/exo半夜集群里某臺(tái)機(jī)器突然斷電其余設(shè)備照常運(yùn)轉(zhuǎn)。Exo 是一個(gè)用多臺(tái)家用設(shè)備搭建本地分布式 AI 集群的項(xiàng)目容錯(cuò)與高可用從第一天就寫進(jìn)了它的架構(gòu)里。跟著一次故障的生命周期看看它如何扛過單點(diǎn)故障。故障發(fā)生前如何預(yù)防單點(diǎn)風(fēng)險(xiǎn)跑大模型時(shí)沒人想把整個(gè)集群押在某個(gè)「指揮點(diǎn)」上。Exo 不預(yù)設(shè)永久主節(jié)點(diǎn)每個(gè)節(jié)點(diǎn)啟動(dòng)時(shí)都默認(rèn)自己就是主節(jié)點(diǎn)隨后各自廣播狀態(tài)互相比較。選舉消息里帶著時(shí)鐘值、資歷、已處理命令數(shù)與候選會(huì)話四項(xiàng)信息比較順序固定同一組候選人在每臺(tái)機(jī)器上都會(huì)算出同一個(gè)贏家集群不需要額外協(xié)商就能收斂到唯一主節(jié)點(diǎn)。完整邏輯見選舉算法實(shí)現(xiàn)。主節(jié)點(diǎn)故障后如何自動(dòng)切換有節(jié)點(diǎn)掉線、或有新設(shè)備加入時(shí)每個(gè)存活節(jié)點(diǎn)偵測(cè)到連接變化后時(shí)鐘加一并觸發(fā)新一輪選舉通常在 3 秒內(nèi)收斂。主節(jié)點(diǎn)切換因此不是「應(yīng)急預(yù)案」而是日常流程的一部分。舊主節(jié)點(diǎn)即使再?zèng)]回來集群也會(huì)自己組織出新的指揮點(diǎn)無需人介入。模型分片與放置如何避免把所有東西壓在一臺(tái)機(jī)器上調(diào)度模型時(shí)主節(jié)點(diǎn)先查看當(dāng)前拓?fù)涮舫鰞?nèi)存充足、彼此互聯(lián)的節(jié)點(diǎn)「環(huán)」再把模型權(quán)重切成分片放到這些節(jié)點(diǎn)上。評(píng)分邏輯優(yōu)先選擇已經(jīng)下載過該模型、空閑內(nèi)存更多的機(jī)器新任務(wù)不必重新下載權(quán)重。這套放置策略既是并行加速的來源也是容錯(cuò)的根子單機(jī)承載的分片越少它倒下時(shí)的影響面就越小。故障發(fā)生瞬間心跳檢測(cè)與自動(dòng)止血 心跳看門狗5 秒確認(rèn)一次進(jìn)程是否還活著真正加載模型、執(zhí)行推理的 runner 進(jìn)程由runner 監(jiān)督者看護(hù)它每 5 秒輪詢一次進(jìn)程是否存活。一旦發(fā)現(xiàn)死亡先記錄死因——退出碼、被哪個(gè)信號(hào)殺死、stderr 的最后幾行——再向集群上報(bào)「runner 失敗」事件。與此同時(shí)該 runner 上正在進(jìn)行的推理請(qǐng)求不會(huì)被掛起客戶端會(huì)收到一個(gè)明確的錯(cuò)誤塊調(diào)用方立刻知道哪里出了問題。節(jié)點(diǎn)超時(shí)后如何從拓?fù)渲幸瞥簩用孢€記錄著每個(gè)節(jié)點(diǎn)的最后通信時(shí)間。一臺(tái)機(jī)器失聯(lián)超時(shí)后主節(jié)點(diǎn)會(huì)把它從拓?fù)淅镆瞥B同它的內(nèi)存、磁盤、網(wǎng)絡(luò)記錄一起清理并重算還有哪些節(jié)點(diǎn)組合可用。故障被確認(rèn)的那一刻起這個(gè)節(jié)點(diǎn)的「影子」就不再占據(jù)調(diào)度名額。故障處理中數(shù)據(jù)與任務(wù)如何不掉線模型權(quán)重存在磁盤上恢復(fù)不依賴單份副本模型權(quán)重的每一個(gè)分片都持久化在持有它的節(jié)點(diǎn)本地磁盤上。節(jié)點(diǎn)掉線后主節(jié)點(diǎn)在剩余節(jié)點(diǎn)上重新跑一遍放置流程。評(píng)分規(guī)則天然優(yōu)先選擇已持有權(quán)重的機(jī)器新實(shí)例只需從磁盤加載文件不必從頭重新下載。對(duì)于進(jìn)行中的請(qǐng)求客戶端會(huì)收到明確的失敗事件業(yè)務(wù)方可以選擇重試或換到其他可用實(shí)例。張量與流水線并行剩下的節(jié)點(diǎn)如何接住工作分片放置意味著并行張量并行下每臺(tái)機(jī)器負(fù)責(zé)不同的權(quán)重切片流水線并行下每臺(tái)機(jī)器承接不同的層段。一臺(tái)機(jī)器離線只影響它自己的那份分片其余集群滿負(fù)荷繼續(xù)工作。官方多機(jī)基準(zhǔn)測(cè)試也印證了這一點(diǎn)節(jié)點(diǎn)數(shù)增加后Exo 相對(duì)傳統(tǒng) TCP 方案的吞吐優(yōu)勢(shì)進(jìn)一步擴(kuò)大。故障之后如何持續(xù)盯住集群 ?控制面板如何一眼看清整個(gè)集群狀態(tài)網(wǎng)頁控制面板持續(xù)上報(bào)每個(gè)節(jié)點(diǎn)的資源占用、溫度與拓?fù)錉顟B(tài)并實(shí)時(shí)渲染。哪臺(tái)機(jī)器溫度在爬升、哪個(gè)節(jié)點(diǎn)剛重新上線、哪個(gè)實(shí)例正在加載模型不用翻日志一眼就能看清。異常如何留痕事件、日志與保活集群的每次狀態(tài)變化——節(jié)點(diǎn)加入、節(jié)點(diǎn)超時(shí)、runner 失敗——都以事件形式進(jìn)入中央狀態(tài)機(jī)形成可追溯的時(shí)間線監(jiān)督者還會(huì)把 runner 的 stderr 歸檔到日志方便事后復(fù)盤。流式 API 帶有 10 秒一次的保活心跳長(zhǎng)連接不會(huì)在無人知曉時(shí)悄悄斷開。Exo 的容錯(cuò)不是功能堆疊而是一條鏈?zhǔn)虑鞍扬L(fēng)險(xiǎn)攤開事中快速止血事后把任務(wù)接回然后持續(xù)盯著。git clone https://gitcode.com/GitHub_Trending/exo8/exo無論你是第一次跑大模型、做分布式推理研究還是開發(fā)新模型你搭在家里的集群從此不怕「一臺(tái)機(jī)器倒下」。【免費(fèi)下載鏈接】exoRun frontier AI locally.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/exo8/exo創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考