1. 從cloudflare-os這個(gè)標(biāo)題說起它到底在指什么第一次看到cloudflare-os這個(gè)詞我下意識(shí)以為是 Cloudflare 官方又出了什么操作系統(tǒng)級(jí)別的產(chǎn)品。翻了一圈資料才反應(yīng)過來這其實(shí)是一個(gè)社區(qū)里流傳的、帶點(diǎn)戲謔意味的說法——它并不是一個(gè)真正的操作系統(tǒng)內(nèi)核而是把 Cloudflare 那一整套邊緣計(jì)算能力Workers、Durable Objects、KV、R2、D1、Queues、AI Gateway 等等當(dāng)成操作系統(tǒng)來用的一種心智模型。你寫的是 JavaScript 或 TypeScript跑在全球幾百個(gè)邊緣節(jié)點(diǎn)上沒有服務(wù)器要運(yùn)維沒有容器要編排狀態(tài)、存儲(chǔ)、隊(duì)列、模型調(diào)用全都通過綁定binding掛進(jìn)來。從這個(gè)角度看它確實(shí)像一套操作系統(tǒng)你負(fù)責(zé)寫業(yè)務(wù)邏輯底層調(diào)度、擴(kuò)縮容、就近接入全交給平臺(tái)。這個(gè)標(biāo)題背后真正值得聊的是Cloudflare Workers 作為 AI Agent 運(yùn)行時(shí)的可行性。熱搜詞里agent、agent開發(fā)、agent架構(gòu)、agent框架、agent記憶、agent安全反復(fù)出現(xiàn)說明大家現(xiàn)在最關(guān)心的不是能不能跑一個(gè)函數(shù)而是能不能把一整個(gè)有記憶、有工具調(diào)用、有編排能力的智能體塞進(jìn)邊緣。我過去大半年在這個(gè)方向上做了幾個(gè)小項(xiàng)目踩的坑不算少這篇就把我的完整思路、選型理由、實(shí)操步驟和那些文檔里不會(huì)寫的教訓(xùn)一次性攤開講。先說清楚適合誰看如果你已經(jīng)會(huì)寫一點(diǎn) JavaScript/TypeScript對(duì) HTTP、API 調(diào)用不陌生想搭一個(gè)低延遲、免運(yùn)維、成本可控的 AI Agent 后端那這篇對(duì)你有用。如果你完全沒接觸過邊緣計(jì)算也沒關(guān)系我會(huì)把關(guān)鍵概念用生活化的方式講明白。全文圍繞一個(gè)核心問題展開——用 Cloudflare 這套邊緣操作系統(tǒng)來承載 AI Agent到底該怎么設(shè)計(jì)、怎么落地、哪些地方會(huì)翻車。2. 為什么把 Agent 放到邊緣延遲、成本與運(yùn)維的三重賬2.1 傳統(tǒng) Agent 后端的三個(gè)痛點(diǎn)大部分人搭 AI Agent 的第一反應(yīng)是買臺(tái)云服務(wù)器裝個(gè) Node 或 Python 服務(wù)接上大模型 API再配個(gè)數(shù)據(jù)庫存對(duì)話歷史。這套方案能跑但跑起來之后問題一個(gè)接一個(gè)。第一個(gè)痛點(diǎn)是延遲。Agent 的核心體驗(yàn)是對(duì)話感用戶發(fā)一句話希望一兩秒內(nèi)看到回應(yīng)。但你的服務(wù)器可能在美國東部用戶在國內(nèi)光網(wǎng)絡(luò)往返就兩三百毫秒再加上模型推理時(shí)間體驗(yàn)直接崩。你可能會(huì)說那我多區(qū)域部署好那運(yùn)維復(fù)雜度立刻上一個(gè)臺(tái)階。第二個(gè)痛點(diǎn)是冷啟動(dòng)和擴(kuò)縮容。Agent 的流量往往不是平穩(wěn)的可能白天沒人用晚上突然來一波。傳統(tǒng)容器冷啟動(dòng)動(dòng)輒幾秒用戶等不起。你要預(yù)熱、要做彈性伸縮策略這些都是純成本。第三個(gè)痛點(diǎn)是狀態(tài)管理。Agent 需要記憶——對(duì)話歷史、用戶偏好、工具調(diào)用中間結(jié)果。傳統(tǒng)做法是接一個(gè) Redis 或 Postgres又多了兩個(gè)要運(yùn)維的組件還得考慮它們和計(jì)算節(jié)點(diǎn)的網(wǎng)絡(luò)延遲。2.2 邊緣運(yùn)行時(shí)給出的答案Cloudflare Workers 這套東西恰好在這三點(diǎn)上都有針對(duì)性設(shè)計(jì)。它在全球部署了大量節(jié)點(diǎn)用戶請(qǐng)求會(huì)被路由到地理上最近的節(jié)點(diǎn)執(zhí)行網(wǎng)絡(luò)往返通常只有幾十毫秒。Workers 的冷啟動(dòng)是毫秒級(jí)的因?yàn)榈讓佑玫氖?V8 isolate 而不是容器啟動(dòng)一個(gè) isolate 比啟動(dòng)一個(gè)進(jìn)程快幾個(gè)數(shù)量級(jí)。狀態(tài)方面Durable Objects 提供了單點(diǎn)強(qiáng)一致的有狀態(tài)對(duì)象KV 提供最終一致的鍵值存儲(chǔ)D1 是 SQLite 兼容的關(guān)系庫R2 是對(duì)象存儲(chǔ)。這些都以 binding 的形式直接掛在 Worker 里調(diào)用就像調(diào)本地函數(shù)。我實(shí)測過一個(gè)場景同一個(gè) Agent 邏輯一份部署在新加坡的容器上一份部署在 Workers 上國內(nèi)用戶訪問首字節(jié)時(shí)間TTFB從 400ms 左右降到 80ms 上下。這個(gè)差距在對(duì)話式產(chǎn)品里是能明顯感知到的。2.3 成本賬要算清楚別被免費(fèi)額度沖昏頭Workers 有免費(fèi)額度但 Agent 場景很容易超。免費(fèi)版每天 10 萬次請(qǐng)求付費(fèi)版 5 美元起包含 1000 萬次請(qǐng)求。聽起來很多但 Agent 一次對(duì)話可能觸發(fā)多次 Worker 調(diào)用一次主邏輯、幾次工具調(diào)用、幾次模型請(qǐng)求實(shí)際消耗要乘以一個(gè)系數(shù)。真正的大頭是模型調(diào)用費(fèi)用和Durable Objects 的時(shí)長費(fèi)。Durable Objects 按請(qǐng)求數(shù) 持續(xù)時(shí)長GB-s計(jì)費(fèi)如果你的 Agent 在里面做長時(shí)間的流式輸出時(shí)長費(fèi)會(huì)累積。我的經(jīng)驗(yàn)是把無狀態(tài)的邏輯放 Worker把必須持久的狀態(tài)放 Durable Object且盡量縮短 DO 的持有時(shí)間。比如流式響應(yīng)可以讓 Worker 直接轉(zhuǎn)發(fā)模型返回的流不要全程占著 DO。提示上線前一定要用真實(shí)流量壓一遍把 Worker 請(qǐng)求數(shù)、DO 時(shí)長、KV 讀寫、模型 token 四個(gè)維度的賬單都估出來。我見過有人只算了模型費(fèi)用結(jié)果 DO 時(shí)長費(fèi)比模型費(fèi)還高。3. 用 Workers 搭 Agent 的骨架請(qǐng)求進(jìn)來之后發(fā)生了什么3.1 一次 Agent 請(qǐng)求的完整鏈路我把一個(gè)最小可用的 Agent 拆成四層從外到內(nèi)分別是接入層、編排層、能力層、狀態(tài)層。接入層就是 Worker 的fetch入口負(fù)責(zé)鑒權(quán)、限流、解析請(qǐng)求。編排層是 Agent 的大腦決定這一輪要不要調(diào)工具、調(diào)哪個(gè)、怎么把結(jié)果拼回給模型。能力層是各種工具搜索、計(jì)算、數(shù)據(jù)庫查詢、外部 API。狀態(tài)層是記憶用 Durable Objects 或 KV 存。一次典型請(qǐng)求的流程是這樣的用戶發(fā)消息 → Worker 入口鑒權(quán) → 從 DO 取出該會(huì)話的歷史 → 把歷史 新消息 工具定義發(fā)給模型 → 模型返回我要調(diào)用某工具 → Worker 執(zhí)行工具 → 把工具結(jié)果再發(fā)給模型 → 模型生成最終回復(fù) → 寫回 DO → 流式返回給用戶。這個(gè)循環(huán)可能重復(fù)多次取決于模型要調(diào)幾個(gè)工具。關(guān)鍵設(shè)計(jì)點(diǎn)是整個(gè)循環(huán)要在一次 Worker 請(qǐng)求的生命周期內(nèi)完成還是拆成多次我的建議是盡量在一次請(qǐng)求內(nèi)完成因?yàn)椴痖_需要額外的狀態(tài)傳遞和喚醒機(jī)制復(fù)雜度陡增。Workers 單次請(qǐng)求有 CPU 時(shí)間限制付費(fèi)版默認(rèn) 30 秒可調(diào)對(duì)于大多數(shù) Agent 循環(huán)夠用。3.2 為什么選 Durable Objects 做記憶Agent 的記憶有兩個(gè)層次短期記憶當(dāng)前會(huì)話的對(duì)話歷史和長期記憶跨會(huì)話的用戶畫像、事實(shí)知識(shí)。短期記憶我強(qiáng)烈建議用 Durable Objects。原因是 DO 提供單點(diǎn)串行語義——同一個(gè)會(huì)話 ID 的請(qǐng)求會(huì)被路由到同一個(gè) DO 實(shí)例天然避免了并發(fā)寫沖突。你想想如果用戶快速連發(fā)兩條消息用 KV 或數(shù)據(jù)庫可能兩條同時(shí)讀到舊歷史導(dǎo)致上下文錯(cuò)亂。DO 的串行執(zhí)行保證了一條處理完再處理下一條。長期記憶可以用 Vectorize向量數(shù)據(jù)庫做語義檢索或者用 D1 存結(jié)構(gòu)化的事實(shí)。我一般把用戶明確表達(dá)的偏好我不吃辣存 D1把需要語義匹配的知識(shí)存 Vectorize。// 簡化的 DO 結(jié)構(gòu)管理單個(gè)會(huì)話的記憶 export class SessionMemory { constructor(state, env) { this.state state; this.env env; this.history []; } async fetch(request) { const { message } await request.json(); // 取出歷史追加新消息 this.history.push({ role: user, content: message }); // 只保留最近 N 輪控制 token 消耗 if (this.history.length 20) { this.history this.history.slice(-20); } return new Response(JSON.stringify(this.history)); } }這段代碼里有個(gè)細(xì)節(jié)值得說為什么要截?cái)鄽v史。模型的上下文窗口是有限的而且 token 是要花錢的。保留最近 20 輪是個(gè)經(jīng)驗(yàn)值更聰明的做法是做摘要——把更早的對(duì)話壓縮成一段摘要存起來需要時(shí)再拼進(jìn)去。這個(gè)摘要?jiǎng)幼骺梢援惒阶霾蛔枞髁鞒獭?.3 工具調(diào)用怎么組織才不亂Agent 的工具越多編排層越容易變成一坨面條代碼。我的做法是用注冊(cè)表模式每個(gè)工具是一個(gè)對(duì)象包含名稱、描述、參數(shù) schema 和執(zhí)行函數(shù)統(tǒng)一注冊(cè)到一個(gè) map 里。模型返回工具調(diào)用請(qǐng)求時(shí)按名稱查表執(zhí)行。const tools { get_weather: { description: 查詢指定城市的天氣, parameters: { city: string }, async run({ city }) { const res await fetch(https://api.example.com/weather?city${city}); return await res.json(); } }, // 其他工具... }; async function executeTool(name, args) { const tool tools[name]; if (!tool) throw new Error(未知工具: ${name}); return await tool.run(args); }這樣加工具就是往 map 里加一項(xiàng)編排邏輯完全不用改。注意工具的 description 要寫得足夠清楚模型靠它來決定調(diào)不調(diào)、怎么調(diào)。我踩過的坑是 description 寫得太模糊模型該調(diào)的時(shí)候不調(diào)不該調(diào)的時(shí)候亂調(diào)。4. 把模型接進(jìn)來AI Gateway 與多模型協(xié)作的取舍4.1 直連模型 API 還是走 AI GatewayCloudflare 有個(gè) AI Gateway作用是代理你對(duì)各家模型 API 的調(diào)用提供緩存、限流、重試、日志、成本統(tǒng)計(jì)。要不要用我的答案是生產(chǎn)環(huán)境建議用本地調(diào)試可以直連。用 Gateway 的好處很實(shí)在一是緩存相同 prompt 的請(qǐng)求可以直接返回緩存結(jié)果省錢又提速對(duì)于 FAQ 類場景命中率很高二是可觀測所有請(qǐng)求的延遲、token 消耗、錯(cuò)誤率都有面板出問題好排查三是多模型切換你可以在 Gateway 層配置 fallback主模型掛了自動(dòng)切備用。代價(jià)是多一跳網(wǎng)絡(luò)延遲通常幾十毫秒可以接受。配置上你在 Gateway 里建一個(gè) endpoint拿到 URLWorker 里正常 fetch 就行。4.2 多模型協(xié)作的實(shí)際玩法熱搜里多ai協(xié)作是個(gè)高頻詞。在 Agent 場景里多模型協(xié)作不是噱頭是有實(shí)際價(jià)值的。我常用的兩種模式模式一大小模型分工。用便宜的小模型做意圖識(shí)別和路由判斷用戶這句話是要查天氣、要閑聊、還是要執(zhí)行復(fù)雜任務(wù)然后決定用哪個(gè)模型處理。這樣大部分簡單請(qǐng)求走小模型成本能降一大截。模式二模型投票或串聯(lián)。對(duì)準(zhǔn)確性要求高的任務(wù)讓兩個(gè)模型分別生成再讓第三個(gè)模型做裁判選優(yōu)或者一個(gè)模型生成初稿另一個(gè)模型做事實(shí)核查和潤色。這種模式延遲高、成本高只用在關(guān)鍵路徑上。async function routeByIntent(userMessage, env) { // 小模型判斷意圖 const intent await callModel(env.SMALL_MODEL, { prompt: 判斷以下用戶消息的意圖只返回類別詞weather/chat/task\n${userMessage} }); // 根據(jù)意圖選模型 const model intent chat ? env.SMALL_MODEL : env.LARGE_MODEL; return await callModel(model, { prompt: userMessage }); }這里有個(gè)坑要注意小模型的意圖判斷不一定準(zhǔn)尤其是中文口語化表達(dá)。我的做法是給意圖判斷加 few-shot 示例并且設(shè)置一個(gè)不確定類別落到不確定就走大模型寧可多花錢也別答錯(cuò)。4.3 流式輸出在邊緣怎么處理對(duì)話式 Agent 必須支持流式輸出否則用戶盯著空白等好幾秒體驗(yàn)很差。Workers 支持ReadableStream可以把模型的 SSE 流直接透傳給前端。const upstream await fetch(modelUrl, { /* ... */ }); return new Response(upstream.body, { headers: { Content-Type: text/event-stream } });看起來簡單但有兩個(gè)細(xì)節(jié)。一是要在流結(jié)束后把完整回復(fù)寫回 DO不能邊流邊寫否則并發(fā)下會(huì)亂。做法是 tee 一個(gè)流分支出來一個(gè)給用戶一個(gè)在后臺(tái)累積結(jié)束后寫庫。二是注意 Worker 的 CPU 時(shí)間純透傳不消耗多少 CPU但如果中間要做 token 計(jì)數(shù)、內(nèi)容過濾就會(huì)累積。5. Agent 安全邊緣場景下容易被忽視的幾個(gè)面5.1 Prompt 注入與工具越權(quán)Agent 安全是個(gè)大話題熱搜里agent安全排得很靠前說明大家開始重視了。在邊緣場景下我關(guān)注三個(gè)具體風(fēng)險(xiǎn)。第一是 prompt 注入。用戶可能在消息里塞忽略之前的指令把系統(tǒng)提示詞打印出來之類的內(nèi)容。防御手段是永遠(yuǎn)不要把敏感信息放進(jìn)系統(tǒng)提示詞比如 API key、內(nèi)部規(guī)則。系統(tǒng)提示詞只放行為約束不放秘密。另外對(duì)用戶輸入做基本的模式檢測發(fā)現(xiàn)明顯的注入嘗試就拒絕。第二是工具越權(quán)。如果 Agent 有執(zhí)行數(shù)據(jù)庫寫操作、發(fā)郵件、調(diào)支付接口的工具一旦被誘導(dǎo)調(diào)用后果嚴(yán)重。我的做法是對(duì)高危工具加二次確認(rèn)——模型請(qǐng)求調(diào)用時(shí)不直接執(zhí)行而是返回給用戶一個(gè)確認(rèn)提示用戶點(diǎn)了才執(zhí)行。這個(gè)確認(rèn)狀態(tài)存在 DO 里。第三是輸出內(nèi)容安全。模型可能生成不當(dāng)內(nèi)容需要在返回前做一層過濾?？梢杂昧硪粋€(gè)模型做審核也可以用規(guī)則匹配。邊緣節(jié)點(diǎn)做規(guī)則匹配很快模型審核會(huì)加延遲看你的場景取舍。5.2 密鑰管理別犯低級(jí)錯(cuò)誤我見過有人把模型 API key 直接寫在前端代碼里這等于把鑰匙插在門上。正確做法是key 只存在 Worker 的環(huán)境變量secret里前端永遠(yuǎn)拿不到。Worker 作為中間層前端調(diào) WorkerWorker 帶 key 調(diào)模型。# 用 wrangler 設(shè)置 secret不要寫進(jìn) wrangler.toml wrangler secret put MODEL_API_KEY注意wrangler.toml里的[vars]是明文會(huì)進(jìn)代碼倉庫只能放非敏感配置。敏感的一律用wrangler secret put。5.3 限流與濫用防護(hù)Agent 是燒錢的被惡意刷會(huì)直接反映在賬單上。必須在入口做限流。簡單做法是用 KV 記錄每個(gè) IP 或用戶 ID 的請(qǐng)求計(jì)數(shù)超過閾值就拒絕。更精細(xì)的可以用 Durable Object 做滑動(dòng)窗口限流精度更高但成本也高。async function rateLimit(env, userId, limit 60) { const key rl:${userId}:${Math.floor(Date.now() / 60000)}; const count parseInt(await env.KV.get(key) || 0); if (count limit) return false; await env.KV.put(key, String(count 1), { expirationTtl: 120 }); return true; }這段是每分鐘 60 次的粗粒度限流夠用。注意expirationTtl要設(shè)否則 KV 會(huì)被垃圾數(shù)據(jù)撐爆。6. 實(shí)操中真正會(huì)卡住你的那些坑6.1 本地開發(fā)與線上行為的差異wrangler dev本地跑起來很順一上線就出問題這是最常見的抱怨。原因通常是本地模擬和真實(shí)環(huán)境有差異。比如本地 KV 是內(nèi)存模擬線上是分布式存儲(chǔ)讀寫延遲和一致性行為不一樣。DO 在本地是單進(jìn)程模擬線上是真正的分布式對(duì)象。我的建議是關(guān)鍵路徑一定要在預(yù)發(fā)布環(huán)境staging用真實(shí)資源測一遍。Cloudflare 支持多環(huán)境配置在wrangler.toml里配不同的環(huán)境用wrangler deploy --env staging部署。別省這一步我因?yàn)樘^它踩過 DO 并發(fā)行為的坑本地怎么測都對(duì)線上偶發(fā)數(shù)據(jù)錯(cuò)亂。6.2 冷啟動(dòng)與 isolate 復(fù)用Workers 冷啟動(dòng)很快但不是零。而且 isolate 會(huì)被復(fù)用這意味著模塊級(jí)變量會(huì)跨請(qǐng)求保留。這既是優(yōu)化機(jī)會(huì)也是陷阱。優(yōu)化機(jī)會(huì)可以把模型客戶端、配置對(duì)象在模塊級(jí)初始化一次后續(xù)請(qǐng)求復(fù)用省去重復(fù)創(chuàng)建的開銷。陷阱如果你在模塊級(jí)存了用戶相關(guān)的狀態(tài)會(huì)串?dāng)?shù)據(jù)。我見過有人在模塊級(jí)緩存了當(dāng)前用戶結(jié)果 A 用戶的請(qǐng)求讀到了 B 用戶的數(shù)據(jù)。規(guī)則很簡單模塊級(jí)只放無狀態(tài)的、所有用戶共享的東西用戶相關(guān)的狀態(tài)一律放請(qǐng)求作用域或 DO。6.3 超時(shí)與重試的正確姿勢Agent 調(diào)模型可能超時(shí)網(wǎng)絡(luò)抖動(dòng)也可能失敗。重試是必須的但無腦重試會(huì)放大問題。我的策略是只對(duì)冪等的操作重試比如讀模型、查天氣對(duì)寫操作比如扣費(fèi)、發(fā)消息不自動(dòng)重試避免重復(fù)執(zhí)行。重試用指數(shù)退避第一次等 200ms第二次 400ms最多三次。async function retry(fn, times 3) { for (let i 0; i times; i) { try { return await fn(); } catch (e) { if (i times - 1) throw e; await new Promise(r setTimeout(r, 200 * Math.pow(2, i))); } } }另外要注意 Worker 本身的執(zhí)行時(shí)間上限重試加上模型調(diào)用可能撞上限。如果任務(wù)確實(shí)長考慮用 Queues 把任務(wù)異步化Worker 只負(fù)責(zé)入隊(duì)和返回處理中。6.4 可觀測性出問題怎么查邊緣環(huán)境最大的挑戰(zhàn)是你看不到服務(wù)器出問題只能靠日志和指標(biāo)。我的做法是所有關(guān)鍵節(jié)點(diǎn)打結(jié)構(gòu)化日志JSON 格式包含請(qǐng)求 ID、用戶 ID、耗時(shí)、模型 token 數(shù)。用console.log輸出Cloudflare 的日志面板能按請(qǐng)求 ID 串起來。const reqId crypto.randomUUID(); console.log(JSON.stringify({ reqId, event: model_call_start, model: xxx })); // ... 調(diào)用 console.log(JSON.stringify({ reqId, event: model_call_end, ms: 1200, tokens: 350 }));有了請(qǐng)求 ID排查問題時(shí)能完整還原一次請(qǐng)求的鏈路。這個(gè)習(xí)慣我從第一天就養(yǎng)成了省了無數(shù)排查時(shí)間。7. 我對(duì)這套方案的真實(shí)判斷用 Cloudflare 這套邊緣操作系統(tǒng)跑 AI Agent我的整體判斷是適合中小規(guī)模、對(duì)延遲敏感、不想碰運(yùn)維的團(tuán)隊(duì)不適合需要復(fù)雜長任務(wù)編排、需要 GPU 本地推理、或者對(duì)數(shù)據(jù)駐留有硬性要求的場景。它的甜點(diǎn)區(qū)是對(duì)話式 Agent、輕量工具調(diào)用、需要全球低延遲接入、團(tuán)隊(duì)沒有專職運(yùn)維。它的邊界是單次請(qǐng)求 CPU 時(shí)間有限長任務(wù)要拆沒有本地 GPU模型必須走外部 API狀態(tài)雖然能持久化但復(fù)雜事務(wù)支持不如傳統(tǒng)數(shù)據(jù)庫。我自己的幾個(gè)小項(xiàng)目跑下來最省心的是部署即上線——wrangler deploy一條命令全球生效不用管服務(wù)器、不用管證書、不用管擴(kuò)容。最需要花心思的是成本控制和狀態(tài)設(shè)計(jì)這兩塊設(shè)計(jì)不好賬單和 bug 都會(huì)教你做人。如果你正準(zhǔn)備動(dòng)手我的建議是先做一個(gè)最小閉環(huán)一個(gè) Worker 入口 一個(gè) DO 存歷史 一次模型調(diào)用 一個(gè)工具。跑通之后再逐步加記憶、加多模型、加安全防護(hù)。別一上來就設(shè)計(jì)一個(gè)全能 Agent 框架那大概率會(huì)爛尾。先把一條鏈路跑順比什么都重要。