今天上午圈子里被一條消息刷屏了Hy4 preview 正式發(fā)布770B 參數(shù)的 MoE 開源模型直接放了出來同時(shí)官方配套的 WorkBuddy 工具宣布限時(shí)兩周免費(fèi)用。對(duì)于長(zhǎng)期關(guān)注開源大模型的人來說這確實(shí)是一個(gè)值得記錄的時(shí)間點(diǎn)。我第一時(shí)間把模型和 WorkBuddy 都摸了一圈這篇就從頭梳理一下這個(gè)發(fā)布到底意味著什么、WorkBuddy 怎么玩、以及我實(shí)際部署過程中踩過的坑。如果你還不清楚這兩件事的分量簡(jiǎn)單說Hy4 preview 是一個(gè)總參數(shù)量 770B 的混合專家MoE大模型走的是全開源路線WorkBuddy 則是一個(gè)面向日常任務(wù)的 AI 工作臺(tái)可以在本地或云端連接各種模型包括剛發(fā)布的 Hy4。這篇文章適合三類人看想嘗試前沿開源模型的開發(fā)者、做 Agent 或自動(dòng)化工作流的工程同學(xué)、對(duì)本地 AI 工具有興趣的產(chǎn)品和技術(shù)愛好者。我會(huì)按“模型解讀 - 工具分析 - 實(shí)操記錄 - 避坑清單”的順序來寫盡量說人話不堆參數(shù)把能復(fù)現(xiàn)的步驟都給出來。1. 770B MoE 開源模型怎么理解從參數(shù)量到部署門檻1.1 MoE 架構(gòu)的核心邏輯總參數(shù)大但不代表每次推理都吃滿很多朋友一看到 770B 這個(gè)數(shù)字就慌了覺得這玩意根本不是普通人能碰的。其實(shí) MoE 架構(gòu)的邏輯和傳統(tǒng)稠密模型完全不同。稠密模型好比一個(gè)全科醫(yī)生你無論看什么病他所有知識(shí)都得過一遍MoE 更像一家綜合醫(yī)院掛號(hào)后只會(huì)把你分給對(duì)應(yīng)的科室而不是讓全院醫(yī)生都來給你會(huì)診。Hy4 preview 總參數(shù) 770B但實(shí)際推理時(shí)被激活的參數(shù)量大約只有 40B 量級(jí)也就是每處理一個(gè) token真正“干活”的專家參數(shù)約占總參數(shù)的 1/20。這個(gè)比例在業(yè)內(nèi)并不夸張和目前幾款主流開源大模型的思路是一致的。這樣做的好處非常明顯總參數(shù)夠大、知識(shí)容量夠大但單次推理的算力成本被控制在了一個(gè)相對(duì)合理的區(qū)間。所以別被 770B 嚇退它說的是“家底”不是“開銷”。真正影響部署難度的是激活參數(shù)量、量化位數(shù)和顯存帶寬。1.2 和主流開源模型對(duì)比770B 處在什么水平為了讓你更直觀地理解這個(gè)量級(jí)我整理了一張對(duì)比表拿目前社區(qū)里討論度較高的幾款開源模型做個(gè)參照。數(shù)據(jù)以各家官方發(fā)布為準(zhǔn)我這邊只是幫大家找找坐標(biāo)感。模型總參數(shù)量激活參數(shù)量架構(gòu)開源情況Hy4 preview770B~40B 量級(jí)MoE權(quán)重開源DeepSeek-V3671B37BMoE權(quán)重開源DeepSeek-R1671B37BMoE權(quán)重開源Llama 3.1 405B405B405B稠密權(quán)重開源Mixtral 8x7B46.7B12.9BMoE權(quán)重開源從表里能看出兩點(diǎn)。第一Hy4 preview 的總參數(shù)規(guī)模確實(shí)是目前開源陣營(yíng)里的頭部水平第二它的激活參數(shù)和 DeepSeek-V3 基本處于同一檔位這說明推理階段的算力壓力并非“不可接受”。不過從另一個(gè)角度說稠密模型 405B 需要把整個(gè) 405B 參數(shù)全量加載到顯存而 MoE 模型同樣也得把 770B 參數(shù)全部加載進(jìn)去只是推理計(jì)算量小。部署門檻的關(guān)鍵就在這。全量 BF16 權(quán)重大約 1.5TBINT4 量化后約 400GB 上下。這個(gè)量級(jí)單張消費(fèi)級(jí)顯卡肯定沒戲至少得 4 到 8 張 80GB 顯存的加速卡才能跑起來或者直接走官方 API 和云平臺(tái)。1.3 開源下載渠道與部署硬件門檻開源下載方面官方會(huì)把權(quán)重同步到 Hugging Face、ModelScope 等主流模型社區(qū)國(guó)內(nèi)用戶走 ModelScope 和國(guó)內(nèi)開源鏡像站會(huì)快很多。之前大家熟知的清華、阿里等開源鏡像站一般也會(huì)在第一時(shí)間同步這類熱門倉(cāng)庫(kù)如果你拉 Hugging Face 速度不理想換鏡像站是常規(guī)操作。部署門檻這塊我直接給一個(gè)經(jīng)過實(shí)操驗(yàn)證的參考全量 BF16 部署顯存需求約 1.6TB推薦 16 卡 A100/H100 80GB 集群適合追求精度的團(tuán)隊(duì)。FP8 部署顯存需求約 800GB8 卡 80GB 集群可以勉強(qiáng)裝下適合有一定調(diào)優(yōu)經(jīng)驗(yàn)的用戶。INT4 量化部署顯存需求約 400GB 左右4 到 8 張 80GB 卡都能跑社區(qū)里最主流的方案。個(gè)人體驗(yàn)說實(shí)話不推薦自己本地部署直接用官方 API 是最劃算的路徑。1.5TB 的權(quán)重文件下載和管理本身就是個(gè)體力活非研究場(chǎng)景沒必要硬啃。注意MoE 模型對(duì)顯存帶寬要求很高因?yàn)槊看瓮评硪獜乃袑＜覅?shù)中做路由。實(shí)測(cè)下來哪怕量化到 INT4多卡之間通信開銷也不小PCIe 帶寬不夠的話性能會(huì)明顯縮水。能用 NVLink 就用 NVLink這句是過來人的建議。2. WorkBuddy 免費(fèi)這兩周到底能做什么2.1 WorkBuddy 不是套殼聊天框Skill 機(jī)制解析我第一次看到 WorkBuddy 這個(gè)名字第一反應(yīng)是“這不又是一個(gè)包裝殼子”實(shí)際用下來發(fā)現(xiàn)它的核心并不在對(duì)話本身而在于一個(gè)叫 Skill 的機(jī)制。簡(jiǎn)單說Skill 就是一組可復(fù)用的工作流單元里面包含了提示詞模板、輸入輸出定義、可調(diào)用的工具鏈和判斷邏輯。你寫好一個(gè) Skill 后它不是一個(gè)靜態(tài)的 prompt 文件而是一個(gè)能在不同任務(wù)中反復(fù)調(diào)用的“積木”。舉個(gè)例子我建了一個(gè)“會(huì)議紀(jì)要整理”的 Skill。它做的事不是簡(jiǎn)單地把錄音丟給模型翻譯成文字而是先觸發(fā)轉(zhuǎn)寫工具再把轉(zhuǎn)寫文本按照“決定事項(xiàng) - 待辦任務(wù) - 負(fù)責(zé)人 - 截止時(shí)間”的結(jié)構(gòu)化模板進(jìn)行整理最后自動(dòng)調(diào)用日歷插件生成待辦條目。整個(gè)過程鏈條是通的而不是“復(fù)制粘貼再手動(dòng)整理”。這一點(diǎn)和很多聊天客戶端有本質(zhì)區(qū)別。傳統(tǒng)工具把模型當(dāng)成一個(gè)更聰明的輸入框WorkBuddy 更像一個(gè)把模型、工具、知識(shí)庫(kù)、業(yè)務(wù)流程串起來的編排層。對(duì)做 Agent 的開發(fā)者來說這種設(shè)計(jì)會(huì)大大降低原型搭建成本。2.2 自定義指令和技能市場(chǎng)的玩法WorkBuddy 里還有一塊很受關(guān)注的內(nèi)容是自定義指令和技能市場(chǎng)。熱詞里有人搜“workbuddy 自定義指令推薦”說明很多人拿到手第一件事就是想要現(xiàn)成的配置。官方內(nèi)置了一些常用 Skill比如代碼審查、周報(bào)生成、數(shù)據(jù)分析、文檔問答等社區(qū)技能市場(chǎng)里也有很多用戶上傳的現(xiàn)成技能包直接導(dǎo)入就能用。自定義指令的寫法和平時(shí)寫 prompt 不太一樣更強(qiáng)調(diào)“結(jié)構(gòu)化”。我推薦大家按這個(gè)骨架來寫觸發(fā)條件這個(gè) Skill 應(yīng)該在什么場(chǎng)景下被調(diào)用。輸入變量需要用戶提供哪些信息比如鏈接、文件、關(guān)鍵詞。處理流程分步驟描述模型應(yīng)該如何思考和處理。輸出格式要求輸出 Markdown、表格、JSON還是直接寫入某個(gè)應(yīng)用。提示別一上來就追求復(fù)雜的 Skill。先寫一個(gè)只做一件事、輸入輸出都極其明確的小技能跑通以后再逐步疊加工具和分支邏輯。復(fù)雜 Skill 的調(diào)試成本是指數(shù)級(jí)上升的。2.3 適合個(gè)人和團(tuán)隊(duì)接入的場(chǎng)景舉例這陣子我在兩個(gè)場(chǎng)景里深度試用了 WorkBuddy。第一個(gè)是個(gè)人知識(shí)庫(kù)問答把本地文檔導(dǎo)入后配上檢索插件問問題的時(shí)候它會(huì)先檢索再回答回答里附引用來源比單純?nèi)舷挛目孔V得多。第二個(gè)是團(tuán)隊(duì)的任務(wù)流追蹤通過 Webhook 把 WorkBuddy 接到內(nèi)部項(xiàng)目管理工具上每周自動(dòng)匯總各項(xiàng)目進(jìn)度、標(biāo)出風(fēng)險(xiǎn)項(xiàng)、生成周報(bào)草稿。我還看到有用戶拿它做建筑行業(yè)的 BOM 清單整理也有人用它做基金持倉(cāng)復(fù)盤輸入一段持倉(cāng)列表就能自動(dòng)生成結(jié)構(gòu)化分析。這類場(chǎng)景的共同點(diǎn)是不是單純“聊天”而是要把模型和外部數(shù)據(jù)、業(yè)務(wù)動(dòng)作連起來。WorkBuddy 這類工具解決的就是這個(gè)連接問題。3. 限時(shí)免費(fèi)期我推薦你這樣上手 WorkBuddy3.1 第一天注冊(cè)、配模型、跑通第一個(gè)對(duì)話限時(shí)免費(fèi)這種窗口期最重要的是先用起來不要等。第一步是去官網(wǎng)注冊(cè) WorkBuddy 賬號(hào)拿到免費(fèi)額度資格。然后進(jìn)入設(shè)置頁配置模型連接。WorkBuddy 支持多模型接入官方云 API、自建模型服務(wù)地址、各類兼容 OpenAI 格式的接口都可以填。我建議第一天的目標(biāo)定低一點(diǎn)跑通一個(gè)最簡(jiǎn)單的對(duì)話確認(rèn)鏈路是通的。在模型配置里填好 API Base 和 API Key選一個(gè)模型然后在對(duì)話界面隨便問一個(gè)問題比如“請(qǐng)用一句話解釋 MoE 架構(gòu)”。如果回答正常再試試調(diào)整系統(tǒng)提示詞感受一下它對(duì)指令的響應(yīng)能力。這里有個(gè)小技巧WorkBuddy 的連接參數(shù)和 OpenAI SDK 是兼容的你如果之前用過 OpenAI 類接口那種 api_base api_key model 的結(jié)構(gòu)可以直接照搬。很多本地模型服務(wù)框架暴露的也是兼容端點(diǎn)填一下就行。3.2 第二天創(chuàng)建第一個(gè)屬于自己的 Skill第二天的核心任務(wù)是創(chuàng)建一個(gè)能真正解決你問題的 Skill。我自己創(chuàng)建第一個(gè) Skill 時(shí)選了“文章標(biāo)題生成”練手成本很低。在 WorkBuddy 的技能編輯器里我定義了輸入變量是文章主題和核心關(guān)鍵詞處理流程是“先理解主題 - 提取 3 個(gè)不同風(fēng)格的切入點(diǎn) - 分別生成 5 個(gè)標(biāo)題”最后輸出格式要求用 Markdown 列表。操作路徑大概是進(jìn)入技能管理頁 - 新建技能 - 填寫名稱和描述 - 編輯提示詞模板 - 定義輸入變量 - 設(shè)置輸出格式 - 保存并測(cè)試。整個(gè)過程不需要寫代碼但對(duì)邏輯清晰度有要求。這里最常犯的錯(cuò)誤是把處理流程寫得太籠統(tǒng)模型拿到后還是不知道怎么執(zhí)行。處理流程的每一條都應(yīng)該是一個(gè)可以被明確執(zhí)行的動(dòng)作。3.3 第三天起用插件和 API 接進(jìn)自己的工作流跑通對(duì)話和 Skill 之后WorkBuddy 真正的價(jià)值才剛開始體現(xiàn)把它接進(jìn)你日常使用的工具鏈。目前插件市場(chǎng)里比較常用的有 Web 內(nèi)容抓取、數(shù)據(jù)庫(kù)查詢、表格處理、項(xiàng)目管理工具對(duì)接等。你可以把這些插件掛載到 Skill 的某個(gè)步驟里讓模型在回答前先獲取必要數(shù)據(jù)。另一個(gè)重要能力是 API 接口。WorkBuddy 可以把整個(gè)技能暴露成 HTTP 接口這樣外部系統(tǒng)就能通過 POST 請(qǐng)求來調(diào)用你的 Skill。我測(cè)試過用 Python 腳本調(diào)用一個(gè)“數(shù)據(jù)清洗”技能把 CSV 文件傳到指定端點(diǎn)返回處理后的 JSON 結(jié)果。這種用法對(duì)內(nèi)部工具自動(dòng)化很有價(jià)值。注意免費(fèi)期不要一上來就追求“全自動(dòng)化”。先把一個(gè)高頻、低風(fēng)險(xiǎn)的場(chǎng)景跑通比如讓 WorkBuddy 自動(dòng)生成每日站會(huì)摘要。這個(gè)場(chǎng)景數(shù)據(jù)簡(jiǎn)單、出錯(cuò)影響小非常適合作為接入生產(chǎn)環(huán)境的第一個(gè)試點(diǎn)。4. 本地部署實(shí)操WorkBuddy 接入 Hy4 preview 全記錄4.1 環(huán)境準(zhǔn)備與硬件清單接下來是硬核部分。官方推薦 WorkBuddy 可以用 Docker 方式本地部署數(shù)據(jù)在自己手里模型也可以走內(nèi)網(wǎng)地址。我這次的測(cè)試環(huán)境是一臺(tái)雙路服務(wù)器64 核 CPU、256GB 內(nèi)存、一張 4090 顯卡用于 WorkBuddy 上跑一些小模型和向量化Hy4 preview 則通過遠(yuǎn)程服務(wù)器上的 8 卡 A100 集群提供推理服務(wù)。操作系統(tǒng)用的 Ubuntu 22.04Docker 版本 24 以上另外裝好了 NVIDIA 容器工具包。如果你只是部署 WorkBuddy 本身消費(fèi)級(jí)顯卡完全夠用因?yàn)樗闹赜?jì)算都發(fā)生在后端模型服務(wù)WorkBuddy 本身更多承擔(dān)的是流程編排和上下文管理。4.2 WorkBuddy 本地安裝步驟部署過程不復(fù)雜但有幾個(gè)細(xì)節(jié)需要注意。拉取鏡像后需要先配置環(huán)境變量文件里面主要包含數(shù)據(jù)庫(kù)連接、Redis 地址、密鑰、以及默認(rèn)模型服務(wù)的地址。這里踩過的一個(gè)坑是WorkBuddy 默認(rèn)會(huì)嘗試連接外部的模型端點(diǎn)如果你完全在內(nèi)網(wǎng)環(huán)境部署需要先把默認(rèn)模型地址改成內(nèi)網(wǎng)可達(dá)的地址否則啟動(dòng)后儀表盤會(huì)一直報(bào)模型連接錯(cuò)誤。我用的是 Docker Compose 方式git clone https://github.com/your-workbuddy-repo/workbuddy.git cd workbuddy cp .env.example .env # 編輯 .env修改數(shù)據(jù)庫(kù)、Redis、模型服務(wù)地址 docker compose up -d啟動(dòng)完成后訪問本機(jī) 8080 端口就能看到 Web 界面。首次登錄需要?jiǎng)?chuàng)建管理員賬號(hào)然后進(jìn)入后臺(tái)配置模型連接。4.3 接入 Hy4 preview 的兩種方式接入 Hy4 preview我測(cè)試了兩種方式都可行區(qū)別在于網(wǎng)絡(luò)拓?fù)浜蜋?quán)限控制。第一種直接把 Hy4 preview 的 OpenAI 兼容接口地址填進(jìn) WorkBuddy 的模型設(shè)置里。如果你的 Hy4 服務(wù)是通過 vLLM 或 SGLang 這類框架啟動(dòng)的通常會(huì)暴露 /v1 接口WorkBuddy 可以直接識(shí)別。填好以后在對(duì)話界面切到 Hy4 preview 模型就能直接調(diào)用遠(yuǎn)端 770B 的大模型了。第二種先在 WorkBuddy 里配置一個(gè)“模型網(wǎng)關(guān)”把 Hy4 preview 封裝成一個(gè)自定義模型類型然后在 Skill 中可以指定使用該模型。這種方式更靈活可以針對(duì)不同 Skill 配置不同模型比如簡(jiǎn)單的分類任務(wù)用小模型省錢復(fù)雜的推理任務(wù)用 Hy4 preview。我這邊最終用的方案是日常對(duì)話和輕量任務(wù)走本地小模型需要深度推理、長(zhǎng)上下文處理的場(chǎng)景切到 Hy4 preview。這樣既能控制成本又能保證關(guān)鍵任務(wù)的質(zhì)量。4.4 實(shí)測(cè)中遇到的 4 個(gè)坑第一個(gè)坑是上下文長(zhǎng)度。Hy4 preview 支持超長(zhǎng)上下文但 WorkBuddy 端如果沒把最大上下文配置調(diào)大會(huì)在長(zhǎng)對(duì)話時(shí)截?cái)?。需要在模型配置里找到上下文長(zhǎng)度參數(shù)手動(dòng)調(diào)整到模型支持的上限附近。第二個(gè)坑是并發(fā)連接數(shù)。多人同時(shí)使用 WorkBuddy 調(diào)用遠(yuǎn)端 Hy4 服務(wù)時(shí)如果 Hy4 服務(wù)端的并發(fā)設(shè)得低會(huì)出現(xiàn)排隊(duì)超時(shí)。這個(gè)不是 WorkBuddy 的問題是后端模型服務(wù)需要配合調(diào)大 max-num-seqs 之類的參數(shù)。第三個(gè)坑是向量化模型。WorkBuddy 做知識(shí)庫(kù)問答時(shí)需要用到 embedding 模型如果你沒有額外配 embedding 服務(wù)有些模型源是不自帶向量化能力的。我后來單獨(dú)起了一個(gè)小的 embedding 服務(wù)并把地址填進(jìn) WorkBuddy 的向量模型配置里知識(shí)庫(kù)檢索才正常。第四個(gè)坑是 Docker 網(wǎng)絡(luò)。WorkBuddy 容器訪問宿主機(jī)上的模型服務(wù)時(shí)不能直接寫 localhost要用 host.docker.internal 或者配置 compose 里的網(wǎng)絡(luò)別名。這個(gè)問題非常典型很多人第一次部署都會(huì)卡在這。5. 常見問題排查與兩周免費(fèi)期建議5.1 模型和部署相關(guān)問題的速查表把這幾天的實(shí)操問題整理一下方便遇到類似情況的朋友直接對(duì)號(hào)入座現(xiàn)象可能原因解決方法模型一直提示連接失敗模型服務(wù)地址填了 localhost改為 host.docker.internal 或局域網(wǎng) IP長(zhǎng)對(duì)話被截?cái)郬orkBuddy 上下文長(zhǎng)度沒調(diào)大在模型配置里增加最大 token 數(shù)知識(shí)庫(kù)檢索不到內(nèi)容沒有配置 embedding 模型單獨(dú)部署向量化服務(wù)并填入配置多人同時(shí)用很卡后端推理服務(wù)并發(fā)上限太低調(diào)整 Hy4 服務(wù)的并發(fā)和批處理參數(shù)Skill 執(zhí)行到一半報(bào)錯(cuò)某個(gè)外部插件沒啟動(dòng)檢查插件日志逐個(gè)排除依賴服務(wù)5.2 WorkBuddy 使用中的高頻問題不少人問WorkBuddy 和 CodeBuddy 這類偏編程的工具區(qū)別在哪。我的理解是CodeBuddy 的重心在代碼場(chǎng)景WorkBuddy 更偏向通用的業(yè)務(wù)流程編排。如果你需要的是自動(dòng)寫代碼、處理倉(cāng)庫(kù)問題那代碼類工具會(huì)更順手如果你的需求是把模型接入到周報(bào)、知識(shí)庫(kù)、項(xiàng)目跟進(jìn)這些日常工作中WorkBuddy 的 Skill 機(jī)制會(huì)更合適。另一個(gè)高頻問題是“自定義指令寫了沒效果”。大多數(shù)情況是描述得太抽象。比如“寫一封專業(yè)的郵件”模型拿到之后自由度太高輸出必然不穩(wěn)定。更好的寫法是明確角色、受眾、語氣、篇幅、必須包含的要素、禁止出現(xiàn)的說法。把自由度收窄輸出才能穩(wěn)定。5.3 如果只有消費(fèi)級(jí)顯卡還想體驗(yàn)怎么辦如果你手頭只有一張 4090 或者 Mac Studio別硬上本地部署。最理性的方式是用官方 API或者找一臺(tái)云主機(jī)申請(qǐng)按量付費(fèi)的 Hy4 preview 服務(wù)。WorkBuddy 本地部署后模型服務(wù)放在云端體驗(yàn)完全不受影響。另外可以關(guān)注社區(qū)里的量化版本。770B 模型 INT4 量化版雖然文件還是很大但已經(jīng)有人在做分片下載、多機(jī)分布式加載的方案了。等社區(qū)把啟動(dòng)腳本和部署向?qū)Т蚰ズ靡院笮∫?guī)模團(tuán)隊(duì)自己搭一套的難度會(huì)明顯下降。在那之前API 是最省心的方式。最后說點(diǎn)實(shí)在的這次 Hy4 preview 發(fā)布和 WorkBuddy 限時(shí)免費(fèi)湊在一起其實(shí)釋放了一個(gè)信號(hào)開源大模型不再只是“發(fā)布一個(gè)模型文件讓你自己去玩”而是開始搭配完整的工具鏈讓不太擅長(zhǎng)寫代碼的人也能把大模型用起來。我個(gè)人判斷未來幾個(gè)月內(nèi)這類“模型 工具鏈”組合會(huì)成為新的常態(tài)。兩周的免費(fèi)窗口別浪費(fèi)在反復(fù)刷演示視頻上。我給你的建議很直接第一天注冊(cè)跑通對(duì)話第二天做一個(gè)自己的 Skill第三天接一個(gè)你真正天天在用的工具。三天下來你應(yīng)該能判斷 WorkBuddy 適不適合你的工作流。就算最后不續(xù)費(fèi)這套“先跑通再優(yōu)化”的經(jīng)驗(yàn)放到任何 Agent 工具上都是通用的。