1. 項(xiàng)目概述為什么我們需要一個(gè)“活”的AI同事評(píng)測(cè)場(chǎng)最近和幾個(gè)做AI Agent的朋友聊天大家普遍有個(gè)感覺現(xiàn)在的AI智能體評(píng)測(cè)有點(diǎn)“紙上談兵”的意思。我們訓(xùn)練一個(gè)Agent讓它去訂機(jī)票、寫周報(bào)、分析數(shù)據(jù)然后拿幾個(gè)標(biāo)準(zhǔn)化的任務(wù)集比如WebArena、AgentBench跑一下看成功率。這當(dāng)然有價(jià)值但它描繪的圖景是靜態(tài)的、割裂的。現(xiàn)實(shí)世界里的工作是什么樣的是連續(xù)多天的、任務(wù)之間有上下文關(guān)聯(lián)的、需要處理圖片、文檔、網(wǎng)頁(yè)、對(duì)話等多種模態(tài)信息的并且你是在和“同事”協(xié)作而不是單打獨(dú)斗。這就是ClawMark這個(gè)基準(zhǔn)測(cè)試想解決的核心痛點(diǎn)——它要評(píng)測(cè)的不是AI在單一任務(wù)上的“瞬時(shí)智商”而是在一個(gè)模擬真實(shí)辦公環(huán)境的“活的世界”里作為一個(gè)“同事”能否進(jìn)行多輪、多天、多模態(tài)的持續(xù)協(xié)作。ClawMark這個(gè)名字本身就很有意思?！癈law”是爪子有抓取、協(xié)作的意象“Mark”是標(biāo)記、基準(zhǔn)。合起來(lái)可以理解為“為協(xié)作型智能體留下的抓痕”或“協(xié)作標(biāo)記”。它瞄準(zhǔn)的正是當(dāng)前大模型應(yīng)用從“玩具演示”走向“生產(chǎn)力工具”的關(guān)鍵隘口如何讓AI真正像一個(gè)靠譜的、持久的、能理解復(fù)雜上下文的工作伙伴這個(gè)基準(zhǔn)測(cè)試的出現(xiàn)意味著AI Agent的評(píng)測(cè)范式正在從“考試”轉(zhuǎn)向“實(shí)習(xí)期觀察”。它不再問你“這道題怎么做”而是把你丟進(jìn)一個(gè)虛擬辦公室觀察你一周的工作表現(xiàn)能否記住昨天的會(huì)議紀(jì)要能否根據(jù)收到的郵件和圖表調(diào)整今天的任務(wù)優(yōu)先級(jí)能否和另一個(gè)AI同事配合完成一個(gè)項(xiàng)目這對(duì)于任何想開發(fā)真正實(shí)用AI助手或數(shù)字員工團(tuán)隊(duì)的研究者和開發(fā)者來(lái)說(shuō)都是一個(gè)不可或缺的“試金石”。2. 核心設(shè)計(jì)思路構(gòu)建一個(gè)“活”的辦公世界2.1 從靜態(tài)任務(wù)到動(dòng)態(tài)環(huán)境的范式轉(zhuǎn)變傳統(tǒng)的AI基準(zhǔn)測(cè)試無(wú)論是GLUE對(duì)于自然語(yǔ)言理解還是ImageNet對(duì)于圖像識(shí)別其本質(zhì)都是“快照式”的給定一個(gè)輸入期待一個(gè)正確的輸出。任務(wù)之間是獨(dú)立的沒有狀態(tài)延續(xù)。這對(duì)于衡量模型的底層能力是有效的但完全無(wú)法評(píng)估一個(gè)智能體在時(shí)間維度上的表現(xiàn)。ClawMark的設(shè)計(jì)哲學(xué)是環(huán)境驅(qū)動(dòng)和狀態(tài)持續(xù)。它首先構(gòu)建了一個(gè)高度仿真的數(shù)字化辦公環(huán)境這個(gè)環(huán)境有自己的“時(shí)間流”模擬多天有持續(xù)變化的“世界狀態(tài)”如收件箱有新郵件、共享文檔被編輯、日歷事件觸發(fā)并且智能體需要通過多模態(tài)感知看屏幕截圖、讀文檔、解析郵件正文和附件來(lái)理解這個(gè)狀態(tài)。這種設(shè)計(jì)帶來(lái)的第一個(gè)核心挑戰(zhàn)是長(zhǎng)期記憶與上下文管理。一個(gè)智能體在周一接到一個(gè)項(xiàng)目啟動(dòng)郵件周二需要參考這份郵件來(lái)撰寫方案草案周三則要根據(jù)同事對(duì)草案的批注進(jìn)行修改。如果智能體在周三“忘記”了周一的郵件內(nèi)容和周二的草案那么它的行為將是荒謬的。ClawMark必須能測(cè)試智能體是否具備有效的記憶機(jī)制無(wú)論是通過長(zhǎng)上下文窗口、外部向量數(shù)據(jù)庫(kù)還是精巧的摘要和檢索策略。2.2 “多輪”與“多天”的嵌套結(jié)構(gòu)解析“多輪”Multi-Turn和“多天”Multi-Day是ClawMark的兩個(gè)關(guān)鍵維度它們相互交織構(gòu)成了評(píng)測(cè)的復(fù)雜性。多輪Multi-Turn這指的是在一個(gè)較短的時(shí)間單元內(nèi)比如一次“交互會(huì)話”中智能體與環(huán)境的多次往復(fù)。例如處理一封郵件可能包含多個(gè)回合1. 讀取郵件內(nèi)容2. 打開郵件中提到的鏈接或附件3. 根據(jù)附件信息在內(nèi)部系統(tǒng)中查詢4. 起草回復(fù)。每一輪智能體都需要根據(jù)環(huán)境反饋如打開的網(wǎng)頁(yè)內(nèi)容、查詢結(jié)果來(lái)決定下一步動(dòng)作。這考驗(yàn)的是智能體的任務(wù)分解、規(guī)劃與執(zhí)行能力以及根據(jù)新信息動(dòng)態(tài)調(diào)整計(jì)劃的能力。多天Multi-Day這是更宏觀的時(shí)間尺度。一個(gè)任務(wù)或項(xiàng)目可能橫跨數(shù)天。每天智能體“上班”時(shí)都會(huì)面對(duì)一個(gè)繼承了前一天狀態(tài)的新環(huán)境。例如Day 1的任務(wù)是“收集市場(chǎng)數(shù)據(jù)并生成報(bào)告初稿”。智能體完成了數(shù)據(jù)收集。Day 2任務(wù)更新為“根據(jù)經(jīng)理對(duì)初稿的批注完成最終報(bào)告并發(fā)送給客戶”。這時(shí)智能體必須能關(guān)聯(lián)起Day 1的“初稿”和Day 2的“批注”并理解任務(wù)的延續(xù)性。這考驗(yàn)的是智能體的長(zhǎng)期目標(biāo)跟蹤、狀態(tài)持久化和跨會(huì)話推理能力。ClawMark通過精心設(shè)計(jì)的任務(wù)劇本將多輪交互嵌套到多天的框架內(nèi)。一個(gè)任務(wù)可能包含多個(gè)“子任務(wù)”每個(gè)子任務(wù)在一天內(nèi)通過多輪交互完成而子任務(wù)之間則通過天數(shù)推進(jìn)產(chǎn)生依賴。2.3 “多模態(tài)”與“協(xié)作”如何成為評(píng)測(cè)關(guān)鍵“多模態(tài)”Multimodal在ClawMark中不是點(diǎn)綴而是剛需。真實(shí)的辦公信息流極少是純文本的。視覺模態(tài)智能體需要“看到”模擬的電腦桌面或應(yīng)用界面截圖從中識(shí)別按鈕、菜單、表格數(shù)據(jù)、圖表趨勢(shì)。例如任務(wù)可能是“從財(cái)務(wù)部門發(fā)來(lái)的季度報(bào)表截圖一張圖片中提取第三季度的營(yíng)收數(shù)據(jù)并填入預(yù)算系統(tǒng)”。這要求模型具備強(qiáng)大的視覺-語(yǔ)言理解能力VLM。文檔模態(tài)處理PDF、Word、Excel、PPT等格式的附件。這不僅僅是OCR文字提取更需要理解文檔結(jié)構(gòu)標(biāo)題、段落、表格、格式加粗、顏色代表的含義以及其中的非文本元素圖表。結(jié)構(gòu)化數(shù)據(jù)模態(tài)與內(nèi)部數(shù)據(jù)庫(kù)或API交互處理JSON、XML或表格形式的數(shù)據(jù)?！皡f(xié)作”Coworker Agents是另一個(gè)革命性的設(shè)計(jì)。ClawMark評(píng)測(cè)的很可能不是一個(gè)孤立的智能體而是一個(gè)智能體團(tuán)隊(duì)或者是一個(gè)智能體與模擬人類同事可以是規(guī)則驅(qū)動(dòng)的Bot也可以是另一個(gè)AI的交互。協(xié)作場(chǎng)景引入了全新的評(píng)測(cè)維度溝通與協(xié)商智能體之間需要通過自然語(yǔ)言模擬聊天工具或共享文檔進(jìn)行溝通分配任務(wù)同步進(jìn)度解決分歧。角色與職責(zé)不同的智能體可能被賦予不同角色如項(xiàng)目經(jīng)理、數(shù)據(jù)分析師、文案編輯需要理解并履行自己的職責(zé)邊界。共同狀態(tài)管理多個(gè)智能體對(duì)共享資源如一份協(xié)同編輯的文檔、一個(gè)項(xiàng)目看板的讀寫操作需要被協(xié)調(diào)避免沖突。ClawMark需要能評(píng)估智能體在協(xié)作中的效率、沖突解決能力和整體任務(wù)完成度。3. 基準(zhǔn)的構(gòu)成與任務(wù)設(shè)計(jì)深度拆解3.1 環(huán)境模擬數(shù)字孿生辦公室的搭建邏輯ClawMark不可能為每個(gè)測(cè)試去租一間真實(shí)的辦公室它必須構(gòu)建一個(gè)高保真的虛擬環(huán)境。通常這會(huì)采用瀏覽器自動(dòng)化環(huán)境或定制化GUI模擬器作為基礎(chǔ)。瀏覽器環(huán)境利用像Playwright或Selenium這樣的工具驅(qū)動(dòng)一個(gè)無(wú)頭瀏覽器。測(cè)試任務(wù)可以發(fā)生在一個(gè)高度仿真的Web應(yīng)用集合中例如模擬的郵箱系統(tǒng)如MockMail、文檔協(xié)作平臺(tái)如MockDocs、CRM系統(tǒng)、內(nèi)部?jī)x表盤等。智能體的動(dòng)作被轉(zhuǎn)化為瀏覽器操作點(diǎn)擊、輸入、導(dǎo)航。環(huán)境的狀態(tài)則通過截取網(wǎng)頁(yè)DOM或屏幕截圖提供給智能體。這種方式的優(yōu)勢(shì)是貼近真實(shí)很多辦公軟件確實(shí)是Web應(yīng)用且開發(fā)相對(duì)靈活。定制化GUI模擬器為了更精細(xì)地控制環(huán)境和評(píng)估研發(fā)團(tuán)隊(duì)可能會(huì)構(gòu)建一個(gè)輕量級(jí)的專用模擬器。這個(gè)模擬器用代碼定義了一個(gè)虛擬桌面上面有郵箱圖標(biāo)、文檔圖標(biāo)、日歷應(yīng)用等。智能體的動(dòng)作是抽象的open_app(“mail”),read_email(id5),type_in_document(text“report”)環(huán)境狀態(tài)則以結(jié)構(gòu)化的數(shù)據(jù)當(dāng)前打開的應(yīng)用、應(yīng)用內(nèi)的數(shù)據(jù)和渲染出的截圖共同返回。這種方式評(píng)估更精確排除了真實(shí)Web環(huán)境的不確定性但構(gòu)建成本更高。環(huán)境的核心是狀態(tài)管理。它需要維護(hù)一個(gè)全局狀態(tài)包括但不限于所有模擬用戶的收件箱郵件列表及內(nèi)容、文件系統(tǒng)中的文檔、日歷事件、聊天記錄、各個(gè)Web應(yīng)用或GUI應(yīng)用的內(nèi)部分?jǐn)?shù)-據(jù)。這個(gè)狀態(tài)隨著智能體的操作和預(yù)設(shè)的“世界事件”如定時(shí)發(fā)送的模擬郵件而演變。3.2 任務(wù)類型全景從行政助理到項(xiàng)目協(xié)調(diào)員ClawMark的任務(wù)庫(kù)會(huì)覆蓋辦公場(chǎng)景的頻譜難度和復(fù)雜度逐級(jí)提升。我們可以將其分為幾個(gè)大類信息處理與傳遞任務(wù)基礎(chǔ) “將收件箱中來(lái)自‘財(cái)務(wù)部’的關(guān)于‘Q3預(yù)算’的郵件附件一個(gè)Excel表中的總支出數(shù)字回復(fù)給發(fā)件人?！边M(jìn)階 “過去三天內(nèi)所有包含‘項(xiàng)目A’關(guān)鍵詞的郵件將其發(fā)件人、時(shí)間和核心訴求整理成一個(gè)摘要表格保存為PDF并發(fā)送給你的經(jīng)理?！彪y點(diǎn) 需要跨模態(tài)郵件文本附件表格理解跨時(shí)間檢索并進(jìn)行信息整合與格式化輸出。工作流執(zhí)行與協(xié)調(diào)任務(wù)基礎(chǔ) “經(jīng)理在聊天群里說(shuō)‘需要大家更新一下項(xiàng)目進(jìn)度’請(qǐng)找到名為‘項(xiàng)目跟蹤表’的在線表格在對(duì)應(yīng)你名字的那一行填入你當(dāng)前任務(wù)的完成百分比和下一步計(jì)劃?！边M(jìn)階 “你是項(xiàng)目協(xié)調(diào)員。今天上午10點(diǎn)有一個(gè)關(guān)于‘產(chǎn)品上線’的日歷會(huì)議。請(qǐng)?jiān)?:50自動(dòng)在群聊中提醒與會(huì)成員。會(huì)議結(jié)束后根據(jù)聊天記錄中討論的要點(diǎn)更新項(xiàng)目看板Kanban上相關(guān)任務(wù)的狀態(tài)并給未分配的任務(wù)分配給合適的同事基于他們的當(dāng)前負(fù)載和技能描述。”難點(diǎn) 需要理解自然語(yǔ)言指令觸發(fā)定時(shí)動(dòng)作解析非結(jié)構(gòu)化的會(huì)議討論并做出基于規(guī)則的決策任務(wù)分配。分析與報(bào)告生成任務(wù)基礎(chǔ) “銷售部門共享文件夾里有一個(gè)‘日銷售數(shù)據(jù).csv’文件請(qǐng)計(jì)算今日的總銷售額和平均訂單價(jià)并將結(jié)果寫在團(tuán)隊(duì)共享文檔的‘今日數(shù)據(jù)’部分?！边M(jìn)階 “這一周市場(chǎng)部每天都會(huì)發(fā)來(lái)一份競(jìng)品分析簡(jiǎn)報(bào)PDF。請(qǐng)綜合這五份簡(jiǎn)報(bào)提煉出競(jìng)品主要?jiǎng)討B(tài)、我們的機(jī)會(huì)點(diǎn)與威脅生成一份圖文并茂的周度綜合報(bào)告PPT格式并在周五下午3點(diǎn)自動(dòng)提交給總監(jiān)郵箱。”難點(diǎn) 長(zhǎng)期多天信息聚合從多份復(fù)雜文檔中提取、對(duì)比、總結(jié)信息并生成結(jié)構(gòu)化的多模態(tài)輸出PPT。多智能體協(xié)作任務(wù)場(chǎng)景 任務(wù)“完成客戶提案”。智能體A扮演“客戶經(jīng)理”負(fù)責(zé)與模擬客戶溝通需求智能體B扮演“解決方案架構(gòu)師”負(fù)責(zé)設(shè)計(jì)技術(shù)方案智能體C扮演“文案”負(fù)責(zé)撰寫提案文檔。他們需要通過共享文檔和聊天工具協(xié)同工作。評(píng)測(cè)點(diǎn) 任務(wù)完成的整體質(zhì)量溝通效率消息數(shù)量、清晰度沖突解決如對(duì)方案有分歧以及最終交付物的完整性和一致性。3.3 評(píng)估指標(biāo)體系超越簡(jiǎn)單的“成功率”在這樣一個(gè)復(fù)雜動(dòng)態(tài)的環(huán)境中用一個(gè)“任務(wù)成功/失敗”的二元指標(biāo)是遠(yuǎn)遠(yuǎn)不夠的。ClawMark需要一套多維度的評(píng)估體系任務(wù)完成度 這是基礎(chǔ)指標(biāo)。但不同于簡(jiǎn)單任務(wù)這里可能需要分解為子任務(wù)完成度。例如一個(gè)多天任務(wù)是否完成了每一天的關(guān)鍵交付物效率指標(biāo)步驟數(shù) 完成同一個(gè)任務(wù)智能體與環(huán)境交互的輪次Steps是多少更少的輪次通常意味著更優(yōu)的規(guī)劃和更精準(zhǔn)的動(dòng)作。耗時(shí) 模擬環(huán)境中的“時(shí)間”消耗或?qū)嶋H推理時(shí)間。這關(guān)系到智能體的反應(yīng)速度和決策效率。資源利用與合規(guī)性工具使用正確率 是否選擇了正確的工具或應(yīng)用來(lái)完成子任務(wù)例如該發(fā)郵件的時(shí)候沒有誤操作成修改共享文檔。信息引用準(zhǔn)確性 在生成回復(fù)或報(bào)告時(shí)引用的數(shù)據(jù)、郵件內(nèi)容是否準(zhǔn)確有無(wú)捏造或混淆操作安全性 是否有危險(xiǎn)或不合規(guī)的操作例如試圖刪除系統(tǒng)關(guān)鍵文件、未經(jīng)授權(quán)訪問他人文檔——雖然環(huán)境是模擬的但此類行為應(yīng)在評(píng)估中被懲罰。協(xié)作質(zhì)量指標(biāo)針對(duì)多智能體溝通有效性 消息是否清晰、簡(jiǎn)潔、與任務(wù)相關(guān)角色契合度 智能體的行為是否符合其被賦予的角色職責(zé)團(tuán)隊(duì)整體效用 112還是2對(duì)比單個(gè)智能體完成任務(wù)的效率和質(zhì)量團(tuán)隊(duì)協(xié)作是提升了還是降低了長(zhǎng)期一致性 智能體在多天任務(wù)中其決策和行為是否保持邏輯上的一致性對(duì)同一實(shí)體的指代是否穩(wěn)定這些指標(biāo)的綜合才能勾勒出一個(gè)AI“同事”是否真正“靠譜”。4. 實(shí)現(xiàn)挑戰(zhàn)與核心技術(shù)棧探討4.1 智能體架構(gòu)設(shè)計(jì)記憶、規(guī)劃與執(zhí)行的閉環(huán)要在ClawMark中取得好成績(jī)智能體需要一個(gè)強(qiáng)大的架構(gòu)。目前主流的研究方向是基于大型語(yǔ)言模型LLM的Agent框架并針對(duì)長(zhǎng)周期、多模態(tài)任務(wù)進(jìn)行增強(qiáng)。記憶模塊 這是應(yīng)對(duì)“多天”挑戰(zhàn)的核心。簡(jiǎn)單的將整個(gè)歷史對(duì)話扔進(jìn)LLM上下文窗口會(huì)很快耗盡額度且效率低下。因此需要分層記憶系統(tǒng)瞬時(shí)記憶 當(dāng)前會(huì)話的上下文直接供LLM使用。工作記憶/短期記憶 存儲(chǔ)當(dāng)前任務(wù)相關(guān)的關(guān)鍵信息如今天的目標(biāo)、剛讀到的郵件核心內(nèi)容?？梢杂孟蛄繑?shù)據(jù)庫(kù)存儲(chǔ)按需檢索。長(zhǎng)期記憶 存儲(chǔ)跨天的、重要的實(shí)體、事實(shí)和經(jīng)驗(yàn)。例如“項(xiàng)目A的負(fù)責(zé)人是張三”、“上周處理過類似的數(shù)據(jù)請(qǐng)求”。這通常也需要向量數(shù)據(jù)庫(kù)并輔以摘要技術(shù)——將一天或一個(gè)任務(wù)的經(jīng)歷濃縮成幾條關(guān)鍵事實(shí)存入長(zhǎng)期記憶。當(dāng)新一天任務(wù)開始時(shí)智能體首先從長(zhǎng)期記憶中檢索相關(guān)背景加載到工作記憶中。規(guī)劃與反思模塊任務(wù)分解 將高層目標(biāo)“完成季度報(bào)告”分解為可執(zhí)行的子任務(wù)序列“收集數(shù)據(jù)-撰寫初稿-獲取反饋-修改定稿”。動(dòng)態(tài)重規(guī)劃 當(dāng)環(huán)境反饋與預(yù)期不符時(shí)如找不到某個(gè)文件能調(diào)整計(jì)劃。反思 在一天結(jié)束或一個(gè)任務(wù)階段完成后智能體應(yīng)能“回顧”自己的表現(xiàn)總結(jié)成功經(jīng)驗(yàn)和失敗教訓(xùn)并將這些“經(jīng)驗(yàn)”結(jié)構(gòu)化后存入長(zhǎng)期記憶。例如“直接向財(cái)務(wù)部索要原始數(shù)據(jù)比從匯總郵件里提取更準(zhǔn)確”這條經(jīng)驗(yàn)在未來(lái)類似場(chǎng)景中可以被檢索和應(yīng)用。多模態(tài)理解與生成模塊理解端 需要集成強(qiáng)大的多模態(tài)大模型如GPT-4V, Gemini Pro Vision能夠解讀屏幕截圖中的UI元素、圖表信息解析PDF/Word文檔的版式和內(nèi)容。生成端 不僅能生成文本回復(fù)還能生成操作指令如click(‘submit_button’)甚至生成結(jié)構(gòu)化的數(shù)據(jù)如填寫表格的JSON或簡(jiǎn)單的圖表描述用于報(bào)告。4.2 環(huán)境模擬器的技術(shù)實(shí)現(xiàn)細(xì)節(jié)構(gòu)建ClawMark環(huán)境本身就是一個(gè)大型工程。其技術(shù)棧可能如下核心引擎 可能基于游戲引擎如Unity、Godot或Web技術(shù)棧如React來(lái)渲染GUI。更輕量的方式可能是用Python的圖形庫(kù)如tkinterpygame模擬基礎(chǔ)界面但對(duì)于復(fù)雜辦公場(chǎng)景Web技術(shù)更合適。狀態(tài)管理 使用關(guān)系型數(shù)據(jù)庫(kù)如SQLite或文檔數(shù)據(jù)庫(kù)來(lái)持久化存儲(chǔ)所有環(huán)境狀態(tài)用戶、郵件、文件、應(yīng)用數(shù)據(jù)。每次智能體行動(dòng)后環(huán)境計(jì)算新的狀態(tài)并更新數(shù)據(jù)庫(kù)。動(dòng)作API 為智能體暴露一組定義良好的API例如env.step(action)。action是一個(gè)結(jié)構(gòu)化的字典包含動(dòng)作類型open,read,click,type,send等和參數(shù)target: “email_id_123”,content: “Hello”。觀察生成 根據(jù)當(dāng)前狀態(tài)環(huán)境需要生成給智能體的“觀察”。這包括兩部分結(jié)構(gòu)化觀察 一個(gè)JSON對(duì)象包含當(dāng)前焦點(diǎn)應(yīng)用的基本信息、可操作對(duì)象列表等。例如當(dāng)前打開了郵箱應(yīng)用則列出收件箱中的郵件標(biāo)題和發(fā)送者。視覺觀察 對(duì)當(dāng)前“屏幕”進(jìn)行截圖或者渲染出當(dāng)前應(yīng)用界面的圖像。這是多模態(tài)信息的主要來(lái)源。事件驅(qū)動(dòng) 環(huán)境內(nèi)置一個(gè)事件調(diào)度器用于模擬“世界事件”如在特定模擬時(shí)間觸發(fā)發(fā)送郵件、生成會(huì)議提醒等。4.3 評(píng)測(cè)系統(tǒng)的自動(dòng)化與可擴(kuò)展性一個(gè)基準(zhǔn)要成為標(biāo)準(zhǔn)必須易于使用、評(píng)測(cè)公平且可擴(kuò)展。自動(dòng)化流水線 從啟動(dòng)智能體、加載任務(wù)、運(yùn)行交互、記錄日志到計(jì)算指標(biāo)需要一套完整的自動(dòng)化流水線。這通常由Python腳本驅(qū)動(dòng)與智能體API和環(huán)境API進(jìn)行交互。任務(wù)定義語(yǔ)言 為了便于社區(qū)貢獻(xiàn)新任務(wù)ClawMark可能需要一種領(lǐng)域特定語(yǔ)言DSL或標(biāo)準(zhǔn)的配置文件格式如YAML/JSON來(lái)描述任務(wù)。一個(gè)任務(wù)描述文件會(huì)定義初始環(huán)境狀態(tài)、世界事件時(shí)間線、成功條件以及評(píng)估函數(shù)。評(píng)估函數(shù) 每個(gè)任務(wù)都需要一個(gè)或多個(gè)程序化的評(píng)估函數(shù)。有些評(píng)估是客觀的如生成的報(bào)告是否包含了要求的關(guān)鍵數(shù)據(jù)點(diǎn)有些則需要基于LLM進(jìn)行評(píng)估如回復(fù)郵件的禮貌性和專業(yè)性。后者需要精心設(shè)計(jì)提示詞Prompt和評(píng)估標(biāo)準(zhǔn)以確保一致性和公正性。排行榜與詳細(xì)分析 最終需要一個(gè)公共排行榜展示不同智能體模型或架構(gòu)在各個(gè)任務(wù)和綜合指標(biāo)上的表現(xiàn)。更重要的是提供詳細(xì)的運(yùn)行日志和軌跡分析工具讓研究者能夠深入理解智能體失敗的原因從而進(jìn)行改進(jìn)。5. 對(duì)AI Agent研究與開發(fā)的深遠(yuǎn)影響ClawMark這類基準(zhǔn)的出現(xiàn)標(biāo)志著AI Agent研究進(jìn)入了一個(gè)新的階段。首先它設(shè)定了更高的研發(fā)門檻和明確的方向。過去一個(gè)能在簡(jiǎn)單問答或單步工具調(diào)用上表現(xiàn)良好的模型就可以宣稱自己是“智能體”?，F(xiàn)在ClawMark要求智能體必須具備長(zhǎng)期記憶、復(fù)雜規(guī)劃、多模態(tài)理解和協(xié)同工作等復(fù)合能力。這迫使研究者必須進(jìn)行更系統(tǒng)的架構(gòu)設(shè)計(jì)而不是僅僅在提示詞Prompt上做微調(diào)。它清晰地指出下一代實(shí)用化AI Agent的核心技術(shù)瓶頸在哪里。其次它提供了前所未有的、高質(zhì)量的評(píng)測(cè)數(shù)據(jù)。智能體在ClawMark中產(chǎn)生的海量交互軌跡——包括成功的和失敗的——是極其寶貴的研究資料。通過分析這些軌跡我們可以發(fā)現(xiàn)智能體在長(zhǎng)周期任務(wù)中常見的失敗模式是記憶檢索失效是規(guī)劃陷入死循環(huán)還是多模態(tài)理解出現(xiàn)偏差這些洞察將直接推動(dòng)算法和模型的改進(jìn)。再者它加速了“AI同事”從概念走向落地。對(duì)于企業(yè)而言ClawMark的評(píng)測(cè)結(jié)果可以作為一個(gè)重要的參考標(biāo)準(zhǔn)來(lái)評(píng)估不同AI助理產(chǎn)品或自研Agent的成熟度。一個(gè)能在ClawMark復(fù)雜協(xié)作任務(wù)中取得高分的智能體其在實(shí)際辦公環(huán)境中擔(dān)任助理、數(shù)據(jù)分析員或初級(jí)協(xié)調(diào)員的可能性就大得多。這降低了企業(yè)的試錯(cuò)成本。最后它可能催生新的模型訓(xùn)練范式。我們目前用于訓(xùn)練LLM的數(shù)據(jù)大多是靜態(tài)的文檔和對(duì)話。ClawMark生成的是動(dòng)態(tài)的、目標(biāo)驅(qū)動(dòng)的、多模態(tài)的交互序列。這些數(shù)據(jù)是否可以用于訓(xùn)練更擅長(zhǎng)規(guī)劃和執(zhí)行的“具身”語(yǔ)言模型或許未來(lái)會(huì)出現(xiàn)基于ClawMark這類環(huán)境進(jìn)行強(qiáng)化學(xué)習(xí)或模仿學(xué)習(xí)訓(xùn)練的新型基礎(chǔ)模型。當(dāng)然ClawMark也面臨挑戰(zhàn)。如何保證評(píng)測(cè)的公平性不同模型的視覺能力差異巨大如何設(shè)計(jì)真正具有代表性且無(wú)偏見的辦公任務(wù)如何控制評(píng)測(cè)成本運(yùn)行多天任務(wù)的計(jì)算開銷很大。但無(wú)論如何它為AI智能體邁向真正的“實(shí)用智能”鋪下了一塊關(guān)鍵的基石。作為從業(yè)者我的體會(huì)是與其追逐那些在簡(jiǎn)單基準(zhǔn)上刷分的模型不如沉下心來(lái)讓自己的智能體在ClawMark這樣的“活的世界”里摸爬滾打一番。因?yàn)樵谶@里暴露出的問題才是通向真正可靠AI同事道路上必須解決的真正問題。