上下文數(shù)據(jù)教程：長(zhǎng)文檔多跳問(wèn)答樣本如何支撐128K推理)
UltraData-RL-2609長(zhǎng)上下文數(shù)據(jù)教程長(zhǎng)文檔多跳問(wèn)答樣本如何支撐128K推理【免費(fèi)下載鏈接】UltraData-RL-2609項(xiàng)目地址: https://ai.gitcode.com/OpenBMB/UltraData-RL-2609UltraData-RL-2609 是 OpenBMB 面向強(qiáng)化學(xué)習(xí)RL后訓(xùn)練的合成增強(qiáng)數(shù)據(jù)集其中Long-Context 長(zhǎng)上下文切片通過(guò) 18,046 條長(zhǎng)文檔多跳問(wèn)答樣本幫助 MiniCPM5-2B 等小模型將推理能力擴(kuò)展到128K上下文規(guī)模。本文帶你快速搞懂這些長(zhǎng)文本多跳問(wèn)答長(zhǎng)什么樣、如何保證答得出來(lái)、判得對(duì)以及新手如何一鍵上手。為什么長(zhǎng)上下文數(shù)據(jù)需要多跳問(wèn)答設(shè)計(jì)小模型做長(zhǎng)推理時(shí)最大的難題不是讀不完而是讀完后不會(huì)用答案往往藏在文檔不同位置需要把多個(gè)線索串聯(lián)起來(lái)才能推出——這正是多跳Multi-hop的含義。UltraData-RL-2609 的長(zhǎng)上下文切片就是圍繞這一點(diǎn)構(gòu)建的長(zhǎng)文檔上下文由多跳與文檔問(wèn)答數(shù)據(jù)擴(kuò)寫(xiě)至更長(zhǎng)篇幅訓(xùn)練模型在數(shù)萬(wàn)甚至十萬(wàn)級(jí) token 內(nèi)保持注意力多跳問(wèn)題答案無(wú)法從單一句子直接抄到必須跨段落、跨證據(jù)整合答案可驗(yàn)證每條樣本都有g(shù)round_truth參考答案且構(gòu)建時(shí)已保證上下文支撐答案讓 RL 獎(jiǎng)勵(lì)信號(hào)干凈可靠。長(zhǎng)上下文數(shù)據(jù)從哪來(lái)3 個(gè)開(kāi)源數(shù)據(jù)源 內(nèi)部合成數(shù)據(jù)源類型作用HotpotQA多跳問(wèn)答提供多跳推理問(wèn)題骨架Qasper科研文檔問(wèn)答提供長(zhǎng)文檔 問(wèn)答對(duì)MuSiQue多跳問(wèn)答增加多跳復(fù)雜度與變體內(nèi)部合成數(shù)據(jù)合成擴(kuò)寫(xiě)至更長(zhǎng)上下文補(bǔ)足長(zhǎng)度分布四個(gè)領(lǐng)域共用同一套六階段構(gòu)建流程數(shù)據(jù)準(zhǔn)備 → 標(biāo)準(zhǔn)化改寫(xiě) → 可驗(yàn)證性過(guò)濾 → 獎(jiǎng)勵(lì)可信校驗(yàn) → 難度匹配 → 格式整理長(zhǎng)上下文樣本在此過(guò)程中必須通過(guò)兩道關(guān)卡明確的上下文—問(wèn)題—答案關(guān)聯(lián)問(wèn)題必須能從給定上下文推出答案必須被上下文支撐否則整條丟棄參考答案比對(duì) 多模型質(zhì)量評(píng)估由 LLM Judge 和多模型評(píng)審雙重把關(guān)減少標(biāo)注噪聲對(duì) RL 訓(xùn)練的干擾。數(shù)據(jù)文件位于 data/Long_Context/共 2 個(gè)分片Long_Context_part-1-of-2.jsonl、Long_Context_part-2-of-2.jsonl。一條長(zhǎng)上下文樣本長(zhǎng)什么樣整個(gè)數(shù)據(jù)集采用統(tǒng)一的五字段 JSONL 結(jié)構(gòu)長(zhǎng)上下文任務(wù)的特點(diǎn)是完整上下文和問(wèn)題都放在query字段里ground_truth存放參考答案。{ uuid: Long_Context_00001, query: ……很長(zhǎng)的文檔上下文 待回答的多跳問(wèn)題……, ground_truth: ……參考答案……, source: HotpotQA | UltraData-RL-2609, domain: Long_Context }字段說(shuō)明uuid全局唯一 ID領(lǐng)域前綴 序號(hào)query完整上下文 問(wèn)題直接投喂給策略模型ground_truth參考答案字符串用于答案匹配獎(jiǎng)勵(lì)source原始來(lái)源 UltraData-RL-2609domain固定為L(zhǎng)ong_Context這種上下文內(nèi)嵌于 query的設(shè)計(jì)對(duì) RL 訓(xùn)練非常友好訓(xùn)練器無(wú)需額外拼接邏輯一條記錄就是一次完整的長(zhǎng)文閱讀 推理 作答任務(wù)?？焖偕鲜? 行代碼加載長(zhǎng)上下文切片from datasets import load_dataset ds load_dataset(openbmb/UltraData-RL-2609, Long-Context, splittrain) print(ds[0][query][:300]) # 長(zhǎng)文檔開(kāi)頭 print(ds[0][ground_truth]) # 參考答案 注意 config 名稱是Long-Context連字符而domain字段值是Long_Context下劃線加載時(shí)別寫(xiě)混了。其他三個(gè)切片的 config 為Math、Knowledge、Code可按需混配比。實(shí)測(cè)效果支撐 128K 推理 RL 的硬核證據(jù)這套數(shù)據(jù)不只是長(zhǎng)而是真正被驗(yàn)證過(guò)有效。在JustRL II實(shí)驗(yàn)設(shè)置中極簡(jiǎn) JustRL 配方 critic 長(zhǎng)度自適應(yīng) advantage 估計(jì)指標(biāo)結(jié)果推理 RL 規(guī)模擴(kuò)展到128KAIME 2025約 300 步 RL 內(nèi)由61 → 81MiniCPM5-2B 最終 checkpointAIME 2025 達(dá)86長(zhǎng)上下文多跳問(wèn)答在其中扮演長(zhǎng)跑教練它強(qiáng)迫模型在超長(zhǎng)軌跡中維持推理鏈的一致性與 Math32,412 條、Code23,665 條、Knowledge11,872 條切片共同構(gòu)成 85,995 條的完整 RL 分布讓短推理與長(zhǎng)推理能力互相增益。新手避坑指南使用注意事項(xiàng)難度分布已預(yù)篩過(guò)通過(guò)率為 1已掌握的樣本已移除通過(guò)率為 0 但標(biāo)簽合法的樣本保留并由在線動(dòng)態(tài)采樣調(diào)控——你拿到的就是可學(xué)習(xí)區(qū)間內(nèi)的樣本無(wú)需自行再篩難度。選擇題、圖片題已清洗構(gòu)建流程中移除了選擇題、判斷題、證明題、多問(wèn)題及依賴圖片的題避免抽取式判分失真。靜態(tài)標(biāo)簽構(gòu)建時(shí)的難度過(guò)濾與采樣權(quán)重不作為字段發(fā)布僅保留最終入選樣本。去污范圍去重僅覆蓋構(gòu)建時(shí)已知評(píng)測(cè)集若引入新基準(zhǔn)請(qǐng)自行檢測(cè)重疊。許可項(xiàng)目按 Apache 2.0 發(fā)布上游數(shù)據(jù)各自的 MIT / CC BY 4.0 / CC BY-SA 4.0 條款繼續(xù)適用。常見(jiàn)問(wèn)題 FAQQ1Long-Context 切片適合單獨(dú)訓(xùn)練嗎可以按切片獨(dú)立使用也可與其他切片配比混合。長(zhǎng)上下文 RL 計(jì)算成本較高建議先用小批次驗(yàn)證訓(xùn)練器能正確處理長(zhǎng)query再全量啟動(dòng)。Q2如何判斷答案是否正確長(zhǎng)上下文采用與ground_truth的答案匹配判分且構(gòu)建時(shí)已保證上下文支撐答案無(wú)需額外驗(yàn)證器這與 Code 切片需要自備沙箱不同。Q3我的模型上下文小于 128K 能用嗎可以。樣本本身按長(zhǎng)度分布構(gòu)建短上下文模型同樣受益128K 級(jí)收益則需要配套長(zhǎng)上下文訓(xùn)練器與 128K 窗口支持?？偨Y(jié)UltraData-RL-2609 的長(zhǎng)上下文切片用 18,046 條可驗(yàn)證的長(zhǎng)文檔多跳問(wèn)答把讀得長(zhǎng)練成推得遠(yuǎn)HotpotQA / Qasper / MuSiQue 打底、六階段流水線保證獎(jiǎng)勵(lì)可信、難度預(yù)篩適配 RL最終支撐小模型 128K 推理 RL 落地。如果你的目標(biāo)是端側(cè)或本地部署模型的長(zhǎng)推理能力這份數(shù)據(jù)值得一試 【免費(fèi)下載鏈接】UltraData-RL-2609項(xiàng)目地址: https://ai.gitcode.com/OpenBMB/UltraData-RL-2609創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 UltraData-RL-2609長(zhǎng)上下文數(shù)據(jù)教程：長(zhǎng)文檔多跳問(wèn)答樣本如何支撐128K推理
UltraData-RL-2609長(zhǎng)上下文數(shù)據(jù)教程長(zhǎng)文檔多跳問(wèn)答樣本如何支撐128K推理【免費(fèi)下載鏈接】UltraData-RL-2609項(xiàng)目地址: https://ai.gitcode.com/OpenBMB/UltraData-RL-2609UltraData-RL-2609 是 OpenBMB 面向強(qiáng)化學(xué)習(xí)RL后訓(xùn)練的合成增強(qiáng)數(shù)據(jù)集其中Long-Context 長(zhǎng)上下文切片通過(guò) 18,046 條長(zhǎng)文檔多跳問(wèn)答樣本幫助 MiniCPM5-2B 等小模型將推理能力擴(kuò)展到128K上下文規(guī)模。本文帶你快速搞懂這些長(zhǎng)文本多跳問(wèn)答長(zhǎng)什么樣、如何保證答得出來(lái)、判得對(duì)以及新手如何一鍵上手。為什么長(zhǎng)上下文數(shù)據(jù)需要多跳問(wèn)答設(shè)計(jì)小模型做長(zhǎng)推理時(shí)最大的難題不是讀不完而是讀完后不會(huì)用答案往往藏在文檔不同位置需要把多個(gè)線索串聯(lián)起來(lái)才能推出——這正是多跳Multi-hop的含義。UltraData-RL-2609 的長(zhǎng)上下文切片就是圍繞這一點(diǎn)構(gòu)建的長(zhǎng)文檔上下文由多跳與文檔問(wèn)答數(shù)據(jù)擴(kuò)寫(xiě)至更長(zhǎng)篇幅訓(xùn)練模型在數(shù)萬(wàn)甚至十萬(wàn)級(jí) token 內(nèi)保持注意力多跳問(wèn)題答案無(wú)法從單一句子直接抄到必須跨段落、跨證據(jù)整合答案可驗(yàn)證每條樣本都有g(shù)round_truth參考答案且構(gòu)建時(shí)已保證上下文支撐答案讓 RL 獎(jiǎng)勵(lì)信號(hào)干凈可靠。長(zhǎng)上下文數(shù)據(jù)從哪來(lái)3 個(gè)開(kāi)源數(shù)據(jù)源 內(nèi)部合成數(shù)據(jù)源類型作用HotpotQA多跳問(wèn)答提供多跳推理問(wèn)題骨架Qasper科研文檔問(wèn)答提供長(zhǎng)文檔 問(wèn)答對(duì)MuSiQue多跳問(wèn)答增加多跳復(fù)雜度與變體內(nèi)部合成數(shù)據(jù)合成擴(kuò)寫(xiě)至更長(zhǎng)上下文補(bǔ)足長(zhǎng)度分布四個(gè)領(lǐng)域共用同一套六階段構(gòu)建流程數(shù)據(jù)準(zhǔn)備 → 標(biāo)準(zhǔn)化改寫(xiě) → 可驗(yàn)證性過(guò)濾 → 獎(jiǎng)勵(lì)可信校驗(yàn) → 難度匹配 → 格式整理長(zhǎng)上下文樣本在此過(guò)程中必須通過(guò)兩道關(guān)卡明確的上下文—問(wèn)題—答案關(guān)聯(lián)問(wèn)題必須能從給定上下文推出答案必須被上下文支撐否則整條丟棄參考答案比對(duì) 多模型質(zhì)量評(píng)估由 LLM Judge 和多模型評(píng)審雙重把關(guān)減少標(biāo)注噪聲對(duì) RL 訓(xùn)練的干擾。數(shù)據(jù)文件位于 data/Long_Context/共 2 個(gè)分片Long_Context_part-1-of-2.jsonl、Long_Context_part-2-of-2.jsonl。一條長(zhǎng)上下文樣本長(zhǎng)什么樣整個(gè)數(shù)據(jù)集采用統(tǒng)一的五字段 JSONL 結(jié)構(gòu)長(zhǎng)上下文任務(wù)的特點(diǎn)是完整上下文和問(wèn)題都放在query字段里ground_truth存放參考答案。{ uuid: Long_Context_00001, query: ……很長(zhǎng)的文檔上下文 待回答的多跳問(wèn)題……, ground_truth: ……參考答案……, source: HotpotQA | UltraData-RL-2609, domain: Long_Context }字段說(shuō)明uuid全局唯一 ID領(lǐng)域前綴 序號(hào)query完整上下文 問(wèn)題直接投喂給策略模型ground_truth參考答案字符串用于答案匹配獎(jiǎng)勵(lì)source原始來(lái)源 UltraData-RL-2609domain固定為L(zhǎng)ong_Context這種上下文內(nèi)嵌于 query的設(shè)計(jì)對(duì) RL 訓(xùn)練非常友好訓(xùn)練器無(wú)需額外拼接邏輯一條記錄就是一次完整的長(zhǎng)文閱讀 推理 作答任務(wù)?？焖偕鲜? 行代碼加載長(zhǎng)上下文切片from datasets import load_dataset ds load_dataset(openbmb/UltraData-RL-2609, Long-Context, splittrain) print(ds[0][query][:300]) # 長(zhǎng)文檔開(kāi)頭 print(ds[0][ground_truth]) # 參考答案 注意 config 名稱是Long-Context連字符而domain字段值是Long_Context下劃線加載時(shí)別寫(xiě)混了。其他三個(gè)切片的 config 為Math、Knowledge、Code可按需混配比。實(shí)測(cè)效果支撐 128K 推理 RL 的硬核證據(jù)這套數(shù)據(jù)不只是長(zhǎng)而是真正被驗(yàn)證過(guò)有效。在JustRL II實(shí)驗(yàn)設(shè)置中極簡(jiǎn) JustRL 配方 critic 長(zhǎng)度自適應(yīng) advantage 估計(jì)指標(biāo)結(jié)果推理 RL 規(guī)模擴(kuò)展到128KAIME 2025約 300 步 RL 內(nèi)由61 → 81MiniCPM5-2B 最終 checkpointAIME 2025 達(dá)86長(zhǎng)上下文多跳問(wèn)答在其中扮演長(zhǎng)跑教練它強(qiáng)迫模型在超長(zhǎng)軌跡中維持推理鏈的一致性與 Math32,412 條、Code23,665 條、Knowledge11,872 條切片共同構(gòu)成 85,995 條的完整 RL 分布讓短推理與長(zhǎng)推理能力互相增益。新手避坑指南使用注意事項(xiàng)難度分布已預(yù)篩過(guò)通過(guò)率為 1已掌握的樣本已移除通過(guò)率為 0 但標(biāo)簽合法的樣本保留并由在線動(dòng)態(tài)采樣調(diào)控——你拿到的就是可學(xué)習(xí)區(qū)間內(nèi)的樣本無(wú)需自行再篩難度。選擇題、圖片題已清洗構(gòu)建流程中移除了選擇題、判斷題、證明題、多問(wèn)題及依賴圖片的題避免抽取式判分失真。靜態(tài)標(biāo)簽構(gòu)建時(shí)的難度過(guò)濾與采樣權(quán)重不作為字段發(fā)布僅保留最終入選樣本。去污范圍去重僅覆蓋構(gòu)建時(shí)已知評(píng)測(cè)集若引入新基準(zhǔn)請(qǐng)自行檢測(cè)重疊。許可項(xiàng)目按 Apache 2.0 發(fā)布上游數(shù)據(jù)各自的 MIT / CC BY 4.0 / CC BY-SA 4.0 條款繼續(xù)適用。常見(jiàn)問(wèn)題 FAQQ1Long-Context 切片適合單獨(dú)訓(xùn)練嗎可以按切片獨(dú)立使用也可與其他切片配比混合。長(zhǎng)上下文 RL 計(jì)算成本較高建議先用小批次驗(yàn)證訓(xùn)練器能正確處理長(zhǎng)query再全量啟動(dòng)。Q2如何判斷答案是否正確長(zhǎng)上下文采用與ground_truth的答案匹配判分且構(gòu)建時(shí)已保證上下文支撐答案無(wú)需額外驗(yàn)證器這與 Code 切片需要自備沙箱不同。Q3我的模型上下文小于 128K 能用嗎可以。樣本本身按長(zhǎng)度分布構(gòu)建短上下文模型同樣受益128K 級(jí)收益則需要配套長(zhǎng)上下文訓(xùn)練器與 128K 窗口支持?？偨Y(jié)UltraData-RL-2609 的長(zhǎng)上下文切片用 18,046 條可驗(yàn)證的長(zhǎng)文檔多跳問(wèn)答把讀得長(zhǎng)練成推得遠(yuǎn)HotpotQA / Qasper / MuSiQue 打底、六階段流水線保證獎(jiǎng)勵(lì)可信、難度預(yù)篩適配 RL最終支撐小模型 128K 推理 RL 落地。如果你的目標(biāo)是端側(cè)或本地部署模型的長(zhǎng)推理能力這份數(shù)據(jù)值得一試 【免費(fèi)下載鏈接】UltraData-RL-2609項(xiàng)目地址: https://ai.gitcode.com/OpenBMB/UltraData-RL-2609創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考