【免費下載鏈接】PRISM-VLPRISM-VL studies measurement-grounded VLM learning with RAW-derived Meas.-XYZ inputs, camera-conditioned grounding, and exposure-bracketed supervision transfer.項目地址https://gitcode.com/gh_mirrors/pr/PRISM-VL點擊查看免費下載PRISM-VL 是一個測量域視覺語言模型研究項目它把經(jīng)過 ISP 處理的 RGB 圖像替換為RAW 派生的 Meas.-XYZ加上相機元數(shù)據(jù)ISO、曝光時間、光圈作為視覺輸入讓 Qwen3-VL 基于傳感器原始測量而非面向顯示的渲染結果回答問題。項目同時發(fā)布了 MeasL-Bench-V1 評測基準、MeasL-150K-V1 訓練集和 Qwen3-VL 2B / 4B / 8B 的 LoRA 適配器。 先問一個問題RGB 渲染已經(jīng)丟了什么證據(jù)項目名取自洞穴寓言Allegory of the Cave我們習慣看到的 RGB 圖像更像是投射在洞穴墻上的影子——它是圖像信號處理器ISP生成的面向顯示的產(chǎn)品而不是相機傳感器最初記錄的東西。從傳感器到 RGB 之間ISP 會做一連串讓它對人眼更好看的操作裁剪Clipping過曝的高光區(qū)域直接變成純白細節(jié)歸零降噪Denoising傳感器的原始紋理和弱信號被平滑掉色調映射Tone mapping線性亮度關系被重寫成非線性曲線量化Quantization高位深傳感器數(shù)據(jù)壓縮成 8-bit。問題在于對于證據(jù)類問題讀文字、判斷明暗、區(qū)分顏色模型需要的信息可能恰好在這四步里被抹掉。只看 RGB 的模型只能對著影子猜。PRISM-VL 的做法是把相機測量當作一等觀察對象在模型看到圖像之前先讓它看 RAW 派生的 Meas.-XYZ——一種保留原始測量線性關系的三通道表示——再配上拍攝元數(shù)據(jù)讓模型以更接近物理世界的方式獲取證據(jù)。上圖是 PRISM-VL 的整體框架左側將 RAW 派生 Meas.-XYZ 與相機元數(shù)據(jù)注入視覺編碼器右側由 Qwen3-VL 完成測量域視覺語言推理。 真實低照案例RGB 如何帶偏模型項目用兩個低照度文本案例LERLow-Illumination Evidence Recovery直觀展示兩種輸入的差異案例RGB 輸入下的回答Meas.-XYZ 輸入下的回答亮燈店鋪招牌答成Hua Tian Hua?答出正美口腔?黃色招牌文字答成diamond?答出BLACK?同一張場景兩種看法RGB 渲染暴露的是誤導性證據(jù)答案區(qū)域已經(jīng)不可恢復而 Meas.-XYZ 保留了該區(qū)域的線性測量關系模型仍能讀出正確答案。? 怎么訓練、怎么衡量15萬訓練樣本 2183條基準PRISM-VL不改動 Qwen3-VL 的訓練與推理流程只替換視覺接口。實現(xiàn)上用輕量的殘差注入相機元數(shù)據(jù)經(jīng)photographic_log歸一化后以殘差形式疊加進 ViT 隱藏層避免對主干模型做大手術。配置細節(jié)見 sft_qwen3_vl_2b_prsimvl_v1.yaml。材料內容訓練集 MeasL-150K-V1152,517 條指令微調樣本、48,000 張發(fā)布圖像由約 70 萬條自動標注候選經(jīng)打分過濾、來源平衡并對基準做去污染后發(fā)布基準 MeasL-Bench-V12,183 條 held-out 匹配樣本覆蓋 LER、HER、STR、GVG 等 14 個測量敏感能力切片提供 Meas.-XYZ 與 RGB 兩套匹配 JSONL模型權重Qwen3-VL 2B / 4B / 8B 對應的 PRSIMVL LoRA 適配器 主結果Meas.-XYZ 的提升來自哪里在 held-out MeasL-Bench 協(xié)議下同尺寸模型Meas.-XYZ 對比 RGB 輸入模型視覺輸入BLEUROUGE-LLLM-JudgeQwen3-VL-8BRGB0.50460.350078.20PRSIMVL-8BMeas.-XYZ 元數(shù)據(jù)0.61200.457182.66Qwen3-VL-2BRGB0.34070.317169.54PRSIMVL-2BMeas.-XYZ 元數(shù)據(jù)0.58650.424477.998B 版本相比同尺寸 RGB 版本提升0.1074 BLEU、0.1071 ROUGE-L、4.46 LLM-Judge 分2B 版本更是全面超越 4B / 8B 的 RGB 版本。增益集中在證據(jù)敏感型能力上能力切片RGB Qwen3-VL-8BBLEU / ROUGE-LPRSIMVL-2BBLEU / ROUGE-LLER 低照度證據(jù)恢復0.3470 / 0.28510.5174 / 0.4249STR 場景文字識別0.3719 / 0.36040.5084 / 0.4669HER HDR 證據(jù)恢復0.5343 / 0.36140.6066 / 0.4533 上手三步走本地問一張圖安裝 release 快照運行 install_editable.sh用swift deploy加載基座模型 對應 PRSIMVL LoRA 適配器啟動 OpenAI 兼容服務用 inference/ask_service.py 發(fā)送本地圖像和問題——問題里帶上 ISO / 曝光 / 光圈格式的拍攝元數(shù)據(jù)與訓練提示風格保持一致。要復現(xiàn)完整基準一條命令即可MODEL_SIZE2b CUDA_VISIBLE_DEVICES0 bash eval/run_infer_and_eval.sh評估入口會自動校驗question_type標簽、檢查圖像存在性再經(jīng)由 scripts/test_raw_eval_pipeline_opt/pipeline.py 的共享管線完成推理與離線指標計算結果寫入eval/output_benchmark/。全部參數(shù)說明見 eval/README.md 與 inference/README.md。 項目文件導讀路徑說明assets/框架圖、能力雷達圖、RGB 與 Meas.-XYZ 對比示例eval/基準推理與離線評估入口inference/服務化 VQA 演示與 demo 數(shù)據(jù)configs/qwen3_vl_150k_llmmeta_vit_proxy/2B / 4B / 8B 的 SFT 訓練配置與啟動腳本scripts/test_raw_eval_pipeline_opt/共享推理 / 評估管線實現(xiàn)swift/訓練與推理代碼快照LoRA、SFT、deploy一句話總結 PRISM-VL 的回答是別讓模型對著影子猜把測量還給它。用 RAW 派生 Meas.-XYZ 相機元數(shù)據(jù)配合最小成本的 LoRA 微調即可顯著找回被 RGB 渲染抹掉的低照度文字、HDR 與場景識別等敏感證據(jù)。贊分享【免費下載鏈接】PRISM-VLPRISM-VL studies measurement-grounded VLM learning with RAW-derived Meas.-XYZ inputs, camera-conditioned grounding, and exposure-bracketed supervision transfer.項目地址https://gitcode.com/gh_mirrors/pr/PRISM-VL點擊查看免費下載相關推薦為什么RT64能讓N64游戲煥發(fā)新生底層渲染原理詳解為什么RT64能讓N64游戲煥發(fā)新生底層渲染原理詳解 RT64是一款專為N64游戲打造的現(xiàn)代圖形渲染器它通過創(chuàng)新的底層技術和架構設計為經(jīng)典游戲帶來畫質增強為什么你的動畫代碼會渲染失敗remocn 的確定性渲染原理深度剖析為什么你的動畫代碼會渲染失敗remocn 的確定性渲染原理深度剖析 你是否遇到過這種情況Remotion 預覽里動畫流暢完美一鍵渲染成 MP4 后卻出現(xiàn)閃為什么KnowStreaming是云原生Kafka管理的終極選擇7大核心優(yōu)勢詳解為什么KnowStreaming是云原生Kafka管理的終極選擇7大核心優(yōu)勢詳解 KnowStreaming作為一站式云原生實時流數(shù)據(jù)平臺通過0侵入、插件化后端消息隊列運維可觀測性創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考