PageIndex 完整教程讓 Claude 和 Cursor 不靠向量庫讀懂數百頁 PDF【免費下載鏈接】PageIndex PageIndex: Document Index for Vectorless, Reasoning-based RAG項目地址: https://gitcode.com/GitHub_Trending/pa/PageIndexPageIndex MCP 接入是讓 Claude 與 Cursor 處理長文檔的常用做法。PageIndex 是一個開源文檔索引框架采用推理式 RAG它為長 PDF 生成目錄式樹狀索引由大模型沿樹檢索無需向量數據庫、不做文本分塊。本教程帶你完成安裝、調優(yōu)與接入 Claude/Cursor。長文檔問答的痛點相似不等于相關想象你手里有一份 200 多頁的財報或監(jiān)管文件想直接問 AI這個季度的現(xiàn)金流為什么下降用傳統(tǒng)向量 RAG 時常見的翻車方式是切塊切斷上下文一個完整論證被拆成幾個碎片模型只看到其中一塊答非所問相似 ≠ 相關向量檢索返回的是字面相近的段落而答案往往在語義相關但用詞不同的位置結果不可追溯回答從哪來、為什么選這幾段說不清楚專業(yè)場景不敢用。PageIndex 的思路是模仿人類專家查書的方式先看目錄定位章節(jié)再翻頁細讀。它把檢索從相似度計算變成了模型的一次次推理判斷。PageIndex 的原理兩步完成推理式 RAG整個流程分兩步核心索引邏輯在 pageindex/page_index_classic.py生成樹狀索引把整份 PDF 組織成類似目錄的結構每個節(jié)點帶標題、起止頁碼、摘要和子節(jié)點樹搜索檢索把問題連同索引交給 LLM讓它逐步推理答案可能在哪個節(jié)點再讀取對應頁面內容作答。生成的索引長這樣真實示例見 examples/documents/results/q1-fy25-earnings_structure.json{ title: Financial Stability, node_id: 0006, start_index: 21, end_index: 22, summary: The Federal Reserve ..., nodes: [ { title: Monitoring Financial Vulnerabilities, start_index: 22, end_index: 28 } ] }對比項傳統(tǒng)向量 RAGPageIndex依賴組件向量數據庫 分塊一棵樹 LLM 推理檢索單位人工切出的 chunk文檔的自然章節(jié)可追溯性低近似匹配高每步推理有據可查上下文注入需微調嵌入模型直接把專家知識寫進檢索提示詞最后一行是它做專家化檢索的關鍵想讓它查 10-K 財報時優(yōu)先看 Item 7MDA只需在樹搜索提示詞里加一句專家經驗即可方法見 examples/tutorials/tree-search/。三步安裝并生成第一個文檔索引環(huán)境要求 Python 3.8?？寺〔惭b依賴只需一條命令git clone https://gitcode.com/GitHub_Trending/pa/PageIndex cd PageIndex pip3 install --upgrade -r requirements.txt第 2 步配置模型密鑰。在根目錄建一個.env文件寫入OPENAI_API_KEY你的密鑰。通過 LiteLLM 也支持其他廠商比如把 pageindex/config.yaml 里的模型改為anthropic/claude-sonnet-4-6。第 3 步運行索引生成。python3 run_pageindex.py --pdf_path /path/to/your/document.pdf輸出就是上述格式的*_structure.json。常用可選參數與默認值如下按需調整即可參數默認值作用與調優(yōu)建議--modelgpt-4o-2024-11-20建樹所用 LLM--toc-check-pages20在文檔前多少頁內查找目錄頁--max-pages-per-node10章節(jié)粒度粗的文檔可調大內容密集則調小--max-tokens-per-node20000單個節(jié)點容納的 token 上限--if-add-node-summaryyes是否為每個節(jié)點生成摘要檢索質量關鍵兩點提醒如果 Markdown 文件的標題層級#、##是可靠的也可以用--md_path直接對 md 建樹但從 PDF/HTML 轉換來的 md 大多丟失層級不建議走這條路。用 PageIndex Flash 快速生成樹索引標準模式靠 LLM 逐段判斷結構長文檔要花不少時間。pageindex/flash/ 提供的 Flash 模式基于版面統(tǒng)計規(guī)則提取結構生成樹的過程完全不需要 LLM摘要仍會調用一次模型千頁級文檔也能在秒級出結構python3 run_pageindex.py --flash --pdf_path document.pdf加--optimize可讓 LLM 再對樹做一輪合并/展開得到更適合檢索的結構。下圖是官方基準中耗時 vs 文檔頁數的關系可見 585 頁、1098 頁的長文檔依舊在可接受范圍內最快接入 Claude 和 Cursor 的方法PageIndex 通過 MCP 協(xié)議對外提供服務倉庫內置了 MCP 橋接pageindex/mcp_bridge.py與各 SDK 適配器pageindex/integrations/同一個索引能力可以接到不同工作環(huán)境里。Claude 桌面版在 Claude 桌面版設置的 MCP Servers 中添加 PageIndex MCP 服務器條目即可。之后可以直接把 PDF 交給對話讓它基于樹索引檢索作答回答會落到具體章節(jié)與頁碼。Cursor在 Cursor 的 MCP 設置里添加同一套 PageIndex 服務器配置。適合邊寫代碼邊查技術手冊把 API 文檔或規(guī)格書索引好后在聊天窗口提問模型沿樹定位到相關小節(jié)再回答不用你手動翻文檔。以 SDK 方式接入自己的程序如果要做自動化流水線pageindex/client.py 的PageIndexClient提供了一組現(xiàn)成入口as_claude_mcp()/claude_agent_config()直接產出 Claude Agent SDK 可用的mcp_servers配置as_openai_tools()對接 OpenAI Agents SDKagent_tools()任意 Agent 框架LangChain、PydanticAI 等都能用的普通函數工具。本地模式不傳 API key會用你自己的 LLM 密鑰在本地建索引和檢索云端模式則上傳 PDF 由服務端完成增強 OCR 與建樹接口一致。三個典型使用場景附適用人群財報與監(jiān)管文檔分析適用人群金融分析師、合規(guī)人員、投研團隊。SEC 文件、財報、監(jiān)管披露是這套方法最被驗證的場景基于 PageIndex 構建的 Mafin 2.5 系統(tǒng)在 FinanceBench 金融文檔問答基準上取得了98.7% 的準確率大幅領先傳統(tǒng)向量 RAG 方案。樹搜索提示詞還可以注入領域規(guī)則例如問到 EBITDA 調整時優(yōu)先查 Item 7 和 Item 8 腳注。技術手冊與 API 文檔查詢適用人群研發(fā)工程師、技術文檔維護者。幾百頁的產品手冊索引后某個參數的取值范圍是什么這類問題可以秒級定位到章節(jié)。需要跨多份文檔檢索時examples/tutorials/doc-search/ 給出了按元數據、按語義、按描述三種輕量策略按文檔數量選擇即可。學術論文與長教材適用人群科研人員、研究生。examples/documents/ 里就放了 PRML758 頁等論文和教材的樣例索引Flash 基準也覆蓋了 15 頁的 Attention 論文到 1098 頁的機器學習教材如果想跳過 OCR、直接對頁面圖像做視覺推理可以看 cookbook/vision_RAG_pageindex.ipynb。從這些材料繼續(xù)深入材料路徑適合誰快速上手聊天cookbook/pageIndex_chat_quickstart.ipynb第一次跑通流程最小推理式 RAG 示例cookbook/pageindex_RAG_simple.ipynb想理解原理Agentic 無向量 RAG 完整示例examples/agentic_vectorless_rag_demo.py想自建 Agent 管線樹搜索 / 多文檔檢索教程examples/tutorials/想調優(yōu)檢索策略真實文檔與生成的樹examples/documents/results/想看索引長什么樣團隊還在持續(xù)擴展文檔格式支持、更強的推理檢索與更大規(guī)模的語料索引。建議就從手頭那份總也讀不完的 PDF 開始先跑一遍索引再把目錄樹喂給 Claude 或 Cursor 問一個問題感受下推理式檢索和向量檢索的差距?！久赓M下載鏈接】PageIndex PageIndex: Document Index for Vectorless, Reasoning-based RAG項目地址: https://gitcode.com/GitHub_Trending/pa/PageIndex創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考 PageIndex 完整教程：讓 Claude 和 Cursor 不靠向量庫讀懂數百頁 PDF
PageIndex 完整教程讓 Claude 和 Cursor 不靠向量庫讀懂數百頁 PDF【免費下載鏈接】PageIndex PageIndex: Document Index for Vectorless, Reasoning-based RAG項目地址: https://gitcode.com/GitHub_Trending/pa/PageIndexPageIndex MCP 接入是讓 Claude 與 Cursor 處理長文檔的常用做法。PageIndex 是一個開源文檔索引框架采用推理式 RAG它為長 PDF 生成目錄式樹狀索引由大模型沿樹檢索無需向量數據庫、不做文本分塊。本教程帶你完成安裝、調優(yōu)與接入 Claude/Cursor。長文檔問答的痛點相似不等于相關想象你手里有一份 200 多頁的財報或監(jiān)管文件想直接問 AI這個季度的現(xiàn)金流為什么下降用傳統(tǒng)向量 RAG 時常見的翻車方式是切塊切斷上下文一個完整論證被拆成幾個碎片模型只看到其中一塊答非所問相似 ≠ 相關向量檢索返回的是字面相近的段落而答案往往在語義相關但用詞不同的位置結果不可追溯回答從哪來、為什么選這幾段說不清楚專業(yè)場景不敢用。PageIndex 的思路是模仿人類專家查書的方式先看目錄定位章節(jié)再翻頁細讀。它把檢索從相似度計算變成了模型的一次次推理判斷。PageIndex 的原理兩步完成推理式 RAG整個流程分兩步核心索引邏輯在 pageindex/page_index_classic.py生成樹狀索引把整份 PDF 組織成類似目錄的結構每個節(jié)點帶標題、起止頁碼、摘要和子節(jié)點樹搜索檢索把問題連同索引交給 LLM讓它逐步推理答案可能在哪個節(jié)點再讀取對應頁面內容作答。生成的索引長這樣真實示例見 examples/documents/results/q1-fy25-earnings_structure.json{ title: Financial Stability, node_id: 0006, start_index: 21, end_index: 22, summary: The Federal Reserve ..., nodes: [ { title: Monitoring Financial Vulnerabilities, start_index: 22, end_index: 28 } ] }對比項傳統(tǒng)向量 RAGPageIndex依賴組件向量數據庫 分塊一棵樹 LLM 推理檢索單位人工切出的 chunk文檔的自然章節(jié)可追溯性低近似匹配高每步推理有據可查上下文注入需微調嵌入模型直接把專家知識寫進檢索提示詞最后一行是它做專家化檢索的關鍵想讓它查 10-K 財報時優(yōu)先看 Item 7MDA只需在樹搜索提示詞里加一句專家經驗即可方法見 examples/tutorials/tree-search/。三步安裝并生成第一個文檔索引環(huán)境要求 Python 3.8?？寺〔惭b依賴只需一條命令git clone https://gitcode.com/GitHub_Trending/pa/PageIndex cd PageIndex pip3 install --upgrade -r requirements.txt第 2 步配置模型密鑰。在根目錄建一個.env文件寫入OPENAI_API_KEY你的密鑰。通過 LiteLLM 也支持其他廠商比如把 pageindex/config.yaml 里的模型改為anthropic/claude-sonnet-4-6。第 3 步運行索引生成。python3 run_pageindex.py --pdf_path /path/to/your/document.pdf輸出就是上述格式的*_structure.json。常用可選參數與默認值如下按需調整即可參數默認值作用與調優(yōu)建議--modelgpt-4o-2024-11-20建樹所用 LLM--toc-check-pages20在文檔前多少頁內查找目錄頁--max-pages-per-node10章節(jié)粒度粗的文檔可調大內容密集則調小--max-tokens-per-node20000單個節(jié)點容納的 token 上限--if-add-node-summaryyes是否為每個節(jié)點生成摘要檢索質量關鍵兩點提醒如果 Markdown 文件的標題層級#、##是可靠的也可以用--md_path直接對 md 建樹但從 PDF/HTML 轉換來的 md 大多丟失層級不建議走這條路。用 PageIndex Flash 快速生成樹索引標準模式靠 LLM 逐段判斷結構長文檔要花不少時間。pageindex/flash/ 提供的 Flash 模式基于版面統(tǒng)計規(guī)則提取結構生成樹的過程完全不需要 LLM摘要仍會調用一次模型千頁級文檔也能在秒級出結構python3 run_pageindex.py --flash --pdf_path document.pdf加--optimize可讓 LLM 再對樹做一輪合并/展開得到更適合檢索的結構。下圖是官方基準中耗時 vs 文檔頁數的關系可見 585 頁、1098 頁的長文檔依舊在可接受范圍內最快接入 Claude 和 Cursor 的方法PageIndex 通過 MCP 協(xié)議對外提供服務倉庫內置了 MCP 橋接pageindex/mcp_bridge.py與各 SDK 適配器pageindex/integrations/同一個索引能力可以接到不同工作環(huán)境里。Claude 桌面版在 Claude 桌面版設置的 MCP Servers 中添加 PageIndex MCP 服務器條目即可。之后可以直接把 PDF 交給對話讓它基于樹索引檢索作答回答會落到具體章節(jié)與頁碼。Cursor在 Cursor 的 MCP 設置里添加同一套 PageIndex 服務器配置。適合邊寫代碼邊查技術手冊把 API 文檔或規(guī)格書索引好后在聊天窗口提問模型沿樹定位到相關小節(jié)再回答不用你手動翻文檔。以 SDK 方式接入自己的程序如果要做自動化流水線pageindex/client.py 的PageIndexClient提供了一組現(xiàn)成入口as_claude_mcp()/claude_agent_config()直接產出 Claude Agent SDK 可用的mcp_servers配置as_openai_tools()對接 OpenAI Agents SDKagent_tools()任意 Agent 框架LangChain、PydanticAI 等都能用的普通函數工具。本地模式不傳 API key會用你自己的 LLM 密鑰在本地建索引和檢索云端模式則上傳 PDF 由服務端完成增強 OCR 與建樹接口一致。三個典型使用場景附適用人群財報與監(jiān)管文檔分析適用人群金融分析師、合規(guī)人員、投研團隊。SEC 文件、財報、監(jiān)管披露是這套方法最被驗證的場景基于 PageIndex 構建的 Mafin 2.5 系統(tǒng)在 FinanceBench 金融文檔問答基準上取得了98.7% 的準確率大幅領先傳統(tǒng)向量 RAG 方案。樹搜索提示詞還可以注入領域規(guī)則例如問到 EBITDA 調整時優(yōu)先查 Item 7 和 Item 8 腳注。技術手冊與 API 文檔查詢適用人群研發(fā)工程師、技術文檔維護者。幾百頁的產品手冊索引后某個參數的取值范圍是什么這類問題可以秒級定位到章節(jié)。需要跨多份文檔檢索時examples/tutorials/doc-search/ 給出了按元數據、按語義、按描述三種輕量策略按文檔數量選擇即可。學術論文與長教材適用人群科研人員、研究生。examples/documents/ 里就放了 PRML758 頁等論文和教材的樣例索引Flash 基準也覆蓋了 15 頁的 Attention 論文到 1098 頁的機器學習教材如果想跳過 OCR、直接對頁面圖像做視覺推理可以看 cookbook/vision_RAG_pageindex.ipynb。從這些材料繼續(xù)深入材料路徑適合誰快速上手聊天cookbook/pageIndex_chat_quickstart.ipynb第一次跑通流程最小推理式 RAG 示例cookbook/pageindex_RAG_simple.ipynb想理解原理Agentic 無向量 RAG 完整示例examples/agentic_vectorless_rag_demo.py想自建 Agent 管線樹搜索 / 多文檔檢索教程examples/tutorials/想調優(yōu)檢索策略真實文檔與生成的樹examples/documents/results/想看索引長什么樣團隊還在持續(xù)擴展文檔格式支持、更強的推理檢索與更大規(guī)模的語料索引。建議就從手頭那份總也讀不完的 PDF 開始先跑一遍索引再把目錄樹喂給 Claude 或 Cursor 問一個問題感受下推理式檢索和向量檢索的差距?！久赓M下載鏈接】PageIndex PageIndex: Document Index for Vectorless, Reasoning-based RAG項目地址: https://gitcode.com/GitHub_Trending/pa/PageIndex創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考