：把含 PII 的請求智能路由到本地 Ollama/vLLM)
【免費下載鏈接】pasteguardAI gets the context. Not your private data. Local-first privacy proxy for browser chat, AI APIs, and coding agents.項目地址https://gitcode.com/gh_mirrors/pa/pasteguard點擊查看免費下載PasteGuard 是一個 local-first 的 AI 隱私代理它可以在請求到達云端模型之前自動檢測并處理 PII個人身份信息和密鑰泄露。而在兩種隱私模式中Route 模式最受數(shù)據(jù)合規(guī)團隊歡迎含 PII 的請求被自動路由到本地的 Ollama 或 vLLM不含敏感數(shù)據(jù)的請求繼續(xù)走 OpenAI / Anthropic 等云端服務——敏感數(shù)據(jù)不出內(nèi)網(wǎng)普通請求不損失模型能力。Route 模式是什么一次請求兩條路徑 ?傳統(tǒng)做法是一刀切要么所有請求都走云端隱私風險要么全部走本地模型效果受限。PasteGuard 的 Route 模式按內(nèi)容動態(tài)分流請求內(nèi)容路由目標說明檢測到 PII / 密鑰本地 LLMOllama、vLLM、llama.cppPII 始終留在你的網(wǎng)絡內(nèi)未檢測到敏感數(shù)據(jù)OpenAI 或 Anthropic享受云端大模型的完整能力PasteGuard 的核心保護效果如下圖所示左側(cè)是原始請求中的姓名、郵箱和 API Key經(jīng)過 PasteGuard 處理后云端模型只能看到占位符而本地和最終用戶保留真實內(nèi)容。路由判定邏輯位于 src/routes/openai.ts檢測到 PII或按策略路由的密鑰時調(diào)用本地轉(zhuǎn)發(fā)函數(shù)否則走云端上游。本地轉(zhuǎn)發(fā)的完整實現(xiàn)見 src/providers/local.ts它會把模型名替換為你配置的本地模型并支持流式響應。最快上手3 步開啟 Route 模式Ollama 版第 1 步啟動 PasteGuard一條 Docker 命令即可代理與 PII 檢測器打包在同一個鏡像里docker run --rm -p 3000:3000 ghcr.io/sgasser/pasteguard:latest第 2 步配置 Route 模式復制 config.example.yaml 為config.yaml并掛載進容器關鍵只改三處# 隱私模式mask 或 route mode: route # 本地 LLM僅 route 模式使用 local: type: ollama base_url: http://localhost:11434 model: llama3.2providers.openai.base_url保持不變指向你要用的云端服務即可。第 3 步把應用指向 PasteGuard只需改一個 base URL其余 SDK 代碼零改動from openai import OpenAI client OpenAI(base_urlhttp://localhost:3000/openai/v1)之后所有請求都會先經(jīng)過 PII 檢測再由 PasteGuard 決定發(fā)往本地還是云端。?本地 LLM 怎么配Ollama / vLLM / llama.cpp 對照表 ??local段支持兩類接入方式覆蓋絕大多數(shù)自托管推理框架詳見 docs/configuration/providers.mdx框架typebase_urlmodel示例Ollamaollamahttp://localhost:11434llama3.2vLLMopenaihttp://localhost:8000/v1meta-llama/Llama-2-7b-chat-hfllama.cppopenaihttp://localhost:8080/v1localLocalAIopenaihttp://localhost:8080/v1你的模型名 注意走 Anthropic 協(xié)議/anthropic端點時本地 LLM 必須兼容 Anthropic Messages API例如開啟了兼容層的 Ollama。路由決策背后檢測器怎么判斷含 PII Route 模式的分流質(zhì)量取決于 PII 檢測能力。PasteGuard 的檢測器采用雙層架構(gòu)詳見 docs/concepts/pii-detection.mdx確定性層郵箱、電話、信用卡、IBAN、IP 等結(jié)構(gòu)化數(shù)據(jù)用正則 校驗和驗證命中即 1.0 分不靠猜語義層姓名、地點用 GLiNER 語義模型識別跨語言通用——德文信件里混著意大利人名和城名也能找到。檢測閾值通過pii_detection.score_threshold默認 0.7調(diào)節(jié)。此外密鑰檢測的策略也能聯(lián)動路由在 config.example.yaml 中將secrets_detection.action設為route_local命中 API Key、私鑰、JWT 等密鑰的請求同樣會改道本地。整條密鑰處理 → PII 檢測 → 路由/脫敏流水線的核心實現(xiàn)在 src/privacy/pipeline.ts。如何驗證路由生效響應頭 Dashboard 雙重確認 發(fā)一條包含真實人名的測試請求用curl -i觀察響應頭curl -i http://localhost:3000/openai/v1/chat/completions \ -H Authorization: Bearer $OPENAI_API_KEY \ -H Content-Type: application/json \ -d {model: gpt-5.2, messages: [{role: user, content: 寫一封跟進郵件給 Dr. Sarah Chen (sarah.chenhospital.org)}]}PasteGuard 會在響應中附帶這三個頭路由結(jié)果一目了然X-PasteGuard-Mode: route X-PasteGuard-Provider: local # 或 openai / anthropic X-PasteGuard-PII-Detected: true打開瀏覽器訪問http://localhost:3000Dashboard 會記錄每一次請求命中的實體類型PERSON、EMAIL_ADDRESS…、掃描耗時、發(fā)送出去的是原文還是脫敏內(nèi)容全部可追溯。常見問題 ??Route 模式和 Mask 模式怎么選Mask 模式對所有人打碼放行適合允許數(shù)據(jù)上云但要隱去明文值的場景Route 模式要求敏感請求 100% 不出內(nèi)網(wǎng)適合合規(guī)要求嚴格的團隊。兩者都依賴同一套檢測器切換只需改一行mode。本地模型效果不如云端怎么辦這正是 Route 模式的權衡把高敏感的請求交給本地模型低敏感的請求交給云端。可以按數(shù)據(jù)敏感度調(diào)整score_threshold或為本地端點配置更強的模型。第一次啟動很慢首次啟動需要加載 GLiNER 檢測模型代理和檢測器都就緒后/health才會返回正常耐心等待即可。更多細節(jié)可閱讀 docs/concepts/route-mode.mdx 和 docs/installation.mdx。讓 AI 獲得上下文而不是你的隱私數(shù)據(jù)。贊分享【免費下載鏈接】pasteguardAI gets the context. Not your private data. Local-first privacy proxy for browser chat, AI APIs, and coding agents.項目地址https://gitcode.com/gh_mirrors/pa/pasteguard點擊查看免費下載相關推薦LocalAI 請求中間件實戰(zhàn)指南基于 NER 的 PII 過濾與智能模型路由LocalAI 請求中間件實戰(zhàn)指南基于 NER 的 PII 過濾與智能模型路由 LocalAI 在 HTTP API 與后端調(diào)度器之間內(nèi)置了一層 請求中間件人工智能大模型模型推理服務本地部署AI AgentRAGLLM 網(wǎng)關多模態(tài)語音/音頻媒體生成MCP 服務Lemonade Router 策略路由實戰(zhàn)用 collection.router 把請求精準分流到本地與云端模型Lemonade Router 策略路由實戰(zhàn)用 collection.router 把請求精準分流到本地與云端模型 Lemonade 的路由引擎Router大模型本地部署模型推理服務人工智能AI 應用后端多模態(tài)Electron 如何用 localAIHandler 把網(wǎng)頁 Prompt API 請求路由到本地 LLM 實現(xiàn)Electron 如何用 localAIHandler 把網(wǎng)頁 Prompt API 請求路由到本地 LLM 實現(xiàn) Electron 的 localAIHan桌面應用跨平臺創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 PasteGuard Route 模式實戰(zhàn)：把含 PII 的請求智能路由到本地 Ollama/vLLM
【免費下載鏈接】pasteguardAI gets the context. Not your private data. Local-first privacy proxy for browser chat, AI APIs, and coding agents.項目地址https://gitcode.com/gh_mirrors/pa/pasteguard點擊查看免費下載PasteGuard 是一個 local-first 的 AI 隱私代理它可以在請求到達云端模型之前自動檢測并處理 PII個人身份信息和密鑰泄露。而在兩種隱私模式中Route 模式最受數(shù)據(jù)合規(guī)團隊歡迎含 PII 的請求被自動路由到本地的 Ollama 或 vLLM不含敏感數(shù)據(jù)的請求繼續(xù)走 OpenAI / Anthropic 等云端服務——敏感數(shù)據(jù)不出內(nèi)網(wǎng)普通請求不損失模型能力。Route 模式是什么一次請求兩條路徑 ?傳統(tǒng)做法是一刀切要么所有請求都走云端隱私風險要么全部走本地模型效果受限。PasteGuard 的 Route 模式按內(nèi)容動態(tài)分流請求內(nèi)容路由目標說明檢測到 PII / 密鑰本地 LLMOllama、vLLM、llama.cppPII 始終留在你的網(wǎng)絡內(nèi)未檢測到敏感數(shù)據(jù)OpenAI 或 Anthropic享受云端大模型的完整能力PasteGuard 的核心保護效果如下圖所示左側(cè)是原始請求中的姓名、郵箱和 API Key經(jīng)過 PasteGuard 處理后云端模型只能看到占位符而本地和最終用戶保留真實內(nèi)容。路由判定邏輯位于 src/routes/openai.ts檢測到 PII或按策略路由的密鑰時調(diào)用本地轉(zhuǎn)發(fā)函數(shù)否則走云端上游。本地轉(zhuǎn)發(fā)的完整實現(xiàn)見 src/providers/local.ts它會把模型名替換為你配置的本地模型并支持流式響應。最快上手3 步開啟 Route 模式Ollama 版第 1 步啟動 PasteGuard一條 Docker 命令即可代理與 PII 檢測器打包在同一個鏡像里docker run --rm -p 3000:3000 ghcr.io/sgasser/pasteguard:latest第 2 步配置 Route 模式復制 config.example.yaml 為config.yaml并掛載進容器關鍵只改三處# 隱私模式mask 或 route mode: route # 本地 LLM僅 route 模式使用 local: type: ollama base_url: http://localhost:11434 model: llama3.2providers.openai.base_url保持不變指向你要用的云端服務即可。第 3 步把應用指向 PasteGuard只需改一個 base URL其余 SDK 代碼零改動from openai import OpenAI client OpenAI(base_urlhttp://localhost:3000/openai/v1)之后所有請求都會先經(jīng)過 PII 檢測再由 PasteGuard 決定發(fā)往本地還是云端。?本地 LLM 怎么配Ollama / vLLM / llama.cpp 對照表 ??local段支持兩類接入方式覆蓋絕大多數(shù)自托管推理框架詳見 docs/configuration/providers.mdx框架typebase_urlmodel示例Ollamaollamahttp://localhost:11434llama3.2vLLMopenaihttp://localhost:8000/v1meta-llama/Llama-2-7b-chat-hfllama.cppopenaihttp://localhost:8080/v1localLocalAIopenaihttp://localhost:8080/v1你的模型名 注意走 Anthropic 協(xié)議/anthropic端點時本地 LLM 必須兼容 Anthropic Messages API例如開啟了兼容層的 Ollama。路由決策背后檢測器怎么判斷含 PII Route 模式的分流質(zhì)量取決于 PII 檢測能力。PasteGuard 的檢測器采用雙層架構(gòu)詳見 docs/concepts/pii-detection.mdx確定性層郵箱、電話、信用卡、IBAN、IP 等結(jié)構(gòu)化數(shù)據(jù)用正則 校驗和驗證命中即 1.0 分不靠猜語義層姓名、地點用 GLiNER 語義模型識別跨語言通用——德文信件里混著意大利人名和城名也能找到。檢測閾值通過pii_detection.score_threshold默認 0.7調(diào)節(jié)。此外密鑰檢測的策略也能聯(lián)動路由在 config.example.yaml 中將secrets_detection.action設為route_local命中 API Key、私鑰、JWT 等密鑰的請求同樣會改道本地。整條密鑰處理 → PII 檢測 → 路由/脫敏流水線的核心實現(xiàn)在 src/privacy/pipeline.ts。如何驗證路由生效響應頭 Dashboard 雙重確認 發(fā)一條包含真實人名的測試請求用curl -i觀察響應頭curl -i http://localhost:3000/openai/v1/chat/completions \ -H Authorization: Bearer $OPENAI_API_KEY \ -H Content-Type: application/json \ -d {model: gpt-5.2, messages: [{role: user, content: 寫一封跟進郵件給 Dr. Sarah Chen (sarah.chenhospital.org)}]}PasteGuard 會在響應中附帶這三個頭路由結(jié)果一目了然X-PasteGuard-Mode: route X-PasteGuard-Provider: local # 或 openai / anthropic X-PasteGuard-PII-Detected: true打開瀏覽器訪問http://localhost:3000Dashboard 會記錄每一次請求命中的實體類型PERSON、EMAIL_ADDRESS…、掃描耗時、發(fā)送出去的是原文還是脫敏內(nèi)容全部可追溯。常見問題 ??Route 模式和 Mask 模式怎么選Mask 模式對所有人打碼放行適合允許數(shù)據(jù)上云但要隱去明文值的場景Route 模式要求敏感請求 100% 不出內(nèi)網(wǎng)適合合規(guī)要求嚴格的團隊。兩者都依賴同一套檢測器切換只需改一行mode。本地模型效果不如云端怎么辦這正是 Route 模式的權衡把高敏感的請求交給本地模型低敏感的請求交給云端。可以按數(shù)據(jù)敏感度調(diào)整score_threshold或為本地端點配置更強的模型。第一次啟動很慢首次啟動需要加載 GLiNER 檢測模型代理和檢測器都就緒后/health才會返回正常耐心等待即可。更多細節(jié)可閱讀 docs/concepts/route-mode.mdx 和 docs/installation.mdx。讓 AI 獲得上下文而不是你的隱私數(shù)據(jù)。贊分享【免費下載鏈接】pasteguardAI gets the context. Not your private data. Local-first privacy proxy for browser chat, AI APIs, and coding agents.項目地址https://gitcode.com/gh_mirrors/pa/pasteguard點擊查看免費下載相關推薦LocalAI 請求中間件實戰(zhàn)指南基于 NER 的 PII 過濾與智能模型路由LocalAI 請求中間件實戰(zhàn)指南基于 NER 的 PII 過濾與智能模型路由 LocalAI 在 HTTP API 與后端調(diào)度器之間內(nèi)置了一層 請求中間件人工智能大模型模型推理服務本地部署AI AgentRAGLLM 網(wǎng)關多模態(tài)語音/音頻媒體生成MCP 服務Lemonade Router 策略路由實戰(zhàn)用 collection.router 把請求精準分流到本地與云端模型Lemonade Router 策略路由實戰(zhàn)用 collection.router 把請求精準分流到本地與云端模型 Lemonade 的路由引擎Router大模型本地部署模型推理服務人工智能AI 應用后端多模態(tài)Electron 如何用 localAIHandler 把網(wǎng)頁 Prompt API 請求路由到本地 LLM 實現(xiàn)Electron 如何用 localAIHandler 把網(wǎng)頁 Prompt API 請求路由到本地 LLM 實現(xiàn) Electron 的 localAIHan桌面應用跨平臺創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考