PasteGuard Route 模式实战:把含 PII 的请求智能路由到本地 Ollama/vLLM 【免费下载链接】pasteguardAI gets the context. Not your private data. Local-first privacy proxy for browser chat, AI APIs, and coding agents.项目地址https://gitcode.com/gh_mirrors/pa/pasteguard点击查看免费下载PasteGuard 是一个 local-first 的 AI 隐私代理它可以在请求到达云端模型之前自动检测并处理 PII个人身份信息和密钥泄露。而在两种隐私模式中Route 模式最受数据合规团队欢迎含 PII 的请求被自动路由到本地的 Ollama 或 vLLM不含敏感数据的请求继续走 OpenAI / Anthropic 等云端服务——敏感数据不出内网普通请求不损失模型能力。Route 模式是什么一次请求两条路径 ️传统做法是一刀切要么所有请求都走云端隐私风险要么全部走本地模型效果受限。PasteGuard 的 Route 模式按内容动态分流请求内容路由目标说明检测到 PII / 密钥本地 LLMOllama、vLLM、llama.cppPII 始终留在你的网络内未检测到敏感数据OpenAI 或 Anthropic享受云端大模型的完整能力PasteGuard 的核心保护效果如下图所示左侧是原始请求中的姓名、邮箱和 API Key经过 PasteGuard 处理后云端模型只能看到占位符而本地和最终用户保留真实内容。路由判定逻辑位于 src/routes/openai.ts检测到 PII或按策略路由的密钥时调用本地转发函数否则走云端上游。本地转发的完整实现见 src/providers/local.ts它会把模型名替换为你配置的本地模型并支持流式响应。最快上手3 步开启 Route 模式Ollama 版第 1 步启动 PasteGuard一条 Docker 命令即可代理与 PII 检测器打包在同一个镜像里docker run --rm -p 3000:3000 ghcr.io/sgasser/pasteguard:latest第 2 步配置 Route 模式复制 config.example.yaml 为config.yaml并挂载进容器关键只改三处# 隐私模式mask 或 route mode: route # 本地 LLM仅 route 模式使用 local: type: ollama base_url: http://localhost:11434 model: llama3.2providers.openai.base_url保持不变指向你要用的云端服务即可。第 3 步把应用指向 PasteGuard只需改一个 base URL其余 SDK 代码零改动from openai import OpenAI client OpenAI(base_urlhttp://localhost:3000/openai/v1)之后所有请求都会先经过 PII 检测再由 PasteGuard 决定发往本地还是云端。✅本地 LLM 怎么配Ollama / vLLM / llama.cpp 对照表 ⚙️local段支持两类接入方式覆盖绝大多数自托管推理框架详见 docs/configuration/providers.mdx框架typebase_urlmodel示例Ollamaollamahttp://localhost:11434llama3.2vLLMopenaihttp://localhost:8000/v1meta-llama/Llama-2-7b-chat-hfllama.cppopenaihttp://localhost:8080/v1localLocalAIopenaihttp://localhost:8080/v1你的模型名 注意走 Anthropic 协议/anthropic端点时本地 LLM 必须兼容 Anthropic Messages API例如开启了兼容层的 Ollama。路由决策背后检测器怎么判断含 PII Route 模式的分流质量取决于 PII 检测能力。PasteGuard 的检测器采用双层架构详见 docs/concepts/pii-detection.mdx确定性层邮箱、电话、信用卡、IBAN、IP 等结构化数据用正则 校验和验证命中即 1.0 分不靠猜语义层姓名、地点用 GLiNER 语义模型识别跨语言通用——德文信件里混着意大利人名和城名也能找到。检测阈值通过pii_detection.score_threshold默认 0.7调节。此外密钥检测的策略也能联动路由在 config.example.yaml 中将secrets_detection.action设为route_local命中 API Key、私钥、JWT 等密钥的请求同样会改道本地。整条密钥处理 → PII 检测 → 路由/脱敏流水线的核心实现在 src/privacy/pipeline.ts。如何验证路由生效响应头 Dashboard 双重确认 发一条包含真实人名的测试请求用curl -i观察响应头curl -i http://localhost:3000/openai/v1/chat/completions \ -H Authorization: Bearer $OPENAI_API_KEY \ -H Content-Type: application/json \ -d {model: gpt-5.2, messages: [{role: user, content: 写一封跟进邮件给 Dr. Sarah Chen (sarah.chenhospital.org)}]}PasteGuard 会在响应中附带这三个头路由结果一目了然X-PasteGuard-Mode: route X-PasteGuard-Provider: local # 或 openai / anthropic X-PasteGuard-PII-Detected: true打开浏览器访问http://localhost:3000Dashboard 会记录每一次请求命中的实体类型PERSON、EMAIL_ADDRESS…、扫描耗时、发送出去的是原文还是脱敏内容全部可追溯。常见问题 ⚠️Route 模式和 Mask 模式怎么选Mask 模式对所有人打码放行适合允许数据上云但要隐去明文值的场景Route 模式要求敏感请求 100% 不出内网适合合规要求严格的团队。两者都依赖同一套检测器切换只需改一行mode。本地模型效果不如云端怎么办这正是 Route 模式的权衡把高敏感的请求交给本地模型低敏感的请求交给云端。可以按数据敏感度调整score_threshold或为本地端点配置更强的模型。第一次启动很慢首次启动需要加载 GLiNER 检测模型代理和检测器都就绪后/health才会返回正常耐心等待即可。更多细节可阅读 docs/concepts/route-mode.mdx 和 docs/installation.mdx。让 AI 获得上下文而不是你的隐私数据。赞分享【免费下载链接】pasteguardAI gets the context. Not your private data. Local-first privacy proxy for browser chat, AI APIs, and coding agents.项目地址https://gitcode.com/gh_mirrors/pa/pasteguard点击查看免费下载相关推荐LocalAI 请求中间件实战指南基于 NER 的 PII 过滤与智能模型路由LocalAI 请求中间件实战指南基于 NER 的 PII 过滤与智能模型路由 LocalAI 在 HTTP API 与后端调度器之间内置了一层 请求中间件人工智能大模型模型推理服务本地部署AI AgentRAGLLM 网关多模态语音/音频媒体生成MCP 服务Lemonade Router 策略路由实战用 collection.router 把请求精准分流到本地与云端模型Lemonade Router 策略路由实战用 collection.router 把请求精准分流到本地与云端模型 Lemonade 的路由引擎Router大模型本地部署模型推理服务人工智能AI 应用后端多模态Electron 如何用 localAIHandler 把网页 Prompt API 请求路由到本地 LLM 实现Electron 如何用 localAIHandler 把网页 Prompt API 请求路由到本地 LLM 实现 Electron 的 localAIHan桌面应用跨平台创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考