10 分钟搭好私人 AgentSaluki 27B 本地知识库实战【免费下载链接】Underdog-Saluki-27B-1.0项目地址: https://ai.gitcode.com/hf_mirrors/ConwayResearch/Underdog-Saluki-27B-1.02026 年 10 月Underdog AI 发布的 Saluki 27B 在社区里引发了一个略显反直觉的话题一个被压到 7.89 GB 的 2-bit 量化模型在工具调用tool calling基准上反超了 54 GB 的全尺寸原版 Qwen3.8-27B。对打算在本地跑私人 Agent 的开发者来说这意味着一张消费级显卡跑 27B 智能体从勉强变成了顺理成章——而这正是本地知识库 工具调用组合最缺的那块拼图。本文将基于仓库源码与官方基准数据从选型逻辑讲起给出从零启动、接入知识库到工具调用的完整可跑路径并如实交代它的能力边界。一、为什么是 Saluki 27B本地 RAG 底座的真实门槛本地知识库问答RAG的模型选型长期卡在两条线上模型太小检索回来的文档读不懂、答不准模型够聪明权重又塞不进显卡。Qwen3.8-27B 是这条线上公认的甜点位但它的 BF16 权重足有 54 GB一张 24 GB 的 RTX 3090/4090 直接出局。Saluki 27B 的解法是 2-bit IQ2-mix 量化每个权重参数从 16 bit 压缩到 2 bit270 亿参数只占四分之一字节加上结构开销后主文件定格在 7.89 GB仓库根目录下的Underdog-Saluki-27B-1.0-IQ2-mix.gguf。它并非简单地把 BF16 权重丢进量化器而是在量化之后针对 Agent 场景做了定向校准——这正是它能力分布的来源。官方在 README.md 里给出的同一 harness、同一设置下的对照数据是理解这个模型的关键指标Saluki 27B7.89 GB全尺寸 Qwen3.8-27B54 GB工具调用Underdog Bench120 项 BFCL v4 任务8884并行工具调用100 项并行任务42359 项基准平均能力保留率96%—AIME 2025avg479.296.7规律很清晰Agent 最依赖的工具选择与多工具并行调用不降反升而竞赛数学掉得最狠约保留 82%~85%。也就是说这个模型把误差定向避让到了日常推理和工具执行一侧——而这恰好是 RAG 和 Agent 的高频路径。另一个容易被忽视的选型优势是生态兼容性Underdog-Saluki-27B-1.0-IQ2-mix.gguf是标准 GGUF原生运行在 stock llama.cpp 上无需自定义编译llama.cpp 升级也不会出现格式兼容问题。仓库采用 Apache 2.0 协议见 LICENSE 与 NOTICE后者记录了基于 Qwen3.8-27B 与 ISTA-DASLab 的 GGUF 发布的衍生关系个人商用、再分发都不受授权限制。二、10 分钟跑通一条命令起一个 OpenAI 兼容服务整个部署只需要两步。第一步下载模型仓库镜像在 Hugging Face 上仓库名为ConwayResearch/Underdog-Saluki-27B-1.0huggingface-cli download ConwayResearch/Underdog-Saluki-27B-1.0 Underdog-Saluki-27B-1.0-IQ2-mix.gguf --local-dir .第二步用 llama.cpp 的llama-server启动推理服务llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768逐项拆解这几个参数它们直接决定 Agent 能不能正常工作--jinja必须开启。它启用 Qwen3.8 的 chat template工具调用tool_calls和 thinking 模式都靠这套模板解析。漏掉它模型不会按 OpenAI 工具格式吐调用等于退化成普通聊天模型-ngl 99把全部层卸载到 GPU。7.89 GB 权重 KV 缓存-c 32768的 32K 上下文约再吃 1~2 GB在 24 GB 显存上绰绰有余16 GB 卡可通过减小该值把部分层留在 CPU 上运行-fa on开启 Flash Attention省显存并提速-c 32768上下文窗口长度。RAG 场景下检索注入的文档片段 工具往返记录会快速消耗上下文32K 是本地 Agent 的合理起步值。启动后llama-server在 8080 端口暴露 OpenAI 兼容的 Chat API用一条 curl 验证服务是否就绪curl http://localhost:8080/v1/models返回模型信息即部署完成。这一步耗时基本只取决于模型文件下载速度服务启动本身是秒级的——10 分钟搭好并非夸张。三、知识库 工具调用最小可跑架构私人 Agent 的最小闭环由四部分组成推理底座Saluki 27B、知识检索embedding 向量库、工具执行function calling 本地脚本/API、编排层用官方 OpenAI SDK 之类的客户端把三者串起来。Saluki 本身是标准 GGUF 主模型只负责文本生成知识库的向量化需要一个本地 embedding 模型配合这是 RAG 的通用组件与推理模型解耦向量存储可用 FAISS、Chroma 等本地方案全程数据不出本机。3.1 接入推理服务llama-server的接口与 OpenAI 完全兼容任何 OpenAI 兼容客户端都能直连import openai client openai.OpenAI( base_urlhttp://localhost:8080/v1, # llama-server 默认监听 8080 api_keynot-needed, # llama-server 默认不校验 key ) resp client.chat.completions.create( modelsaluki-27b, messages[{role: user, content: 根据我笔记里的项目资料总结本周进展}], temperature0.6, )3.2 把检索结果注入上下文知识库问答的标准做法是检索 → 注入 → 生成把用户问题向量化后从本地库召回 Top-K 文档片段连同问题一起交给模型。Saluki 对指令遵循的保留能力IFEval 93.5 vs 原版 91.5保证它能严格按注入内容作答而不是凭训练记忆自由发挥hits vector_store.search(embed(query), top_k4) # 本地向量库召回 context \n\n.join(h.text for h in hits) resp client.chat.completions.create( modelsaluki-27b, messages[ {role: system, content: 只依据下面资料回答不要编造\n context}, {role: user, content: query}, ], temperature0.6, )这一步配合-c 32768的上下文窗口可以容纳多段文档摘要 多轮追问是私人知识库问答的主链路。3.3 工具调用让 Agent 从回答变成执行Saluki 的核心卖点是工具调用。传入 JSON Schema 描述的工具列表模型会返回结构化的tool_callsresp client.chat.completions.create( modelsaluki-27b, messages[{role: user, content: 查一下北京今天的天气再记到我的日程里}], tools[ {type: function, function: { name: get_weather, parameters: {type: object, properties: {city: {type: string}}}, }}, {type: function, function: { name: add_event, parameters: {type: object, properties: { title: {type: string}, time: {type: string}}}, }}, ], temperature0, extra_body{chat_template_kwargs: {enable_thinking: False}}, ) print(resp.choices[0].message.tool_calls)返回的tool_calls里就是模型选中的工具名与参数由编排层执行后把结果回传Agent 继续下一轮。实测中它的并行工具调用比全尺寸原版更放得开42 vs 35查天气 记日程这类复合指令能一次下发多个动作。3.4 两套官方参数组合按场景切换README.md 明确给出了两套推荐设置这也是官方跑工具调用基准时的配置使用场景thinkingtemperaturetop_ptop_k通用对话、推理、指令遵循开启默认0.60.9520快速、确定的工具调用关闭0——关闭 thinking 通过请求体参数{chat_template_kwargs: {enable_thinking: false}}按请求单独切换。原因在于 Agent 场景要的是快和确定thinking 开启时模型会先长篇内部推演再动手README 的 Limitations 也明确提示了这一点端到端延迟明显变长关闭后直接吐tool_callstemperature 归零则保证同一指令不会这次选工具 A、下次选工具 B。知识库问答走第一套参数保证质量工具执行走第二套保证速度与稳定。3.5 可选视觉扩展让知识库吃下图片仓库还提供了两个视觉附加模块mmproj-Underdog-Saluki-27B-1.0-F16.gguf928 MB与mmproj-Underdog-Saluki-27B-1.0-Q8_0.gguf629 MB。主模型本身只支持文本下载视觉模块后启动时加--mmproj参数即可让 Agent 理解截图、扫描件、图表类文档直接扩展知识库的文档形态覆盖范围。四、隐私场景下的完整体验链路本地 Agent 的价值在隐私与成本两条线上同时成立。CSDN 社区一篇部署实录中记录了一位开发者的迁移理由查资料、写周报、跑脚本、筛邮件这类高频 Agent 活按 token 计费的云端 API 每月数百元而本地 7.89 GB 模型按电费计算量级是每月几块钱。更关键的是私人日记、合同、医疗记录这类数据一旦进入云端 API就脱离了本地控制——这正是本地知识库无法被替代的场景。完整的隐私闭环链路是入库私人文档切分 → 本地 embedding 向量化 → 写入本地向量库全程无网络请求问答问题向量化检索 → Top-K 片段注入 system message → Saluki 依据注入内容生成回答thinking 开启 temperature 0.6执行需要动手的任务记日程、发邮件、整理文件由模型输出tool_calls本地脚本执行结果回传继续对话thinking 关闭 temperature 0可选增强挂载 mmproj 视觉模块处理图片类文档。整条链路的所有中间产物——模型权重、向量库、对话记录、工具执行结果——都停留在本机。必须如实指出的是Saluki 的能力边界同样清晰部署前值得对照检查数学明显缩水AIME 2025 仅保留约 82%金融计算、工程估算等重度数学推理场景应选择 Q4 或全尺寸模型字母级指令谜题是弱项回文、元音规则、字母排序类任务表现最差字符级校验逻辑不建议依赖它并行调用存在格式瑕疵约五分之一的多工具并行回复有小的格式问题关键生产链路建议在编排层加一道tool_calls格式校验thinking 开启时响应偏慢在线服务需要预留超时或在高频工具调用路径上保持关闭。一句话总结这套组合的适用边界以日常推理、指令执行、工具选择与多工具并行为主的私人 AgentSaluki 27B 是目前消费级显卡 本地知识库 工具调用组合里性价比最明确的选择之一。数学和复杂代码不是它的主场——而大多数私人 Agent 的日常工作恰好也不是。【免费下载链接】Underdog-Saluki-27B-1.0项目地址: https://ai.gitcode.com/hf_mirrors/ConwayResearch/Underdog-Saluki-27B-1.0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/20 1:16:15 · 阅读 1.2k 10 分钟搭好私人 Agent：Saluki 27B + 本地知识库实战
10 分钟搭好私人 AgentSaluki 27B 本地知识库实战【免费下载链接】Underdog-Saluki-27B-1.0项目地址: https://ai.gitcode.com/hf_mirrors/ConwayResearch/Underdog-Saluki-27B-1.02026 年 10 月Underdog AI 发布的 Saluki 27B 在社区里引发了一个略显反直觉的话题一个被压到 7.89 GB 的 2-bit 量化模型在工具调用tool calling基准上反超了 54 GB 的全尺寸原版 Qwen3.8-27B。对打算在本地跑私人 Agent 的开发者来说这意味着一张消费级显卡跑 27B 智能体从勉强变成了顺理成章——而这正是本地知识库 工具调用组合最缺的那块拼图。本文将基于仓库源码与官方基准数据从选型逻辑讲起给出从零启动、接入知识库到工具调用的完整可跑路径并如实交代它的能力边界。一、为什么是 Saluki 27B本地 RAG 底座的真实门槛本地知识库问答RAG的模型选型长期卡在两条线上模型太小检索回来的文档读不懂、答不准模型够聪明权重又塞不进显卡。Qwen3.8-27B 是这条线上公认的甜点位但它的 BF16 权重足有 54 GB一张 24 GB 的 RTX 3090/4090 直接出局。Saluki 27B 的解法是 2-bit IQ2-mix 量化每个权重参数从 16 bit 压缩到 2 bit270 亿参数只占四分之一字节加上结构开销后主文件定格在 7.89 GB仓库根目录下的Underdog-Saluki-27B-1.0-IQ2-mix.gguf。它并非简单地把 BF16 权重丢进量化器而是在量化之后针对 Agent 场景做了定向校准——这正是它能力分布的来源。官方在 README.md 里给出的同一 harness、同一设置下的对照数据是理解这个模型的关键指标Saluki 27B7.89 GB全尺寸 Qwen3.8-27B54 GB工具调用Underdog Bench120 项 BFCL v4 任务8884并行工具调用100 项并行任务42359 项基准平均能力保留率96%—AIME 2025avg479.296.7规律很清晰Agent 最依赖的工具选择与多工具并行调用不降反升而竞赛数学掉得最狠约保留 82%~85%。也就是说这个模型把误差定向避让到了日常推理和工具执行一侧——而这恰好是 RAG 和 Agent 的高频路径。另一个容易被忽视的选型优势是生态兼容性Underdog-Saluki-27B-1.0-IQ2-mix.gguf是标准 GGUF原生运行在 stock llama.cpp 上无需自定义编译llama.cpp 升级也不会出现格式兼容问题。仓库采用 Apache 2.0 协议见 LICENSE 与 NOTICE后者记录了基于 Qwen3.8-27B 与 ISTA-DASLab 的 GGUF 发布的衍生关系个人商用、再分发都不受授权限制。二、10 分钟跑通一条命令起一个 OpenAI 兼容服务整个部署只需要两步。第一步下载模型仓库镜像在 Hugging Face 上仓库名为ConwayResearch/Underdog-Saluki-27B-1.0huggingface-cli download ConwayResearch/Underdog-Saluki-27B-1.0 Underdog-Saluki-27B-1.0-IQ2-mix.gguf --local-dir .第二步用 llama.cpp 的llama-server启动推理服务llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768逐项拆解这几个参数它们直接决定 Agent 能不能正常工作--jinja必须开启。它启用 Qwen3.8 的 chat template工具调用tool_calls和 thinking 模式都靠这套模板解析。漏掉它模型不会按 OpenAI 工具格式吐调用等于退化成普通聊天模型-ngl 99把全部层卸载到 GPU。7.89 GB 权重 KV 缓存-c 32768的 32K 上下文约再吃 1~2 GB在 24 GB 显存上绰绰有余16 GB 卡可通过减小该值把部分层留在 CPU 上运行-fa on开启 Flash Attention省显存并提速-c 32768上下文窗口长度。RAG 场景下检索注入的文档片段 工具往返记录会快速消耗上下文32K 是本地 Agent 的合理起步值。启动后llama-server在 8080 端口暴露 OpenAI 兼容的 Chat API用一条 curl 验证服务是否就绪curl http://localhost:8080/v1/models返回模型信息即部署完成。这一步耗时基本只取决于模型文件下载速度服务启动本身是秒级的——10 分钟搭好并非夸张。三、知识库 工具调用最小可跑架构私人 Agent 的最小闭环由四部分组成推理底座Saluki 27B、知识检索embedding 向量库、工具执行function calling 本地脚本/API、编排层用官方 OpenAI SDK 之类的客户端把三者串起来。Saluki 本身是标准 GGUF 主模型只负责文本生成知识库的向量化需要一个本地 embedding 模型配合这是 RAG 的通用组件与推理模型解耦向量存储可用 FAISS、Chroma 等本地方案全程数据不出本机。3.1 接入推理服务llama-server的接口与 OpenAI 完全兼容任何 OpenAI 兼容客户端都能直连import openai client openai.OpenAI( base_urlhttp://localhost:8080/v1, # llama-server 默认监听 8080 api_keynot-needed, # llama-server 默认不校验 key ) resp client.chat.completions.create( modelsaluki-27b, messages[{role: user, content: 根据我笔记里的项目资料总结本周进展}], temperature0.6, )3.2 把检索结果注入上下文知识库问答的标准做法是检索 → 注入 → 生成把用户问题向量化后从本地库召回 Top-K 文档片段连同问题一起交给模型。Saluki 对指令遵循的保留能力IFEval 93.5 vs 原版 91.5保证它能严格按注入内容作答而不是凭训练记忆自由发挥hits vector_store.search(embed(query), top_k4) # 本地向量库召回 context \n\n.join(h.text for h in hits) resp client.chat.completions.create( modelsaluki-27b, messages[ {role: system, content: 只依据下面资料回答不要编造\n context}, {role: user, content: query}, ], temperature0.6, )这一步配合-c 32768的上下文窗口可以容纳多段文档摘要 多轮追问是私人知识库问答的主链路。3.3 工具调用让 Agent 从回答变成执行Saluki 的核心卖点是工具调用。传入 JSON Schema 描述的工具列表模型会返回结构化的tool_callsresp client.chat.completions.create( modelsaluki-27b, messages[{role: user, content: 查一下北京今天的天气再记到我的日程里}], tools[ {type: function, function: { name: get_weather, parameters: {type: object, properties: {city: {type: string}}}, }}, {type: function, function: { name: add_event, parameters: {type: object, properties: { title: {type: string}, time: {type: string}}}, }}, ], temperature0, extra_body{chat_template_kwargs: {enable_thinking: False}}, ) print(resp.choices[0].message.tool_calls)返回的tool_calls里就是模型选中的工具名与参数由编排层执行后把结果回传Agent 继续下一轮。实测中它的并行工具调用比全尺寸原版更放得开42 vs 35查天气 记日程这类复合指令能一次下发多个动作。3.4 两套官方参数组合按场景切换README.md 明确给出了两套推荐设置这也是官方跑工具调用基准时的配置使用场景thinkingtemperaturetop_ptop_k通用对话、推理、指令遵循开启默认0.60.9520快速、确定的工具调用关闭0——关闭 thinking 通过请求体参数{chat_template_kwargs: {enable_thinking: false}}按请求单独切换。原因在于 Agent 场景要的是快和确定thinking 开启时模型会先长篇内部推演再动手README 的 Limitations 也明确提示了这一点端到端延迟明显变长关闭后直接吐tool_callstemperature 归零则保证同一指令不会这次选工具 A、下次选工具 B。知识库问答走第一套参数保证质量工具执行走第二套保证速度与稳定。3.5 可选视觉扩展让知识库吃下图片仓库还提供了两个视觉附加模块mmproj-Underdog-Saluki-27B-1.0-F16.gguf928 MB与mmproj-Underdog-Saluki-27B-1.0-Q8_0.gguf629 MB。主模型本身只支持文本下载视觉模块后启动时加--mmproj参数即可让 Agent 理解截图、扫描件、图表类文档直接扩展知识库的文档形态覆盖范围。四、隐私场景下的完整体验链路本地 Agent 的价值在隐私与成本两条线上同时成立。CSDN 社区一篇部署实录中记录了一位开发者的迁移理由查资料、写周报、跑脚本、筛邮件这类高频 Agent 活按 token 计费的云端 API 每月数百元而本地 7.89 GB 模型按电费计算量级是每月几块钱。更关键的是私人日记、合同、医疗记录这类数据一旦进入云端 API就脱离了本地控制——这正是本地知识库无法被替代的场景。完整的隐私闭环链路是入库私人文档切分 → 本地 embedding 向量化 → 写入本地向量库全程无网络请求问答问题向量化检索 → Top-K 片段注入 system message → Saluki 依据注入内容生成回答thinking 开启 temperature 0.6执行需要动手的任务记日程、发邮件、整理文件由模型输出tool_calls本地脚本执行结果回传继续对话thinking 关闭 temperature 0可选增强挂载 mmproj 视觉模块处理图片类文档。整条链路的所有中间产物——模型权重、向量库、对话记录、工具执行结果——都停留在本机。必须如实指出的是Saluki 的能力边界同样清晰部署前值得对照检查数学明显缩水AIME 2025 仅保留约 82%金融计算、工程估算等重度数学推理场景应选择 Q4 或全尺寸模型字母级指令谜题是弱项回文、元音规则、字母排序类任务表现最差字符级校验逻辑不建议依赖它并行调用存在格式瑕疵约五分之一的多工具并行回复有小的格式问题关键生产链路建议在编排层加一道tool_calls格式校验thinking 开启时响应偏慢在线服务需要预留超时或在高频工具调用路径上保持关闭。一句话总结这套组合的适用边界以日常推理、指令执行、工具选择与多工具并行为主的私人 AgentSaluki 27B 是目前消费级显卡 本地知识库 工具调用组合里性价比最明确的选择之一。数学和复杂代码不是它的主场——而大多数私人 Agent 的日常工作恰好也不是。【免费下载链接】Underdog-Saluki-27B-1.0项目地址: https://ai.gitcode.com/hf_mirrors/ConwayResearch/Underdog-Saluki-27B-1.0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考