简介这份PDF教程面向希望在个人电脑上搭建私有AI环境的用户尤其适合不熟悉命令行操作、想避开公共平台服务拥堵与隐私顾虑的入门读者。内容围绕Ollama、DeepSeek模型与ChatBox客户端展开覆盖从软件安装、模型版本选择到界面配置的完整链路并针对下载缓慢的情况给出网盘备用方案。资源包共1个PDF文件大小约722KB以图文步骤说明为主便于按章节对照操作。目前已有742人学习下载说明该方案在本地化部署场景中具备一定参考价值。读者可借此了解不同硬件配置对应的模型版本建议、命令行查看与启动模型的方法以及客户端接入本地模型的配置思路同时获得遇到识别误差或流程卡点时的排查方向适合作为搭建私有AI环境的入门参考。1. 为什么我劝你先别急着拉镜像DeepSeek 本地部署的真实门槛DeepSeek 本地部署保姆级教程这个标题网上一搜一大把但绝大多数只告诉你“跑起来了”没告诉你“跑起来之后能干什么”。我见过太多人兴冲冲下载几十 GB 权重结果发现显存不够、量化版本选错、推理速度慢到没法用最后默默删掉文件夹。本地部署 DeepSeek 的核心价值不是“拥有一个聊天框”而是数据不出内网、可离线批量推理、能针对垂直场景做微调。适合谁手里有至少一张 16GB 显存显卡的开发者、需要处理敏感文本的团队、想把大模型嵌进自己工具链的工程师。如果你只有核显或者 8GB 显存后面我会讲怎么用 CPU 加内存硬扛但你要接受每秒几个 token 的现实。这一章先把“能不能做、值不值得做”说清楚再往下拆具体操作。2. 选型与硬件账DeepSeek 各版本到底吃多少资源2.1 先分清 DeepSeek 的模型家族别下错权重DeepSeek 不是单一模型常见的有基础语言模型和推理增强版本参数量从 1.5B 到 671B 不等。本地部署最常碰的是 7B、8B、14B、32B 这几个量级再往上就是多卡甚至多机的事。很多人翻车是因为把“满血版”和“蒸馏版”搞混了——蒸馏版是把大模型的能力迁移到小模型上推理快、显存低但复杂逻辑会明显变弱。我一般建议先明确你的任务类型。如果是文本分类、信息抽取、简单问答7B 量化后足够如果是代码生成或长链推理至少 14B 起步32B 才比较稳。下载权重时认准模型卡上的参数规模和量化格式别只看文件名里的“DeepSeek”就冲。2.2 显存、内存、磁盘的硬性账本本地部署的瓶颈几乎永远在显存。以 FP16 精度估算每 10 亿参数约需 2GB 显存7B 模型就是 14GB 左右加上推理时的 KV Cache 和框架开销实际要留 16GB 以上。量化能大幅压缩4-bit 量化后 7B 约 4-5GB14B 约 9-10GB32B 约 20GB 左右。但量化不是免费的Q4 之后质量下降开始明显Q2 基本只能做演示。内存方面如果显存不够需要 offload 到内存至少准备 32GB 系统内存最好 64GB。磁盘上原始权重加量化版本加缓存建议预留 100GB 以上 SSD 空间。下面这张表是我实测过的几个典型配置供你对照模型规模精度显存占用最低显卡推理速度tokens/s7BFP16~15GB16GB30-507BQ4~5GB8GB40-6014BQ4~10GB12GB20-3532BQ4~20GB24GB10-187BCPUQ4内存 8GB无2-5注意表里的速度是单次生成、batch size 为 1 的粗略值实际会随上下文长度增加而下降。上下文从 2K 拉到 8K速度可能掉一半。2.3 推理框架怎么选别在工具上反复横跳目前本地跑 DeepSeek 最省心的路径是 Ollama一条命令拉取量化权重自带服务端和 API适合快速验证。如果你要精细控制量化参数、批处理、多卡拆分那就上 llama.cpp 或 vLLM。llama.cpp 对 CPU 和混合推理支持最好vLLM 在高并发和显存利用率上更强但配置门槛高。我的习惯是先用 Ollama 跑通最小闭环确认模型能力符合预期再决定要不要迁到 vLLM 做生产。别一上来就折腾编译和 CUDA 版本那是给自己找不痛快。3. 用 Ollama 在本地跑通 DeepSeek 的最小闭环3.1 安装与拉取模型三条命令的事Ollama 的安装包覆盖主流桌面系统装完后确认服务在跑。下面以命令行方式演示Windows 和 macOS 用户装完客户端后同样可以在终端操作。# 检查 ollama 是否安装成功正常会输出版本号 ollama --version # 拉取 DeepSeek 的 7B 量化版本默认是 Q4 级别 # 如果你需要更大规模把 7b 换成 14b 或 32b ollama pull deepseek-r1:7b # 查看本地已有的模型列表确认拉取完成 ollama list逻辑说明ollama pull会自动选择适合当前硬件的量化版本但不会告诉你具体是 Q4 还是 Q5。参数上模型名后面的:7b是标签不同标签对应不同规模和量化。如果你明确要某个量化等级可以写deepseek-r1:7b-q4_K_M这种完整标签但前提是仓库里有这个标签。拉取完成后ollama list会显示模型 ID、大小和修改时间大小能帮你反推量化级别——7B 的 Q4 大约 4-5GB如果显示 14GB 那就是 FP16。3.2 启动交互与 API 调用验证模型真的在干活拉取完先别急着写代码用交互模式问几个问题感受一下速度和回答质量。# 进入交互式对话直接输入问题即可 ollama run deepseek-r1:7b # 退出交互模式用 /bye 或 CtrlD交互模式里输入“用 Python 写一个快速排序”观察生成速度和代码正确性。如果速度低于 5 tokens/s说明硬件吃紧或者量化等级太高。接下来验证 APIOllama 默认在 11434 端口暴露兼容 OpenAI 的接口。import requests import json # Ollama 的 API 地址默认本地 11434 端口 url http://localhost:11434/api/generate payload { model: deepseek-r1:7b, prompt: 用一句话解释什么是递归, stream: False, # 关闭流式一次性拿完整结果 options: { temperature: 0.7, # 控制随机性0 最确定1 最发散 num_predict: 128, # 最多生成 128 个 token防止无限输出 top_p: 0.9 # 核采样阈值配合 temperature 使用 } } resp requests.post(url, jsonpayload) result resp.json() print(result[response])逻辑说明streamFalse适合脚本调用streamTrue适合做打字机效果。temperature在事实性问答里建议 0.2-0.5创意写作可以 0.8-1.0。num_predict是硬上限不设的话模型可能一直生成到上下文塞满。top_p和temperature不要同时调太高否则输出会飘。这段代码跑通说明你的本地 DeepSeek 已经具备被其他程序调用的能力接下来才能谈集成。3.3 用 Modelfile 定制系统提示词和参数Ollama 支持通过 Modelfile 派生自定义模型把系统提示词、停止词、参数固化下来避免每次调用都传一长串配置。# 创建一个名为 CustomDeepSeek 的 Modelfile cat Modelfile EOF FROM deepseek-r1:7b # 系统提示词定义模型的角色和行为边界 SYSTEM 你是一个严谨的技术助手回答只基于事实不确定的内容要明确说不知道。 # 覆盖默认参数 PARAMETER temperature 0.3 PARAMETER num_ctx 4096 PARAMETER stop ### EOF # 根据 Modelfile 创建新模型 ollama create my-deepseek -f Modelfile # 用新模型跑一次确认系统提示词生效 ollama run my-deepseek 介绍一下你自己逻辑说明FROM指定基础模型SYSTEM里的内容会作为每轮对话的隐藏前缀PARAMETER覆盖运行时默认值。num_ctx是上下文窗口7B 模型一般支持 4K 到 8K设太大显存会爆。stop定义停止词生成到这个词就截断适合结构化输出场景。创建完成后ollama list里会多出一个my-deepseek调用方式和普通模型完全一样。这一步的价值在于你把“怎么用模型”的知识固化成了文件团队里其他人直接拉这个模型就能得到一致行为。4. 避坑与排查本地部署 DeepSeek 最常见的五个翻车现场4.1 拉取到一半报磁盘空间不足现象ollama pull进度条走到 80% 突然报错提示 no space left on device。原因Ollama 默认把模型存在系统盘而系统盘往往只剩几十 GB大模型动辄十几 GB加上临时文件直接撑爆。解决设置环境变量OLLAMA_MODELS指向大容量数据盘重启 Ollama 服务后重新拉取。Linux 下可以写进 systemd 配置Windows 在系统环境变量里加。别用软链接糊弄Ollama 对符号链接的处理不稳定血泪经验。4.2 模型加载成功但推理速度只有 1-2 tokens/s现象ollama run能出结果但慢到怀疑人生任务管理器里 GPU 占用率极低。原因模型层没有全部加载到显存部分层跑在 CPU 上或者显卡驱动/CUDA 版本不匹配导致回退到 CPU 推理。解决先看 Ollama 日志里有没有offloading字样确认实际加载层数。然后检查显卡驱动版本和 CUDA 运行时是否满足要求。如果是显存刚好差一点换更低量化等级比如从 Q5 降到 Q4。别硬撑速度差十倍。4.3 中文输出乱码或夹杂大量英文现象问中文问题模型回复里中英文混杂甚至出现乱码字符。原因一是模型本身的中文能力受量化影响低比特量化对中文的损伤比英文大二是 tokenizer 配置不对某些转换脚本会破坏词表。解决优先用官方或社区验证过的量化版本别自己用脚本转。如果必须自己量化用 llama.cpp 的convert工具并保留原始 tokenizer 配置。另外系统提示词里明确要求“用中文回答”能缓解一部分问题。4.4 API 调用返回 404 或连接被拒绝现象Python 脚本请求localhost:11434报 Connection refused 或 404。原因Ollama 服务没启动或者监听地址不是 localhost或者端口被占用。解决先curl http://localhost:11434看服务是否活着。如果服务在跑但 404检查 API 路径是不是写成了/v1/chat/completions——Ollama 原生接口是/api/generate和/api/chat兼容 OpenAI 的路径是/v1/chat/completions两者参数格式不同。别混用。4.5 上下文一长就崩或者开始胡言乱语现象对话轮次多了之后模型突然报错退出或者回答变得毫无逻辑。原因上下文长度超过了num_ctx设置或者 KV Cache 把显存吃满触发 OOM。解决在 Modelfile 或 API 参数里明确设num_ctx并在应用层做对话历史截断。我一般保留最近 6-8 轮对话更早的做摘要或者直接丢弃。别指望小模型能记住几千 token 前的细节那是给自己挖坑。5. 进阶技巧把本地 DeepSeek 嵌进你的工作流5.1 用 Python 封装一个带重试和超时控制的客户端直接裸调 requests 在生产里不够稳网络抖动、模型加载慢、生成超时都会让脚本挂掉。下面这个封装加了重试、超时和流式解析可以直接抄。import requests import time from typing import Generator class LocalDeepSeek: def __init__(self, model: str deepseek-r1:7b, base_url: str http://localhost:11434): self.model model self.base_url base_url self.generate_url f{base_url}/api/generate def generate(self, prompt: str, retries: int 3, timeout: int 120) - str: 非流式生成带重试 payload { model: self.model, prompt: prompt, stream: False, options: {temperature: 0.3, num_predict: 512} } for attempt in range(retries): try: resp requests.post(self.generate_url, jsonpayload, timeouttimeout) resp.raise_for_status() return resp.json()[response] except requests.exceptions.Timeout: # 超时后等待递增避免雪崩 time.sleep(2 ** attempt) except requests.exceptions.ConnectionError: time.sleep(1) raise RuntimeError(f生成失败已重试 {retries} 次) def stream(self, prompt: str) - Generator[str, None, None]: 流式生成逐 token 产出 payload { model: self.model, prompt: prompt, stream: True, options: {temperature: 0.3} } with requests.post(self.generate_url, jsonpayload, streamTrue, timeout300) as resp: resp.raise_for_status() for line in resp.iter_lines(): if line: chunk line.decode(utf-8) # Ollama 流式返回是 JSON Lines逐行解析 import json data json.loads(chunk) if response in data: yield data[response] # 使用示例 client LocalDeepSeek() print(client.generate(用三句话说明什么是向量数据库))逻辑说明retries控制重试次数timeout是单次请求超时流式接口的 timeout 要设大一些因为生成可能持续几分钟。time.sleep(2 ** attempt)是指数退避避免服务刚恢复就被打满。流式解析里用iter_lines逐行读Ollama 每行是一个独立 JSON取response字段拼接即可。这个类可以直接放进你的工具脚本里替换掉硬编码的 requests 调用。5.2 批量推理时怎么控制并发和显存本地模型不是云服务并发一高就 OOM。我的做法是用队列串行化或者限制并发数为 1-2。如果确实需要吞吐用 vLLM 的 continuous batching但那是另一个部署形态了。在 Ollama 方案下写个简单的生产者-消费者队列把请求排队处理比盲目开多线程稳得多。另外批量任务尽量在夜间跑避免和交互式使用抢显存。5.3 验证模型是否真的在本地跑断网测试最后一个技巧拔掉网线或者禁用网络适配器再跑一次推理。如果还能正常出结果说明模型权重确实在本地没有偷偷调云端 API。这个测试能帮你排除掉那些“伪本地部署”的封装工具。我习惯在交付前做一次断网验证确认整个链路自包含。另外用nvidia-smi观察推理时的显存波动如果显存占用在生成期间明显上升说明 GPU 在干活如果纹丝不动那大概率是 CPU 在硬扛。本地部署这件事最大的教训是别追求一步到位。我见过太多人一上来就想跑 671B结果卡在环境配置上三天没进展热情直接耗尽。正确的节奏是先用 7B 量化版跑通全流程确认 API 能调、速度能接受、输出质量够用再逐步往上换模型。希望帮到你。本文还有配套的精品资源点击获取 
长河君 · 2026/10/15 11:06:56 · 阅读 1.2k DeepSeek本地部署实战：从硬件选型到Ollama推理的完整指南
简介这份PDF教程面向希望在个人电脑上搭建私有AI环境的用户尤其适合不熟悉命令行操作、想避开公共平台服务拥堵与隐私顾虑的入门读者。内容围绕Ollama、DeepSeek模型与ChatBox客户端展开覆盖从软件安装、模型版本选择到界面配置的完整链路并针对下载缓慢的情况给出网盘备用方案。资源包共1个PDF文件大小约722KB以图文步骤说明为主便于按章节对照操作。目前已有742人学习下载说明该方案在本地化部署场景中具备一定参考价值。读者可借此了解不同硬件配置对应的模型版本建议、命令行查看与启动模型的方法以及客户端接入本地模型的配置思路同时获得遇到识别误差或流程卡点时的排查方向适合作为搭建私有AI环境的入门参考。1. 为什么我劝你先别急着拉镜像DeepSeek 本地部署的真实门槛DeepSeek 本地部署保姆级教程这个标题网上一搜一大把但绝大多数只告诉你“跑起来了”没告诉你“跑起来之后能干什么”。我见过太多人兴冲冲下载几十 GB 权重结果发现显存不够、量化版本选错、推理速度慢到没法用最后默默删掉文件夹。本地部署 DeepSeek 的核心价值不是“拥有一个聊天框”而是数据不出内网、可离线批量推理、能针对垂直场景做微调。适合谁手里有至少一张 16GB 显存显卡的开发者、需要处理敏感文本的团队、想把大模型嵌进自己工具链的工程师。如果你只有核显或者 8GB 显存后面我会讲怎么用 CPU 加内存硬扛但你要接受每秒几个 token 的现实。这一章先把“能不能做、值不值得做”说清楚再往下拆具体操作。2. 选型与硬件账DeepSeek 各版本到底吃多少资源2.1 先分清 DeepSeek 的模型家族别下错权重DeepSeek 不是单一模型常见的有基础语言模型和推理增强版本参数量从 1.5B 到 671B 不等。本地部署最常碰的是 7B、8B、14B、32B 这几个量级再往上就是多卡甚至多机的事。很多人翻车是因为把“满血版”和“蒸馏版”搞混了——蒸馏版是把大模型的能力迁移到小模型上推理快、显存低但复杂逻辑会明显变弱。我一般建议先明确你的任务类型。如果是文本分类、信息抽取、简单问答7B 量化后足够如果是代码生成或长链推理至少 14B 起步32B 才比较稳。下载权重时认准模型卡上的参数规模和量化格式别只看文件名里的“DeepSeek”就冲。2.2 显存、内存、磁盘的硬性账本本地部署的瓶颈几乎永远在显存。以 FP16 精度估算每 10 亿参数约需 2GB 显存7B 模型就是 14GB 左右加上推理时的 KV Cache 和框架开销实际要留 16GB 以上。量化能大幅压缩4-bit 量化后 7B 约 4-5GB14B 约 9-10GB32B 约 20GB 左右。但量化不是免费的Q4 之后质量下降开始明显Q2 基本只能做演示。内存方面如果显存不够需要 offload 到内存至少准备 32GB 系统内存最好 64GB。磁盘上原始权重加量化版本加缓存建议预留 100GB 以上 SSD 空间。下面这张表是我实测过的几个典型配置供你对照模型规模精度显存占用最低显卡推理速度tokens/s7BFP16~15GB16GB30-507BQ4~5GB8GB40-6014BQ4~10GB12GB20-3532BQ4~20GB24GB10-187BCPUQ4内存 8GB无2-5注意表里的速度是单次生成、batch size 为 1 的粗略值实际会随上下文长度增加而下降。上下文从 2K 拉到 8K速度可能掉一半。2.3 推理框架怎么选别在工具上反复横跳目前本地跑 DeepSeek 最省心的路径是 Ollama一条命令拉取量化权重自带服务端和 API适合快速验证。如果你要精细控制量化参数、批处理、多卡拆分那就上 llama.cpp 或 vLLM。llama.cpp 对 CPU 和混合推理支持最好vLLM 在高并发和显存利用率上更强但配置门槛高。我的习惯是先用 Ollama 跑通最小闭环确认模型能力符合预期再决定要不要迁到 vLLM 做生产。别一上来就折腾编译和 CUDA 版本那是给自己找不痛快。3. 用 Ollama 在本地跑通 DeepSeek 的最小闭环3.1 安装与拉取模型三条命令的事Ollama 的安装包覆盖主流桌面系统装完后确认服务在跑。下面以命令行方式演示Windows 和 macOS 用户装完客户端后同样可以在终端操作。# 检查 ollama 是否安装成功正常会输出版本号 ollama --version # 拉取 DeepSeek 的 7B 量化版本默认是 Q4 级别 # 如果你需要更大规模把 7b 换成 14b 或 32b ollama pull deepseek-r1:7b # 查看本地已有的模型列表确认拉取完成 ollama list逻辑说明ollama pull会自动选择适合当前硬件的量化版本但不会告诉你具体是 Q4 还是 Q5。参数上模型名后面的:7b是标签不同标签对应不同规模和量化。如果你明确要某个量化等级可以写deepseek-r1:7b-q4_K_M这种完整标签但前提是仓库里有这个标签。拉取完成后ollama list会显示模型 ID、大小和修改时间大小能帮你反推量化级别——7B 的 Q4 大约 4-5GB如果显示 14GB 那就是 FP16。3.2 启动交互与 API 调用验证模型真的在干活拉取完先别急着写代码用交互模式问几个问题感受一下速度和回答质量。# 进入交互式对话直接输入问题即可 ollama run deepseek-r1:7b # 退出交互模式用 /bye 或 CtrlD交互模式里输入“用 Python 写一个快速排序”观察生成速度和代码正确性。如果速度低于 5 tokens/s说明硬件吃紧或者量化等级太高。接下来验证 APIOllama 默认在 11434 端口暴露兼容 OpenAI 的接口。import requests import json # Ollama 的 API 地址默认本地 11434 端口 url http://localhost:11434/api/generate payload { model: deepseek-r1:7b, prompt: 用一句话解释什么是递归, stream: False, # 关闭流式一次性拿完整结果 options: { temperature: 0.7, # 控制随机性0 最确定1 最发散 num_predict: 128, # 最多生成 128 个 token防止无限输出 top_p: 0.9 # 核采样阈值配合 temperature 使用 } } resp requests.post(url, jsonpayload) result resp.json() print(result[response])逻辑说明streamFalse适合脚本调用streamTrue适合做打字机效果。temperature在事实性问答里建议 0.2-0.5创意写作可以 0.8-1.0。num_predict是硬上限不设的话模型可能一直生成到上下文塞满。top_p和temperature不要同时调太高否则输出会飘。这段代码跑通说明你的本地 DeepSeek 已经具备被其他程序调用的能力接下来才能谈集成。3.3 用 Modelfile 定制系统提示词和参数Ollama 支持通过 Modelfile 派生自定义模型把系统提示词、停止词、参数固化下来避免每次调用都传一长串配置。# 创建一个名为 CustomDeepSeek 的 Modelfile cat Modelfile EOF FROM deepseek-r1:7b # 系统提示词定义模型的角色和行为边界 SYSTEM 你是一个严谨的技术助手回答只基于事实不确定的内容要明确说不知道。 # 覆盖默认参数 PARAMETER temperature 0.3 PARAMETER num_ctx 4096 PARAMETER stop ### EOF # 根据 Modelfile 创建新模型 ollama create my-deepseek -f Modelfile # 用新模型跑一次确认系统提示词生效 ollama run my-deepseek 介绍一下你自己逻辑说明FROM指定基础模型SYSTEM里的内容会作为每轮对话的隐藏前缀PARAMETER覆盖运行时默认值。num_ctx是上下文窗口7B 模型一般支持 4K 到 8K设太大显存会爆。stop定义停止词生成到这个词就截断适合结构化输出场景。创建完成后ollama list里会多出一个my-deepseek调用方式和普通模型完全一样。这一步的价值在于你把“怎么用模型”的知识固化成了文件团队里其他人直接拉这个模型就能得到一致行为。4. 避坑与排查本地部署 DeepSeek 最常见的五个翻车现场4.1 拉取到一半报磁盘空间不足现象ollama pull进度条走到 80% 突然报错提示 no space left on device。原因Ollama 默认把模型存在系统盘而系统盘往往只剩几十 GB大模型动辄十几 GB加上临时文件直接撑爆。解决设置环境变量OLLAMA_MODELS指向大容量数据盘重启 Ollama 服务后重新拉取。Linux 下可以写进 systemd 配置Windows 在系统环境变量里加。别用软链接糊弄Ollama 对符号链接的处理不稳定血泪经验。4.2 模型加载成功但推理速度只有 1-2 tokens/s现象ollama run能出结果但慢到怀疑人生任务管理器里 GPU 占用率极低。原因模型层没有全部加载到显存部分层跑在 CPU 上或者显卡驱动/CUDA 版本不匹配导致回退到 CPU 推理。解决先看 Ollama 日志里有没有offloading字样确认实际加载层数。然后检查显卡驱动版本和 CUDA 运行时是否满足要求。如果是显存刚好差一点换更低量化等级比如从 Q5 降到 Q4。别硬撑速度差十倍。4.3 中文输出乱码或夹杂大量英文现象问中文问题模型回复里中英文混杂甚至出现乱码字符。原因一是模型本身的中文能力受量化影响低比特量化对中文的损伤比英文大二是 tokenizer 配置不对某些转换脚本会破坏词表。解决优先用官方或社区验证过的量化版本别自己用脚本转。如果必须自己量化用 llama.cpp 的convert工具并保留原始 tokenizer 配置。另外系统提示词里明确要求“用中文回答”能缓解一部分问题。4.4 API 调用返回 404 或连接被拒绝现象Python 脚本请求localhost:11434报 Connection refused 或 404。原因Ollama 服务没启动或者监听地址不是 localhost或者端口被占用。解决先curl http://localhost:11434看服务是否活着。如果服务在跑但 404检查 API 路径是不是写成了/v1/chat/completions——Ollama 原生接口是/api/generate和/api/chat兼容 OpenAI 的路径是/v1/chat/completions两者参数格式不同。别混用。4.5 上下文一长就崩或者开始胡言乱语现象对话轮次多了之后模型突然报错退出或者回答变得毫无逻辑。原因上下文长度超过了num_ctx设置或者 KV Cache 把显存吃满触发 OOM。解决在 Modelfile 或 API 参数里明确设num_ctx并在应用层做对话历史截断。我一般保留最近 6-8 轮对话更早的做摘要或者直接丢弃。别指望小模型能记住几千 token 前的细节那是给自己挖坑。5. 进阶技巧把本地 DeepSeek 嵌进你的工作流5.1 用 Python 封装一个带重试和超时控制的客户端直接裸调 requests 在生产里不够稳网络抖动、模型加载慢、生成超时都会让脚本挂掉。下面这个封装加了重试、超时和流式解析可以直接抄。import requests import time from typing import Generator class LocalDeepSeek: def __init__(self, model: str deepseek-r1:7b, base_url: str http://localhost:11434): self.model model self.base_url base_url self.generate_url f{base_url}/api/generate def generate(self, prompt: str, retries: int 3, timeout: int 120) - str: 非流式生成带重试 payload { model: self.model, prompt: prompt, stream: False, options: {temperature: 0.3, num_predict: 512} } for attempt in range(retries): try: resp requests.post(self.generate_url, jsonpayload, timeouttimeout) resp.raise_for_status() return resp.json()[response] except requests.exceptions.Timeout: # 超时后等待递增避免雪崩 time.sleep(2 ** attempt) except requests.exceptions.ConnectionError: time.sleep(1) raise RuntimeError(f生成失败已重试 {retries} 次) def stream(self, prompt: str) - Generator[str, None, None]: 流式生成逐 token 产出 payload { model: self.model, prompt: prompt, stream: True, options: {temperature: 0.3} } with requests.post(self.generate_url, jsonpayload, streamTrue, timeout300) as resp: resp.raise_for_status() for line in resp.iter_lines(): if line: chunk line.decode(utf-8) # Ollama 流式返回是 JSON Lines逐行解析 import json data json.loads(chunk) if response in data: yield data[response] # 使用示例 client LocalDeepSeek() print(client.generate(用三句话说明什么是向量数据库))逻辑说明retries控制重试次数timeout是单次请求超时流式接口的 timeout 要设大一些因为生成可能持续几分钟。time.sleep(2 ** attempt)是指数退避避免服务刚恢复就被打满。流式解析里用iter_lines逐行读Ollama 每行是一个独立 JSON取response字段拼接即可。这个类可以直接放进你的工具脚本里替换掉硬编码的 requests 调用。5.2 批量推理时怎么控制并发和显存本地模型不是云服务并发一高就 OOM。我的做法是用队列串行化或者限制并发数为 1-2。如果确实需要吞吐用 vLLM 的 continuous batching但那是另一个部署形态了。在 Ollama 方案下写个简单的生产者-消费者队列把请求排队处理比盲目开多线程稳得多。另外批量任务尽量在夜间跑避免和交互式使用抢显存。5.3 验证模型是否真的在本地跑断网测试最后一个技巧拔掉网线或者禁用网络适配器再跑一次推理。如果还能正常出结果说明模型权重确实在本地没有偷偷调云端 API。这个测试能帮你排除掉那些“伪本地部署”的封装工具。我习惯在交付前做一次断网验证确认整个链路自包含。另外用nvidia-smi观察推理时的显存波动如果显存占用在生成期间明显上升说明 GPU 在干活如果纹丝不动那大概率是 CPU 在硬扛。本地部署这件事最大的教训是别追求一步到位。我见过太多人一上来就想跑 671B结果卡在环境配置上三天没进展热情直接耗尽。正确的节奏是先用 7B 量化版跑通全流程确认 API 能调、速度能接受、输出质量够用再逐步往上换模型。希望帮到你。本文还有配套的精品资源点击获取