简介在银河麒麟V10arm64离线环境中部署DeepSeek模型常卡在依赖、服务配置等环节。这份指南面向系统运维、AI部署等技术人员给出从ollama安装、系统服务与环境变量配置到离线导入deepseek-r1模型、再配置chatbox客户端及远程访问的完整流程。资源为1个docx文档压缩包大小约2.69MB虽然体积小但步骤详尽包含具体命令、文件路径、飞腾CPU环境下的实测示例以及将模型注册为systemd服务、设置开机自启等实操细节。已有5524人学习适合需要在无互联网环境快速搭建大模型服务并保证可交互使用的读者参考。文档末尾的参考资料和阅读建议也能帮助新手规避常见雷区。1. 银河麒麟 V10 上跑 DeepSeek 大模型为什么离线部署是刚需内网隔离的环境里想用上 DeepSeek 这样的大语言模型服务最容易想到的路线就是本地部署一套 ollama。银河麒麟 V10 作为国产 Linux 系统在政企、金融、能源这些单位里普及度很高但这类环境往往不允许联网于是「离线安装 ollama 大语言模型服务 chatbox 客户端」就成了一个非常具体的落地场景。这篇文章讲的不是云端调用而是把完整的大模型服务装进你的内网服务器让团队里的每个人都能通过 chatbox 这个桌面客户端像用聊天软件一样和 DeepSeek 对话。这个方案能解决的问题很明确数据不出内网、响应不受外网带宽影响、模型权限完全自主可控。适合的对象是有一台性能尚可的 Linux 服务器16GB 内存起步带 GPU 更好、需要在内网提供 AI 对话能力的运维或开发人员。整条链路就是离线装好 ollama 运行时 → 把模型权重文件搬运进内网 → 配置好 ollama 服务 → 用 chatbox 做用户界面。接下来我会按这条链路一步步展开把每个环节的坑提前标出来。2. 离线部署的第一关依赖包和模型权重都得提前准备2.1 下载 ollama 离线安装包不要只抓二进制离线部署最怕的不是安装本身而是装到一半发现缺依赖又没法联网补。所以第一步就是在能联网的机器上把 ollama 的安装包和全部依赖一次性拉齐。我用的方案是在一台能联网的机器上用 apt 的 download 模式把 deb 包全部抓下来再拷贝到离线机器上安装。注意不要只抓 ollama 的二进制它的运行依赖比想象中多。具体做法在一台能联网的机器上添加 ollama 的官方 apt 源也可以直接下载 .deb 包然后执行# 在联网机器上添加 ollama 官方源并拉取依赖 curl -fsSL https://ollama.com/download/ollama.gpg.key | sudo gpg --dearmor -o /usr/share/keyrings/ollama.gpg.key echo deb [archamd64 signed-by/usr/share/keyrings/ollama.gpg.key] https://download.ollama.com/linux/repo stable main | sudo tee /etc/apt/sources.list.d/ollama.list sudo apt update # 仅下载而不安装连带所有依赖一起拉下来 sudo apt install --download-only ollama逻辑说明--download-only让 apt 只下载不安装所有 .deb 会落在/var/cache/apt/archives/下。使用 gpg key 校验仓库签名避免二进制被篡改这在离线环境里尤其重要因为你没法临时更新信任链。参数说明archamd64要根据 CPU 架构调整如果是 ARM64 的机器比如鲲鹏、飞腾这里要改成arm64下载的包也不同。如果机器没有外网 DNS建议直接把 .deb 包拷贝到 U 盘而不是依赖 apt 源。把/var/cache/apt/archives/下的所有 .deb 拷贝到离线机器后用下面的命令安装# 离线机器上进入存放 deb 包的目录 sudo dpkg -i *.deb逻辑说明如果有依赖顺序问题dpkg -i *.deb一次性安装所有包apt 会自动处理大部分依赖。如果报error: dependency issues多半是漏了某个依赖包重新在联网机器上补拉即可。参数说明离线机器上如果之前装过旧版 ollama建议先sudo apt remove ollama再装避免配置文件冲突。常见做法是不要贪省事直接解压二进制跑虽然 ollama 官方也提供单二进制文件但在银河麒麟这类基于 Debian 的国产系统上缺了 lib 库很容易出现libgcc_s.so.1 must be installed之类的玄学报错走 deb 包装是最稳的一条路。血泪经验我第一次为了省事直接拷二进制结果折腾了一下午的库依赖。2.2 大模型权重文件怎么选别迷信 7B 起步ollama 装好之后接下来是模型文件。DeepSeek 在 ollama 仓库里有多个尺寸的版本从 1.5B 到 400B 都有。离线环境下你必须提前在联网机器上把模型拉下来。# 在联网机器上先拉取模型以 deepseek-r1:7b 为例 ollama pull deepseek-r1:7b逻辑说明ollama pull会从官方仓库下载模型权重默认存储在~/.ollama/models/下。拉取完成后整个模型目录包括 blobs 和 manifests一起拷贝到离线机器。参数说明模型标签tag决定大小deepseek-r1:1.5b大约 1.1GBdeepseek-r1:7b大约 4.7GBdeepseek-r1:14b大约 9GB。显存不够的情况下别硬上 14B7B 在量化后 6GB 显存就能跑CPU 模式也能硬扛。我一般会建议先确认目标机器是纯 CPU 还是有 GPU。银河麒麟 V10 的服务器版本大概率有国产 GPU比如昇腾、寒武纪但 ollama 对这些加速卡的支持要看版本。如果只是内网办公场景CPU 跑 7B 量化版完全够用速度慢一点但胜在稳定。新版 ollama0.5.x 以上对模型格式有调整老版本的 ollama 可能拉不了新模型的 manifest。所以离线机器上的 ollama 版本和拉模型的机器版本尽量保持一致或者离线机器的版本更新。这个坑我在后面章节专门讲。3. 银河麒麟 V10 离线安装 ollamadeb 包装完、服务注册与参数调优3.1 用 deb 包在银河麒麟上装 ollama 的最小步骤前面第 2 章已经把依赖包拉下来了这一步直接落到银河麒麟 V10 上操作。假设你已经把 deb 包目录整个拷到了离线机器路径是/home/user/ollama-pkgs/。# 进入 deb 包目录 cd /home/user/ollama-pkgs # 安装所有 deb sudo dpkg -i *.deb # 如果出现依赖缺失先修复 sudo apt --fix-broken install # 验证版本 ollama --version逻辑说明dpkg -i *.deb会把 ollama 主程序、CLI 工具和 systemd 服务脚本一起装上。apt --fix-broken install是后悔药dpkg 报错之后用这条命令自动补齐依赖。参数说明如果ollama --version报command not found检查/usr/bin/ollama是否存在或者重新执行sudo ldconfig刷新动态库缓存。银河麒麟 V10 的桌面版默认可能有snap干扰建议关闭 snap 服务再装不然偶尔会出现奇怪的冲突。装完只完成了一半ollama 默认只监听 127.0.0.1除非你只是想本机测试否则要给局域网内其他机器访问必须改 OLLAMA_HOST。修改 systemd 服务配置# 编辑 systemd 服务文件 sudo systemctl edit ollama.service # 在打开的编辑器中填入以下内容[Service] EnvironmentOLLAMA_HOST0.0.0.0:11434 EnvironmentOLLAMA_MODELS/data/ollama/models逻辑说明systemctl edit会创建 override 配置文件不直接修改原始 service 文件升级 ollama 时不会被覆盖。OLLAMA_HOST0.0.0.0:11434让 ollama 监听所有网卡局域网内其他机器可以通过 IP 访问。OLLAMA_MODELS指定模型存储路径建议放到数据盘或大分区因为模型动不动就是几个 GB。参数说明11434 是 ollama 默认端口如果和内网其他服务冲突改成 11435 之类的高位端口。模型路径不要放在/home下如果用户目录有配额限制模型下载到一半就报no space left on device这是最常见的翻车现场。改完配置后重启服务并设置开机自启sudo systemctl daemon-reload sudo systemctl restart ollama sudo systemctl enable ollama # 查看运行状态 sudo systemctl status ollama逻辑说明daemon-reload让 systemd 重新读取配置不执行的话 restart 可能不生效。status输出里如果看到Active: active (running)说明服务正常。3.2 把联网机器上的模型搬运到离线机器服务起来之后模型还没进来。前面在联网机器上已经拉到本地了现在重点是把模型目录完整拷贝过去。# 在联网机器上打包模型目录 tar -czf deepseek-model.tar.gz -C ~/.ollama/models . # 拷贝到离线机器后解压 mkdir -p ~/.ollama/models tar -xzf deepseek-model.tar.gz -C ~/.ollama/models # 验证模型是否被识别 ollama list逻辑说明模型目录里包含 blobs权重分片和 manifests模型清单两者必须一起拷贝缺了 manifests 的话ollama list就看不到模型。tar 打包比 cp -r 更保险能保留文件权限和符号链接。参数说明如果目标机器的 ollama 版本比源机器旧建议把新版本先降到一致再拷模型否则ollama list可能报 manifest 格式错误。模型拷完后千万别急着启动先ollama list确认如果输出空列表检查~/.ollama/models/manifests是否存在。这里有一个容易被忽略的坑模型的 blobs 目录里文件名是哈希值没有任何扩展名看起来像乱码这是正常的。不要手动重命名ollama 通过哈希校验文件合法性改一个字都会导致加载失败。等一下这句话有点夸张了但你一定不要动 blobs 目录里的任何文件。3.3 内存与并发参数决定离线机器能不能顺畅跑模型装好后运行参数直接决定体验。先看一份我常用的参数清单参数默认值建议值说明OLLAMA_NUM_PARALLEL12并行处理请求数内网人多可以调高OLLAMA_MAX_LOADED_MODELS11同时加载的模型数内存有限就保持 1OLLAMA_KEEP_ALIVE5m30m模型在内存中驻留时间频繁交互建议调长OLLAMA_FLASH_ALLOC自动false显存不足时开纯 CPU 不用管修改方式仍然是systemctl edit把环境变量加进去[Service] EnvironmentOLLAMA_NUM_PARALLEL2 EnvironmentOLLAMA_KEEP_ALIVE30m逻辑说明OLLAMA_NUM_PARALLEL决定同一模型能同时处理几个请求调太高会增加显存/内存占用一个 7B 模型大概占 6-8GB 内存。OLLAMA_KEEP_ALIVE控制模型在内存中的驻留时间每次请求都重新加载模型的话启动会慢好几秒体验就会很卡。参数说明如果机器内存只有 16GB跑 7B 模型时建议把OLLAMA_NUM_PARALLEL保持默认 1否则容易 OOM。纯 CPU 场景下模型权重会全部加载到内存7B 量化版约占用 5-6GB给系统留足余量。我一般会建议先开默认参数跑一轮用ollama run deepseek-r1:7b聊几句测试观察内存占用和响应延迟再决定是否调并发。不要一上来就拉满翻车了还得排查半天。4. 把大模型变成聊天界面chatbox 客户端的离线部署4.1 chatbox 是什么为什么选它来配 ollama模型服务跑起来了但它只是一个 HTTP API 服务没有可视化界面。你总不能叫运维同事都用 curl 来聊天这太离谱了。chatbox 是一个开源的桌面客户端专门干这事把 ollama 这种大模型服务包装成类似即时通讯软件的聊天窗口。选择 chatbox 的主要理由有三个一是跨平台Windows、Linux、macOS 都有安装包银河麒麟 V10 上可以直接跑 Linux 版二是配置简单填一个 API 地址就完事不用写代码三是支持多模型切换同一个界面里可以随时切换不同尺寸的 DeepSeek 模型。如果团队里有人不想用桌面客户端也可以直接用浏览器访问 ollama 的 WebUI比如 open-webui但那是另一套部署方案复杂度更高。chatbox 的价值就是零学习成本双击打开、填地址、开聊。要注意的是chatbox 本身不包含模型它只是客户端所有计算都在 ollama 服务端完成。所以即使你的办公电脑很垃圾只要能在内网访问到那台跑着 ollama 的服务器一样能用 7B 模型。4.2 chatbox 离线安装包怎么找离线环境下没有应用商店需要提前下载安装包。chatbox 的发布渠道是 GitHub Releases找到对应 Linux 平台的包下载。这里有一点需要留意x86_64 和 ARM64 架构的包不一样选错了装不上。# 在联网机器上用 wget 下载 chatbox Linux 版以 x86_64 AppImage 为例 wget https://github.com/chatboxai/chatbox/releases/download/v0.9.4/Chatbox-0.9.4-x86_64.AppImage逻辑说明AppImage 格式的好处是不需要安装直接赋予执行权限就能跑非常适合政企内网这种不允许随便装软件的环境。如果目标机器是 ARM64 架构如飞腾 CPU要下载arm64版本下载前先在机器上执行uname -m确认架构。参数说明文件名里的x86_64表示 Intel/AMD 架构aarch64表示 ARM 架构。chatbox 新版叫 Chatbox老版本叫 chatbox下载时认准Chatbox-*开头。把 AppImage 文件拷贝到离线机器后赋予执行权限就能跑# 离线机器上 chmod x Chatbox-0.9.4-x86_64.AppImage ./Chatbox-0.9.4-x86_64.AppImage逻辑说明如果双击没反应多半是系统缺 FUSE 库安装libfuse2即可这个包银河麒麟的源里有。如果系统是 Wayland 会话AppImage 启动可能黑屏切换到 X11 会话即可解决。4.3 chatbox 连接 ollama配置里的 3 个必填项chatbox 启动后进入设置界面选择模型提供方为Ollama API然后填写三个关键配置配置项填写内容说明API 地址http://服务器IP:11434指向 ollama 服务地址别填 127.0.0.1API 密钥留空ollama 默认不需要密钥模型名称deepseek-r1:7b必须和ollama list输出完全一致配置完成后点连接测试看到Connected successfully就说明通了。如果失败重点排查三个方向第一API 地址里的 IP 是不是 ollama 服务器本身第二服务器防火墙是否放行了 11434 端口第三OLLAMA_HOST 是否已改为0.0.0.0。如果在同一台机器上使用 chatbox 和 ollamaAPI 地址可以填http://127.0.0.1:11434但这样其他机器就没办法连了。我一般会建议填局域网 IP这样调试时任何机器都能访问。5. 离线部署避坑指南模型加载失败、端口不通、架构不匹配前面把安装流程走完了这一章是血泪经验汇总。以下这些坑我踩过的次数比安装次数都多。5.1 模型加载报 manifest 格式错误现象ollama list能看到模型但ollama run直接报错提示 manifest 相关错误模型无法加载。原因离线机器上的 ollama 版本比拉模型时用的版本旧。新版 ollama 改了模型 manifest 的格式字段旧版本解析不了。另一个常见原因是模型目录里的manifests子目录没拷贝完整只拷了 blobs。解决先升级离线机器的 ollama 到与拉模型时一致的版本再重新拷贝 manifests 目录。如果不想升级就在联网机器上用对应的旧版本重新拉一次模型。5.2 内网其他机器连不上11434 端口不通现象ollama 在本机curl http://127.0.0.1:11434正常但其他机器访问超时或拒绝连接。原因没有修改 OLLAMA_HOST默认只监听本地回环地址或者系统防火墙没有放行端口。银河麒麟 V10 默认可能启用 firewalld不配置的话外部访问全被拦。解决先确认监听地址用sudo ss -lntp | grep 11434查看如果看到 IP 是 127.0.0.1说明环境变量没生效。然后执行sudo firewall-cmd --permanent --add-port11434/tcp sudo firewall-cmd --reload放行端口。命令参考# 检查监听地址 ss -lntp | grep 11434 # 放行防火墙端口 sudo firewall-cmd --permanent --add-port11434/tcp sudo firewall-cmd --reload逻辑说明修改 systemd override 文件后必须执行sudo systemctl daemon-reload不然环境变量不生效。防火墙配置因版本而异如果没有 firewalld检查是否有 iptables 规则。5.3 架构不匹配x86 包装到 ARM 机器上现象安装 ollama deb 包时报package architecture (amd64) does not match system (arm64)或直接提示无法安装。原因下载的安装包和 CPU 架构不符。银河麒麟 V10 可以跑在 x86、ARM飞腾、LoongArch 等多种架构上下载时没确认架构。解决装之前先执行uname -m输出x86_64就下载 amd64 包输出aarch64就下载 arm64 包。下载链接里都有明确的架构标注不要只看文件名里带没带 linux 就下手。5.4 chatbox 聊天时每个字都蹦但特别慢现象chatbox 能连上 ollama回复也正常但生成速度只有每秒几个字用起来很煎熬。原因目标机器可能没有 GPU或 GPU 显存不够模型跑在 CPU 上。7B 模型的 CPU 推理速度本身就慢这是硬件瓶颈不是配置问题。解决接受现实换更小的模型1.5B 或 3B或者把量化等级调到更低比如从 Q4_K_M 降到 Q3_K_S。如果机器有 GPU 但 ollama 没检测到检查是否有驱动并确认 ollama 日志里是否输出了 GPU 相关信息。实话实说CPU 跑 7B 就是需要耐心想要流畅必须上 GPU。6. 进阶验证用 curl 做接口健康检查让部署可度量6.1 用 curl 做接口层面的健康检查界面聊天正常只代表端到端通了但真正上线给团队用之前建议先做一轮 API 层验证。这一步能帮你确认并发、延迟和稳定性达不到预期的提前调参数别等大家用着卡了再救火。# 查看模型列表 curl http://127.0.0.1:11434/api/tags # 发送一次对话请求并计时 time curl http://127.0.0.1:11434/api/chat -d { model: deepseek-r1:7b, messages: [{role: user, content: 你好用一句话介绍你自己}] }逻辑说明/api/tags返回所有已安装模型输出里应该能看到deepseek-r1:7b。/api/chat是 OpenAI 兼容的对话接口chatbox 也是走这个接口所以这里通了客户端必通。参数说明如果响应内容被流式截断可以在请求体里加stream: false让服务端一次性返回完整结果更便于观察输出长度和耗时。6.2 压力测试3 个并发会话同时问答给团队使用前我习惯模拟 3 个人同时提问的场景验证并行处理能力和稳定性。# 使用 shell 循环模拟并发请求CPU 机器谨慎使用 for i in 1 2 3; do curl -s http://127.0.0.1:11434/api/chat -d { model: deepseek-r1:7b, messages: [{role: user, content: 写一段关于数据备份的说明}], stream: false } /tmp/response_$i.json done wait # 查看各响应文件的大小 ls -lh /tmp/response_*.json逻辑说明三个 curl 并行发出wait等待全部完成。响应文件大小能看出是否有请求被拒绝或超时如果某个文件只有几十字节多半是报错信息。参数说明纯 CPU 机器上跑 3 并发可能会非常慢这是正常现象重点看响应是否完整而不是追求速度。如果内存不足进程可能被 OOM killer 杀掉用dmesg | tail检查内核日志。6.3 我的习惯模型版本锁定与备份最后一个经验也是我给自己定的规矩离线部署完成后第一时间备份整个~/.ollama/models目录到移动硬盘或文件服务器。大模型文件非常多真到哪天服务器硬盘挂了你会发现重新下载或拷贝的成本比当初备份高得多。另外记录当前安装的包版本和关键配置文件。我一般会在部署完成后执行以下命令把结果存成一份文本文件放在服务器 /root 下# 记录部署信息方便后续排障对照 echo ollama version /root/deploy-info.txt ollama --version /root/deploy-info.txt echo models /root/deploy-info.txt ollama list /root/deploy-info.txt echo systemd override /root/deploy-info.txt systemctl cat ollama.service /root/deploy-info.txt这套习惯帮过我很多次尤其是几个月后有人来问这个模型当时怎么配的直接翻文件就行比在群里翻聊天记录靠谱一百倍。整个方向就是这样在银河麒麟 V10 上把 ollama 跑起来模型用 tar 包搬进去chatbox 做客户端适配参数用 systemd 环境变量管住最后用接口层验证兜底。希望这篇笔记能帮你在内网环境里少走弯路把 DeepSeek 真正用起来。本文还有配套的精品资源点击获取 
长河君 · 2026/10/13 18:36:36 · 阅读 1.2k 银河麒麟V10离线部署DeepSeek大模型：ollama+chatbox完整指南
简介在银河麒麟V10arm64离线环境中部署DeepSeek模型常卡在依赖、服务配置等环节。这份指南面向系统运维、AI部署等技术人员给出从ollama安装、系统服务与环境变量配置到离线导入deepseek-r1模型、再配置chatbox客户端及远程访问的完整流程。资源为1个docx文档压缩包大小约2.69MB虽然体积小但步骤详尽包含具体命令、文件路径、飞腾CPU环境下的实测示例以及将模型注册为systemd服务、设置开机自启等实操细节。已有5524人学习适合需要在无互联网环境快速搭建大模型服务并保证可交互使用的读者参考。文档末尾的参考资料和阅读建议也能帮助新手规避常见雷区。1. 银河麒麟 V10 上跑 DeepSeek 大模型为什么离线部署是刚需内网隔离的环境里想用上 DeepSeek 这样的大语言模型服务最容易想到的路线就是本地部署一套 ollama。银河麒麟 V10 作为国产 Linux 系统在政企、金融、能源这些单位里普及度很高但这类环境往往不允许联网于是「离线安装 ollama 大语言模型服务 chatbox 客户端」就成了一个非常具体的落地场景。这篇文章讲的不是云端调用而是把完整的大模型服务装进你的内网服务器让团队里的每个人都能通过 chatbox 这个桌面客户端像用聊天软件一样和 DeepSeek 对话。这个方案能解决的问题很明确数据不出内网、响应不受外网带宽影响、模型权限完全自主可控。适合的对象是有一台性能尚可的 Linux 服务器16GB 内存起步带 GPU 更好、需要在内网提供 AI 对话能力的运维或开发人员。整条链路就是离线装好 ollama 运行时 → 把模型权重文件搬运进内网 → 配置好 ollama 服务 → 用 chatbox 做用户界面。接下来我会按这条链路一步步展开把每个环节的坑提前标出来。2. 离线部署的第一关依赖包和模型权重都得提前准备2.1 下载 ollama 离线安装包不要只抓二进制离线部署最怕的不是安装本身而是装到一半发现缺依赖又没法联网补。所以第一步就是在能联网的机器上把 ollama 的安装包和全部依赖一次性拉齐。我用的方案是在一台能联网的机器上用 apt 的 download 模式把 deb 包全部抓下来再拷贝到离线机器上安装。注意不要只抓 ollama 的二进制它的运行依赖比想象中多。具体做法在一台能联网的机器上添加 ollama 的官方 apt 源也可以直接下载 .deb 包然后执行# 在联网机器上添加 ollama 官方源并拉取依赖 curl -fsSL https://ollama.com/download/ollama.gpg.key | sudo gpg --dearmor -o /usr/share/keyrings/ollama.gpg.key echo deb [archamd64 signed-by/usr/share/keyrings/ollama.gpg.key] https://download.ollama.com/linux/repo stable main | sudo tee /etc/apt/sources.list.d/ollama.list sudo apt update # 仅下载而不安装连带所有依赖一起拉下来 sudo apt install --download-only ollama逻辑说明--download-only让 apt 只下载不安装所有 .deb 会落在/var/cache/apt/archives/下。使用 gpg key 校验仓库签名避免二进制被篡改这在离线环境里尤其重要因为你没法临时更新信任链。参数说明archamd64要根据 CPU 架构调整如果是 ARM64 的机器比如鲲鹏、飞腾这里要改成arm64下载的包也不同。如果机器没有外网 DNS建议直接把 .deb 包拷贝到 U 盘而不是依赖 apt 源。把/var/cache/apt/archives/下的所有 .deb 拷贝到离线机器后用下面的命令安装# 离线机器上进入存放 deb 包的目录 sudo dpkg -i *.deb逻辑说明如果有依赖顺序问题dpkg -i *.deb一次性安装所有包apt 会自动处理大部分依赖。如果报error: dependency issues多半是漏了某个依赖包重新在联网机器上补拉即可。参数说明离线机器上如果之前装过旧版 ollama建议先sudo apt remove ollama再装避免配置文件冲突。常见做法是不要贪省事直接解压二进制跑虽然 ollama 官方也提供单二进制文件但在银河麒麟这类基于 Debian 的国产系统上缺了 lib 库很容易出现libgcc_s.so.1 must be installed之类的玄学报错走 deb 包装是最稳的一条路。血泪经验我第一次为了省事直接拷二进制结果折腾了一下午的库依赖。2.2 大模型权重文件怎么选别迷信 7B 起步ollama 装好之后接下来是模型文件。DeepSeek 在 ollama 仓库里有多个尺寸的版本从 1.5B 到 400B 都有。离线环境下你必须提前在联网机器上把模型拉下来。# 在联网机器上先拉取模型以 deepseek-r1:7b 为例 ollama pull deepseek-r1:7b逻辑说明ollama pull会从官方仓库下载模型权重默认存储在~/.ollama/models/下。拉取完成后整个模型目录包括 blobs 和 manifests一起拷贝到离线机器。参数说明模型标签tag决定大小deepseek-r1:1.5b大约 1.1GBdeepseek-r1:7b大约 4.7GBdeepseek-r1:14b大约 9GB。显存不够的情况下别硬上 14B7B 在量化后 6GB 显存就能跑CPU 模式也能硬扛。我一般会建议先确认目标机器是纯 CPU 还是有 GPU。银河麒麟 V10 的服务器版本大概率有国产 GPU比如昇腾、寒武纪但 ollama 对这些加速卡的支持要看版本。如果只是内网办公场景CPU 跑 7B 量化版完全够用速度慢一点但胜在稳定。新版 ollama0.5.x 以上对模型格式有调整老版本的 ollama 可能拉不了新模型的 manifest。所以离线机器上的 ollama 版本和拉模型的机器版本尽量保持一致或者离线机器的版本更新。这个坑我在后面章节专门讲。3. 银河麒麟 V10 离线安装 ollamadeb 包装完、服务注册与参数调优3.1 用 deb 包在银河麒麟上装 ollama 的最小步骤前面第 2 章已经把依赖包拉下来了这一步直接落到银河麒麟 V10 上操作。假设你已经把 deb 包目录整个拷到了离线机器路径是/home/user/ollama-pkgs/。# 进入 deb 包目录 cd /home/user/ollama-pkgs # 安装所有 deb sudo dpkg -i *.deb # 如果出现依赖缺失先修复 sudo apt --fix-broken install # 验证版本 ollama --version逻辑说明dpkg -i *.deb会把 ollama 主程序、CLI 工具和 systemd 服务脚本一起装上。apt --fix-broken install是后悔药dpkg 报错之后用这条命令自动补齐依赖。参数说明如果ollama --version报command not found检查/usr/bin/ollama是否存在或者重新执行sudo ldconfig刷新动态库缓存。银河麒麟 V10 的桌面版默认可能有snap干扰建议关闭 snap 服务再装不然偶尔会出现奇怪的冲突。装完只完成了一半ollama 默认只监听 127.0.0.1除非你只是想本机测试否则要给局域网内其他机器访问必须改 OLLAMA_HOST。修改 systemd 服务配置# 编辑 systemd 服务文件 sudo systemctl edit ollama.service # 在打开的编辑器中填入以下内容[Service] EnvironmentOLLAMA_HOST0.0.0.0:11434 EnvironmentOLLAMA_MODELS/data/ollama/models逻辑说明systemctl edit会创建 override 配置文件不直接修改原始 service 文件升级 ollama 时不会被覆盖。OLLAMA_HOST0.0.0.0:11434让 ollama 监听所有网卡局域网内其他机器可以通过 IP 访问。OLLAMA_MODELS指定模型存储路径建议放到数据盘或大分区因为模型动不动就是几个 GB。参数说明11434 是 ollama 默认端口如果和内网其他服务冲突改成 11435 之类的高位端口。模型路径不要放在/home下如果用户目录有配额限制模型下载到一半就报no space left on device这是最常见的翻车现场。改完配置后重启服务并设置开机自启sudo systemctl daemon-reload sudo systemctl restart ollama sudo systemctl enable ollama # 查看运行状态 sudo systemctl status ollama逻辑说明daemon-reload让 systemd 重新读取配置不执行的话 restart 可能不生效。status输出里如果看到Active: active (running)说明服务正常。3.2 把联网机器上的模型搬运到离线机器服务起来之后模型还没进来。前面在联网机器上已经拉到本地了现在重点是把模型目录完整拷贝过去。# 在联网机器上打包模型目录 tar -czf deepseek-model.tar.gz -C ~/.ollama/models . # 拷贝到离线机器后解压 mkdir -p ~/.ollama/models tar -xzf deepseek-model.tar.gz -C ~/.ollama/models # 验证模型是否被识别 ollama list逻辑说明模型目录里包含 blobs权重分片和 manifests模型清单两者必须一起拷贝缺了 manifests 的话ollama list就看不到模型。tar 打包比 cp -r 更保险能保留文件权限和符号链接。参数说明如果目标机器的 ollama 版本比源机器旧建议把新版本先降到一致再拷模型否则ollama list可能报 manifest 格式错误。模型拷完后千万别急着启动先ollama list确认如果输出空列表检查~/.ollama/models/manifests是否存在。这里有一个容易被忽略的坑模型的 blobs 目录里文件名是哈希值没有任何扩展名看起来像乱码这是正常的。不要手动重命名ollama 通过哈希校验文件合法性改一个字都会导致加载失败。等一下这句话有点夸张了但你一定不要动 blobs 目录里的任何文件。3.3 内存与并发参数决定离线机器能不能顺畅跑模型装好后运行参数直接决定体验。先看一份我常用的参数清单参数默认值建议值说明OLLAMA_NUM_PARALLEL12并行处理请求数内网人多可以调高OLLAMA_MAX_LOADED_MODELS11同时加载的模型数内存有限就保持 1OLLAMA_KEEP_ALIVE5m30m模型在内存中驻留时间频繁交互建议调长OLLAMA_FLASH_ALLOC自动false显存不足时开纯 CPU 不用管修改方式仍然是systemctl edit把环境变量加进去[Service] EnvironmentOLLAMA_NUM_PARALLEL2 EnvironmentOLLAMA_KEEP_ALIVE30m逻辑说明OLLAMA_NUM_PARALLEL决定同一模型能同时处理几个请求调太高会增加显存/内存占用一个 7B 模型大概占 6-8GB 内存。OLLAMA_KEEP_ALIVE控制模型在内存中的驻留时间每次请求都重新加载模型的话启动会慢好几秒体验就会很卡。参数说明如果机器内存只有 16GB跑 7B 模型时建议把OLLAMA_NUM_PARALLEL保持默认 1否则容易 OOM。纯 CPU 场景下模型权重会全部加载到内存7B 量化版约占用 5-6GB给系统留足余量。我一般会建议先开默认参数跑一轮用ollama run deepseek-r1:7b聊几句测试观察内存占用和响应延迟再决定是否调并发。不要一上来就拉满翻车了还得排查半天。4. 把大模型变成聊天界面chatbox 客户端的离线部署4.1 chatbox 是什么为什么选它来配 ollama模型服务跑起来了但它只是一个 HTTP API 服务没有可视化界面。你总不能叫运维同事都用 curl 来聊天这太离谱了。chatbox 是一个开源的桌面客户端专门干这事把 ollama 这种大模型服务包装成类似即时通讯软件的聊天窗口。选择 chatbox 的主要理由有三个一是跨平台Windows、Linux、macOS 都有安装包银河麒麟 V10 上可以直接跑 Linux 版二是配置简单填一个 API 地址就完事不用写代码三是支持多模型切换同一个界面里可以随时切换不同尺寸的 DeepSeek 模型。如果团队里有人不想用桌面客户端也可以直接用浏览器访问 ollama 的 WebUI比如 open-webui但那是另一套部署方案复杂度更高。chatbox 的价值就是零学习成本双击打开、填地址、开聊。要注意的是chatbox 本身不包含模型它只是客户端所有计算都在 ollama 服务端完成。所以即使你的办公电脑很垃圾只要能在内网访问到那台跑着 ollama 的服务器一样能用 7B 模型。4.2 chatbox 离线安装包怎么找离线环境下没有应用商店需要提前下载安装包。chatbox 的发布渠道是 GitHub Releases找到对应 Linux 平台的包下载。这里有一点需要留意x86_64 和 ARM64 架构的包不一样选错了装不上。# 在联网机器上用 wget 下载 chatbox Linux 版以 x86_64 AppImage 为例 wget https://github.com/chatboxai/chatbox/releases/download/v0.9.4/Chatbox-0.9.4-x86_64.AppImage逻辑说明AppImage 格式的好处是不需要安装直接赋予执行权限就能跑非常适合政企内网这种不允许随便装软件的环境。如果目标机器是 ARM64 架构如飞腾 CPU要下载arm64版本下载前先在机器上执行uname -m确认架构。参数说明文件名里的x86_64表示 Intel/AMD 架构aarch64表示 ARM 架构。chatbox 新版叫 Chatbox老版本叫 chatbox下载时认准Chatbox-*开头。把 AppImage 文件拷贝到离线机器后赋予执行权限就能跑# 离线机器上 chmod x Chatbox-0.9.4-x86_64.AppImage ./Chatbox-0.9.4-x86_64.AppImage逻辑说明如果双击没反应多半是系统缺 FUSE 库安装libfuse2即可这个包银河麒麟的源里有。如果系统是 Wayland 会话AppImage 启动可能黑屏切换到 X11 会话即可解决。4.3 chatbox 连接 ollama配置里的 3 个必填项chatbox 启动后进入设置界面选择模型提供方为Ollama API然后填写三个关键配置配置项填写内容说明API 地址http://服务器IP:11434指向 ollama 服务地址别填 127.0.0.1API 密钥留空ollama 默认不需要密钥模型名称deepseek-r1:7b必须和ollama list输出完全一致配置完成后点连接测试看到Connected successfully就说明通了。如果失败重点排查三个方向第一API 地址里的 IP 是不是 ollama 服务器本身第二服务器防火墙是否放行了 11434 端口第三OLLAMA_HOST 是否已改为0.0.0.0。如果在同一台机器上使用 chatbox 和 ollamaAPI 地址可以填http://127.0.0.1:11434但这样其他机器就没办法连了。我一般会建议填局域网 IP这样调试时任何机器都能访问。5. 离线部署避坑指南模型加载失败、端口不通、架构不匹配前面把安装流程走完了这一章是血泪经验汇总。以下这些坑我踩过的次数比安装次数都多。5.1 模型加载报 manifest 格式错误现象ollama list能看到模型但ollama run直接报错提示 manifest 相关错误模型无法加载。原因离线机器上的 ollama 版本比拉模型时用的版本旧。新版 ollama 改了模型 manifest 的格式字段旧版本解析不了。另一个常见原因是模型目录里的manifests子目录没拷贝完整只拷了 blobs。解决先升级离线机器的 ollama 到与拉模型时一致的版本再重新拷贝 manifests 目录。如果不想升级就在联网机器上用对应的旧版本重新拉一次模型。5.2 内网其他机器连不上11434 端口不通现象ollama 在本机curl http://127.0.0.1:11434正常但其他机器访问超时或拒绝连接。原因没有修改 OLLAMA_HOST默认只监听本地回环地址或者系统防火墙没有放行端口。银河麒麟 V10 默认可能启用 firewalld不配置的话外部访问全被拦。解决先确认监听地址用sudo ss -lntp | grep 11434查看如果看到 IP 是 127.0.0.1说明环境变量没生效。然后执行sudo firewall-cmd --permanent --add-port11434/tcp sudo firewall-cmd --reload放行端口。命令参考# 检查监听地址 ss -lntp | grep 11434 # 放行防火墙端口 sudo firewall-cmd --permanent --add-port11434/tcp sudo firewall-cmd --reload逻辑说明修改 systemd override 文件后必须执行sudo systemctl daemon-reload不然环境变量不生效。防火墙配置因版本而异如果没有 firewalld检查是否有 iptables 规则。5.3 架构不匹配x86 包装到 ARM 机器上现象安装 ollama deb 包时报package architecture (amd64) does not match system (arm64)或直接提示无法安装。原因下载的安装包和 CPU 架构不符。银河麒麟 V10 可以跑在 x86、ARM飞腾、LoongArch 等多种架构上下载时没确认架构。解决装之前先执行uname -m输出x86_64就下载 amd64 包输出aarch64就下载 arm64 包。下载链接里都有明确的架构标注不要只看文件名里带没带 linux 就下手。5.4 chatbox 聊天时每个字都蹦但特别慢现象chatbox 能连上 ollama回复也正常但生成速度只有每秒几个字用起来很煎熬。原因目标机器可能没有 GPU或 GPU 显存不够模型跑在 CPU 上。7B 模型的 CPU 推理速度本身就慢这是硬件瓶颈不是配置问题。解决接受现实换更小的模型1.5B 或 3B或者把量化等级调到更低比如从 Q4_K_M 降到 Q3_K_S。如果机器有 GPU 但 ollama 没检测到检查是否有驱动并确认 ollama 日志里是否输出了 GPU 相关信息。实话实说CPU 跑 7B 就是需要耐心想要流畅必须上 GPU。6. 进阶验证用 curl 做接口健康检查让部署可度量6.1 用 curl 做接口层面的健康检查界面聊天正常只代表端到端通了但真正上线给团队用之前建议先做一轮 API 层验证。这一步能帮你确认并发、延迟和稳定性达不到预期的提前调参数别等大家用着卡了再救火。# 查看模型列表 curl http://127.0.0.1:11434/api/tags # 发送一次对话请求并计时 time curl http://127.0.0.1:11434/api/chat -d { model: deepseek-r1:7b, messages: [{role: user, content: 你好用一句话介绍你自己}] }逻辑说明/api/tags返回所有已安装模型输出里应该能看到deepseek-r1:7b。/api/chat是 OpenAI 兼容的对话接口chatbox 也是走这个接口所以这里通了客户端必通。参数说明如果响应内容被流式截断可以在请求体里加stream: false让服务端一次性返回完整结果更便于观察输出长度和耗时。6.2 压力测试3 个并发会话同时问答给团队使用前我习惯模拟 3 个人同时提问的场景验证并行处理能力和稳定性。# 使用 shell 循环模拟并发请求CPU 机器谨慎使用 for i in 1 2 3; do curl -s http://127.0.0.1:11434/api/chat -d { model: deepseek-r1:7b, messages: [{role: user, content: 写一段关于数据备份的说明}], stream: false } /tmp/response_$i.json done wait # 查看各响应文件的大小 ls -lh /tmp/response_*.json逻辑说明三个 curl 并行发出wait等待全部完成。响应文件大小能看出是否有请求被拒绝或超时如果某个文件只有几十字节多半是报错信息。参数说明纯 CPU 机器上跑 3 并发可能会非常慢这是正常现象重点看响应是否完整而不是追求速度。如果内存不足进程可能被 OOM killer 杀掉用dmesg | tail检查内核日志。6.3 我的习惯模型版本锁定与备份最后一个经验也是我给自己定的规矩离线部署完成后第一时间备份整个~/.ollama/models目录到移动硬盘或文件服务器。大模型文件非常多真到哪天服务器硬盘挂了你会发现重新下载或拷贝的成本比当初备份高得多。另外记录当前安装的包版本和关键配置文件。我一般会在部署完成后执行以下命令把结果存成一份文本文件放在服务器 /root 下# 记录部署信息方便后续排障对照 echo ollama version /root/deploy-info.txt ollama --version /root/deploy-info.txt echo models /root/deploy-info.txt ollama list /root/deploy-info.txt echo systemd override /root/deploy-info.txt systemctl cat ollama.service /root/deploy-info.txt这套习惯帮过我很多次尤其是几个月后有人来问这个模型当时怎么配的直接翻文件就行比在群里翻聊天记录靠谱一百倍。整个方向就是这样在银河麒麟 V10 上把 ollama 跑起来模型用 tar 包搬进去chatbox 做客户端适配参数用 systemd 环境变量管住最后用接口层验证兜底。希望这篇笔记能帮你在内网环境里少走弯路把 DeepSeek 真正用起来。本文还有配套的精品资源点击获取