DeepSeek 本地化部署与 WebUI 配置的方法

环境准备

• 硬件要求 ：推荐 Linux 操作系统，如 Ubuntu 20.04 及以上版本。内存至少 16GB，显存至少 8GB，SSD 硬盘空间至少 50GB，有支持 CUDA 的 NVIDIA GPU 更佳，推荐显存 16GB 及以上。
• 软件依赖 ：需要安装 Python 3.8 及以上版本，以及 pip 包管理工具。根据 NVIDIA GPU 型号和驱动版本，安装合适的 CUDA（11.2 及以上版本）和 cuDNN（8.1 及以上版本）。

安装部署

• 安装 PyTorch ：根据 CUDA 版本选择合适的 PyTorch 安装命令。例如，CUDA 11.2 的安装命令如下：

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu112

• 克隆代码库及安装依赖 ：

git clone https://github.com/deepseek-ai/deepseek.git
cd deepseek
pip install -r requirements.txt

• 下载模型并配置路径 ：从官方提供的链接下载 DeepSeek 模型权重，放置在 models/目录下，并设置模型路径和 GPU 设备号等环境变量：

export MODEL_PATH=models/deepseek_model.pth
export CUDA_VISIBLE_DEVICES=0

WebUI 配置

• 使用 Open WebUI ：
  • 参考，先通过代码下载动态量化后的 DeepSeek 模型，如 1.58 bit 量化模型。
  • 编译并运行 llama.cpp，使用 llama-server 命令启动服务，如：

export LD_LIBRARY_PATH=$(pwd)/build/bin:$LD_LIBRARY_PATH
./build/bin/llama-server --model ./DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf --host 0.0.0.0 --port 10000 --ctx-size 32768 --n-gpu-layers 61

* 将量化版模型服务接入 Open WebUI，点击左下角用户图标，进入管理员面板，依次点击 “设置”->“外部连接”->“管理 OpenAI API 连接”->“添加一个连接”，填入服务器 IP 和端口等信息。  

• 使用 Ollama 配合 Chatbox ：
  • 安装 Ollama 后，通过命令行下载 DeepSeek-R1 模型，如 ollama run deepseek-r1:8b。
  • 下载安装 Chatbox，打开 Chatbox，选择设置 ->Ollama API，选择已安装的 DeepSeek-R1 模型并保存。
• 使用 Open-WebUI ：先安装 Docker，再通过以下命令安装 Open-WebUI：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装完成后，访问http://localhost:3000，注册登录后选择对应的 DeepSeek 模型即可开始对话。