1. 为什么需要DockerOllama构建AI开发环境在AI项目开发中环境配置一直是令人头疼的问题。不同模型对系统依赖、库版本、硬件驱动的要求各异传统的开发方式往往导致在我的机器上能跑的经典问题。这正是Docker容器技术的用武之地——通过将应用及其依赖打包成标准化单元实现一次构建处处运行。而Ollama作为专为本地运行大语言模型设计的工具解决了模型权重管理、推理服务暴露等痛点。但它的安装过程涉及CUDA驱动、Python版本等复杂依赖这正是Docker能完美解决的场景。二者结合后开发者可以快速复制完全一致的开发环境包括特定版本的CUDA、Python等避免污染主机环境保持系统干净轻松分享配置好的环境给团队成员实现开发环境与生产环境的高度一致实测在配备NVIDIA显卡的Ubuntu 22.04主机上从零开始配置可运行Llama 2的Ollama环境平均需要2小时包含各种依赖冲突的解决时间而使用Docker方案仅需15分钟。2. 基础环境准备与工具安装2.1 安装Docker与NVIDIA容器工具包对于Linux系统以Ubuntu为例建议使用官方脚本安装Docker# 卸载旧版本 sudo apt-get remove docker docker-engine docker.io containerd runc # 安装依赖 sudo apt-get update sudo apt-get install ca-certificates curl gnupg # 添加Docker官方GPG密钥 sudo install -m 0755 -d /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg sudo chmod ar /etc/apt/keyrings/docker.gpg # 设置仓库 echo \ deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \ $(. /etc/os-release echo $VERSION_CODENAME) stable | \ sudo tee /etc/apt/sources.list.d/docker.list /dev/null # 安装Docker引擎 sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin对于Windows/macOS用户直接下载Docker Desktop安装包更便捷。安装完成后务必确认Docker服务正常运行sudo systemctl enable docker sudo systemctl start docker docker --version # 应显示版本号如Docker version 24.0.5NVIDIA显卡用户需要额外安装nvidia-container-toolkitdistribution$(. /etc/os-release;echo $ID$VERSION_ID) \ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ curl -fsSL https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \ sed s#deb https://#deb [signed-by/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update sudo apt-get install -y nvidia-container-toolkit sudo nvidia-ctk runtime configure --runtimedocker sudo systemctl restart docker验证GPU是否能在容器中使用docker run --rm --gpus all nvidia/cuda:11.8.0-base-ubuntu22.04 nvidia-smi2.2 Git的安装与基础配置虽然本教程主要关注DockerOllama但Git作为版本控制工具不可或缺。Linux下安装sudo apt-get update sudo apt-get install gitWindows用户建议下载Git for Windows安装时勾选Git from the command line and also from 3rd-party software选项。安装后配置用户信息git config --global user.name Your Name git config --global user.email your.emailexample.com git config --global core.editor code --wait # 使用VS Code作为默认编辑器3. Ollama容器的构建与运行3.1 获取Ollama官方镜像Ollama官方提供了Docker镜像但直接拉取可能较慢。建议先配置国内镜像源sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json -EOF { registry-mirrors: [https://docker.mirrors.ustc.edu.cn] } EOF sudo systemctl restart docker然后拉取Ollama镜像docker pull ollama/ollama:latest3.2 编写Docker Compose文件为方便管理建议使用docker-compose.yml定义服务version: 3.8 services: ollama: image: ollama/ollama:latest container_name: ollama ports: - 11434:11434 volumes: - ollama_data:/root/.ollama deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] restart: unless-stopped volumes: ollama_data:关键配置说明ports将容器内的11434端口映射到主机这是Ollama的API端口volumes持久化模型数据避免容器重建后重新下载deploy.resources确保容器能使用GPU加速启动服务docker compose up -d3.3 验证Ollama运行状态检查容器日志docker logs ollama正常应看到类似输出time2023-08-15T09:30:45.000Z levelINFO msgStarting Ollama server version0.1.0 time2023-08-15T09:30:45.500Z levelINFO msgListening on 0.0.0.0:11434测试API接口curl http://localhost:11434/api/tags4. 模型管理与使用实战4.1 下载与管理大语言模型通过Ollama CLI操作容器内的模型# 进入容器 docker exec -it ollama bash # 查看可用模型 ollama list # 下载Llama 2 7B模型约4GB ollama pull llama2:7b # 也可以直接通过API操作 curl -X POST http://localhost:11434/api/pull -d {name: llama2:13b}国内用户如果下载缓慢可以使用代理需自行解决网络问题通过第三方下载模型文件后手动导入4.2 运行模型进行推理直接在容器内运行ollama run llama2:7b 你好我是Llama 2...或者通过API调用curl -X POST http://localhost:11434/api/generate -d { model: llama2:7b, prompt: 用Python写一个快速排序算法, stream: false }4.3 模型微调与自定义Ollama支持基于已有模型的微调。准备ModelfileFROM llama2:7b # 设置系统提示词 SYSTEM 你是一个专业的Python程序员助手回答时优先给出可直接运行的代码。 # 添加训练数据 TEMPLATE {{ if .System }}|system| {{ .System }}/s{{ end }}{{ if .Prompt }}|user| {{ .Prompt }}/s{{ end }}{{ if .Response }}|assistant| {{ .Response }}/s{{ end }} PARAMETER num_ctx 4096构建自定义模型ollama create mypython -f Modelfile ollama run mypython5. 高级配置与性能优化5.1 GPU资源分配策略对于多GPU环境可以指定使用特定显卡# 修改docker-compose.yml deploy: resources: reservations: devices: - driver: nvidia device_ids: [0, 1] # 使用前两块GPU capabilities: [gpu]监控GPU使用情况docker stats ollama watch -n 1 nvidia-smi5.2 模型缓存与版本控制Ollama下载的模型存储在/root/.ollama目录建议定期备份# 备份模型 docker exec ollama tar czvf /tmp/models.tar.gz -C /root/.ollama . docker cp ollama:/tmp/models.tar.gz . # 恢复模型 docker cp models.tar.gz ollama:/tmp/ docker exec ollama tar xzvf /tmp/models.tar.gz -C /root/.ollama5.3 安全配置建议生产环境应考虑启用API认证限制可访问IP使用HTTPS加密可以通过Nginx反向代理实现server { listen 443 ssl; server_name ai.yourdomain.com; ssl_certificate /path/to/cert.pem; ssl_certificate_key /path/to/key.pem; location / { proxy_pass http://ollama:11434; proxy_set_header Host $host; # 基础认证 auth_basic Ollama API; auth_basic_user_file /etc/nginx/.htpasswd; # IP白名单 allow 192.168.1.0/24; deny all; } }6. 典型问题排查指南6.1 容器启动失败排查常见错误1NVIDIA驱动问题docker logs ollama # 出现could not select device driver等错误解决方案确认nvidia-smi能正常显示GPU信息重新安装nvidia-container-toolkit重启Docker服务常见错误2端口冲突netstat -tulnp | grep 11434 # 如果端口被占用解决方案修改docker-compose.yml中的端口映射或停止占用端口的进程6.2 模型下载失败处理现象ollama pull速度极慢或失败解决方案设置容器内代理需先解决网络连通性问题docker exec -it ollama bash export http_proxyhttp://host.docker.internal:1080 export https_proxyhttp://host.docker.internal:1080 ollama pull llama2:7b手动下载模型文件后导入# 获取模型下载链接需查看Ollama源码或文档 wget https://ollama.ai/models/llama2:7b -O model.bin # 导入模型 docker cp model.bin ollama:/root/.ollama/models/ docker exec ollama ollama create mymodel -f /path/to/Modelfile6.3 性能优化技巧使用--gpusall参数时默认会使用所有GPU。对于大模型建议显式指定设备docker run --gpus device0,1 ...对于7B以上模型建议配置足够的交换空间sudo fallocate -l 16G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile # 永久生效在/etc/fstab添加/swapfile swap swap defaults 0 0调整Docker资源限制# 在docker-compose.yml中 deploy: resources: limits: cpus: 4 memory: 16G7. 项目实战构建AI问答服务7.1 基于FastAPI搭建Web接口创建app/main.pyfrom fastapi import FastAPI from pydantic import BaseModel import httpx app FastAPI() class Query(BaseModel): question: str model: str llama2:7b app.post(/ask) async def ask(query: Query): async with httpx.AsyncClient() as client: resp await client.post( http://ollama:11434/api/generate, json{ model: query.model, prompt: query.question, stream: False }, timeout30.0 ) return resp.json()对应的DockerfileFROM python:3.9-slim WORKDIR /app COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY . . CMD [uvicorn, main:app, --host, 0.0.0.0, --port, 8000]7.2 编写前端交互界面使用HTMLJavaScript创建简单的聊天界面!DOCTYPE html html head titleAI问答助手/title style #chatbox { height: 400px; overflow-y: scroll; border: 1px solid #ccc; padding: 10px; } .user { color: blue; } .ai { color: green; } /style /head body h1Llama 2问答助手/h1 div idchatbox/div input typetext idquestion placeholder输入你的问题... button onclickaskAI()提问/button script async function askAI() { const question document.getElementById(question).value; if (!question) return; const chatbox document.getElementById(chatbox); chatbox.innerHTML p classuser你: ${question}/p; const response await fetch(http://localhost:8000/ask, { method: POST, headers: { Content-Type: application/json }, body: JSON.stringify({ question }) }); const data await response.json(); chatbox.innerHTML p classaiAI: ${data.response}/p; document.getElementById(question).value ; } /script /body /html7.3 完整服务部署更新docker-compose.ymlversion: 3.8 services: ollama: image: ollama/ollama:latest container_name: ollama ports: - 11434:11434 volumes: - ollama_data:/root/.ollama deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] restart: unless-stopped api: build: ./app ports: - 8000:8000 depends_on: - ollama restart: unless-stopped volumes: ollama_data:启动完整服务docker compose up -d --build访问http://localhost:8000即可与AI对话。对于生产环境建议添加Nginx反向代理和HTTPS支持。 
长河君 · 2026/10/28 7:46:50 · 阅读 1.2k Docker与Ollama构建AI开发环境全指南
1. 为什么需要DockerOllama构建AI开发环境在AI项目开发中环境配置一直是令人头疼的问题。不同模型对系统依赖、库版本、硬件驱动的要求各异传统的开发方式往往导致在我的机器上能跑的经典问题。这正是Docker容器技术的用武之地——通过将应用及其依赖打包成标准化单元实现一次构建处处运行。而Ollama作为专为本地运行大语言模型设计的工具解决了模型权重管理、推理服务暴露等痛点。但它的安装过程涉及CUDA驱动、Python版本等复杂依赖这正是Docker能完美解决的场景。二者结合后开发者可以快速复制完全一致的开发环境包括特定版本的CUDA、Python等避免污染主机环境保持系统干净轻松分享配置好的环境给团队成员实现开发环境与生产环境的高度一致实测在配备NVIDIA显卡的Ubuntu 22.04主机上从零开始配置可运行Llama 2的Ollama环境平均需要2小时包含各种依赖冲突的解决时间而使用Docker方案仅需15分钟。2. 基础环境准备与工具安装2.1 安装Docker与NVIDIA容器工具包对于Linux系统以Ubuntu为例建议使用官方脚本安装Docker# 卸载旧版本 sudo apt-get remove docker docker-engine docker.io containerd runc # 安装依赖 sudo apt-get update sudo apt-get install ca-certificates curl gnupg # 添加Docker官方GPG密钥 sudo install -m 0755 -d /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg sudo chmod ar /etc/apt/keyrings/docker.gpg # 设置仓库 echo \ deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \ $(. /etc/os-release echo $VERSION_CODENAME) stable | \ sudo tee /etc/apt/sources.list.d/docker.list /dev/null # 安装Docker引擎 sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin对于Windows/macOS用户直接下载Docker Desktop安装包更便捷。安装完成后务必确认Docker服务正常运行sudo systemctl enable docker sudo systemctl start docker docker --version # 应显示版本号如Docker version 24.0.5NVIDIA显卡用户需要额外安装nvidia-container-toolkitdistribution$(. /etc/os-release;echo $ID$VERSION_ID) \ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ curl -fsSL https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \ sed s#deb https://#deb [signed-by/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update sudo apt-get install -y nvidia-container-toolkit sudo nvidia-ctk runtime configure --runtimedocker sudo systemctl restart docker验证GPU是否能在容器中使用docker run --rm --gpus all nvidia/cuda:11.8.0-base-ubuntu22.04 nvidia-smi2.2 Git的安装与基础配置虽然本教程主要关注DockerOllama但Git作为版本控制工具不可或缺。Linux下安装sudo apt-get update sudo apt-get install gitWindows用户建议下载Git for Windows安装时勾选Git from the command line and also from 3rd-party software选项。安装后配置用户信息git config --global user.name Your Name git config --global user.email your.emailexample.com git config --global core.editor code --wait # 使用VS Code作为默认编辑器3. Ollama容器的构建与运行3.1 获取Ollama官方镜像Ollama官方提供了Docker镜像但直接拉取可能较慢。建议先配置国内镜像源sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json -EOF { registry-mirrors: [https://docker.mirrors.ustc.edu.cn] } EOF sudo systemctl restart docker然后拉取Ollama镜像docker pull ollama/ollama:latest3.2 编写Docker Compose文件为方便管理建议使用docker-compose.yml定义服务version: 3.8 services: ollama: image: ollama/ollama:latest container_name: ollama ports: - 11434:11434 volumes: - ollama_data:/root/.ollama deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] restart: unless-stopped volumes: ollama_data:关键配置说明ports将容器内的11434端口映射到主机这是Ollama的API端口volumes持久化模型数据避免容器重建后重新下载deploy.resources确保容器能使用GPU加速启动服务docker compose up -d3.3 验证Ollama运行状态检查容器日志docker logs ollama正常应看到类似输出time2023-08-15T09:30:45.000Z levelINFO msgStarting Ollama server version0.1.0 time2023-08-15T09:30:45.500Z levelINFO msgListening on 0.0.0.0:11434测试API接口curl http://localhost:11434/api/tags4. 模型管理与使用实战4.1 下载与管理大语言模型通过Ollama CLI操作容器内的模型# 进入容器 docker exec -it ollama bash # 查看可用模型 ollama list # 下载Llama 2 7B模型约4GB ollama pull llama2:7b # 也可以直接通过API操作 curl -X POST http://localhost:11434/api/pull -d {name: llama2:13b}国内用户如果下载缓慢可以使用代理需自行解决网络问题通过第三方下载模型文件后手动导入4.2 运行模型进行推理直接在容器内运行ollama run llama2:7b 你好我是Llama 2...或者通过API调用curl -X POST http://localhost:11434/api/generate -d { model: llama2:7b, prompt: 用Python写一个快速排序算法, stream: false }4.3 模型微调与自定义Ollama支持基于已有模型的微调。准备ModelfileFROM llama2:7b # 设置系统提示词 SYSTEM 你是一个专业的Python程序员助手回答时优先给出可直接运行的代码。 # 添加训练数据 TEMPLATE {{ if .System }}|system| {{ .System }}/s{{ end }}{{ if .Prompt }}|user| {{ .Prompt }}/s{{ end }}{{ if .Response }}|assistant| {{ .Response }}/s{{ end }} PARAMETER num_ctx 4096构建自定义模型ollama create mypython -f Modelfile ollama run mypython5. 高级配置与性能优化5.1 GPU资源分配策略对于多GPU环境可以指定使用特定显卡# 修改docker-compose.yml deploy: resources: reservations: devices: - driver: nvidia device_ids: [0, 1] # 使用前两块GPU capabilities: [gpu]监控GPU使用情况docker stats ollama watch -n 1 nvidia-smi5.2 模型缓存与版本控制Ollama下载的模型存储在/root/.ollama目录建议定期备份# 备份模型 docker exec ollama tar czvf /tmp/models.tar.gz -C /root/.ollama . docker cp ollama:/tmp/models.tar.gz . # 恢复模型 docker cp models.tar.gz ollama:/tmp/ docker exec ollama tar xzvf /tmp/models.tar.gz -C /root/.ollama5.3 安全配置建议生产环境应考虑启用API认证限制可访问IP使用HTTPS加密可以通过Nginx反向代理实现server { listen 443 ssl; server_name ai.yourdomain.com; ssl_certificate /path/to/cert.pem; ssl_certificate_key /path/to/key.pem; location / { proxy_pass http://ollama:11434; proxy_set_header Host $host; # 基础认证 auth_basic Ollama API; auth_basic_user_file /etc/nginx/.htpasswd; # IP白名单 allow 192.168.1.0/24; deny all; } }6. 典型问题排查指南6.1 容器启动失败排查常见错误1NVIDIA驱动问题docker logs ollama # 出现could not select device driver等错误解决方案确认nvidia-smi能正常显示GPU信息重新安装nvidia-container-toolkit重启Docker服务常见错误2端口冲突netstat -tulnp | grep 11434 # 如果端口被占用解决方案修改docker-compose.yml中的端口映射或停止占用端口的进程6.2 模型下载失败处理现象ollama pull速度极慢或失败解决方案设置容器内代理需先解决网络连通性问题docker exec -it ollama bash export http_proxyhttp://host.docker.internal:1080 export https_proxyhttp://host.docker.internal:1080 ollama pull llama2:7b手动下载模型文件后导入# 获取模型下载链接需查看Ollama源码或文档 wget https://ollama.ai/models/llama2:7b -O model.bin # 导入模型 docker cp model.bin ollama:/root/.ollama/models/ docker exec ollama ollama create mymodel -f /path/to/Modelfile6.3 性能优化技巧使用--gpusall参数时默认会使用所有GPU。对于大模型建议显式指定设备docker run --gpus device0,1 ...对于7B以上模型建议配置足够的交换空间sudo fallocate -l 16G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile # 永久生效在/etc/fstab添加/swapfile swap swap defaults 0 0调整Docker资源限制# 在docker-compose.yml中 deploy: resources: limits: cpus: 4 memory: 16G7. 项目实战构建AI问答服务7.1 基于FastAPI搭建Web接口创建app/main.pyfrom fastapi import FastAPI from pydantic import BaseModel import httpx app FastAPI() class Query(BaseModel): question: str model: str llama2:7b app.post(/ask) async def ask(query: Query): async with httpx.AsyncClient() as client: resp await client.post( http://ollama:11434/api/generate, json{ model: query.model, prompt: query.question, stream: False }, timeout30.0 ) return resp.json()对应的DockerfileFROM python:3.9-slim WORKDIR /app COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY . . CMD [uvicorn, main:app, --host, 0.0.0.0, --port, 8000]7.2 编写前端交互界面使用HTMLJavaScript创建简单的聊天界面!DOCTYPE html html head titleAI问答助手/title style #chatbox { height: 400px; overflow-y: scroll; border: 1px solid #ccc; padding: 10px; } .user { color: blue; } .ai { color: green; } /style /head body h1Llama 2问答助手/h1 div idchatbox/div input typetext idquestion placeholder输入你的问题... button onclickaskAI()提问/button script async function askAI() { const question document.getElementById(question).value; if (!question) return; const chatbox document.getElementById(chatbox); chatbox.innerHTML p classuser你: ${question}/p; const response await fetch(http://localhost:8000/ask, { method: POST, headers: { Content-Type: application/json }, body: JSON.stringify({ question }) }); const data await response.json(); chatbox.innerHTML p classaiAI: ${data.response}/p; document.getElementById(question).value ; } /script /body /html7.3 完整服务部署更新docker-compose.ymlversion: 3.8 services: ollama: image: ollama/ollama:latest container_name: ollama ports: - 11434:11434 volumes: - ollama_data:/root/.ollama deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] restart: unless-stopped api: build: ./app ports: - 8000:8000 depends_on: - ollama restart: unless-stopped volumes: ollama_data:启动完整服务docker compose up -d --build访问http://localhost:8000即可与AI对话。对于生产环境建议添加Nginx反向代理和HTTPS支持。