1. 什么是 OllamaOllama 是一个开源工具允许开发者在本地计算机上轻松运行、管理和部署大型语言模型LLM。它通过将模型权重、配置和数据打包到一个统一的 Modelfile 中简化了本地 LLM 的获取和运行过程。用户只需一条简单的命令行指令即可启动一个功能完整的模型服务。2. 核心特性与优势开箱即用提供预构建的流行模型如 Llama 3、Mistral、Gemma无需手动配置复杂的依赖环境。跨平台支持支持 macOS、Linux 和 Windows通过 WSL2。轻量高效针对本地运行优化资源占用相对较低部分模型甚至可在消费级硬件上运行。统一的 API 接口提供与 OpenAI API 兼容的端点便于现有应用快速集成。模型库与管理内置模型库支持拉取、删除、查看本地模型并可通过 Modelfile 自定义和创建模型变体。3. 快速开始3.1 安装 Ollama访问 Ollama 官网 下载对应操作系统的安装包或使用命令行安装# macOS / Linux curl -fsSL https://ollama.com/install.sh | sh Windows (WSL2) 在 WSL2 的 Linux 发行版中运行上述命令3.2 运行你的第一个模型安装完成后在终端中运行以下命令来启动一个模型例如 Llama 3 8Bollama run llama3:8b首次运行会自动下载模型文件。下载完成后会进入交互式对话界面你可以直接输入问题与模型对话。4. 基本使用与管理4.1 常用命令# 列出本地已下载的模型 ollama list 拉取下载一个新模型 ollama pull mistral:7b 删除一个本地模型 ollama rm mistral:7b 查看模型信息 ollama show llama3:8b 启动模型服务作为后台进程 ollama serve4.2 通过 API 调用Ollama 默认在http://localhost:11434提供 API 服务。你可以使用 curl 或任何 HTTP 客户端进行调用curl http://localhost:11434/api/generate -d { model: llama3:8b, prompt: 为什么天空是蓝色的, stream: false }5. 高级功能使用 Modelfile 自定义模型Modelfile 允许你基于现有模型创建自定义版本例如调整系统提示词、设置参数或添加适配器。创建一个名为Modelfile的文件FROM llama3:8b 设置系统提示词 SYSTEM 你是一个乐于助人且简洁的AI助手。 设置参数 PARAMETER temperature 0.7 PARAMETER top_p 0.9使用该文件创建自定义模型ollama create my-custom-llama -f ./Modelfile运行自定义模型ollama run my-custom-llama6. 应用场景与集成本地开发与测试在没有网络或需要数据隐私的场景下进行 LLM 应用开发。集成到现有应用通过兼容 OpenAI 的 API轻松将本地模型接入 LangChain、LlamaIndex 等框架。教育与研究方便学生和研究人员在个人电脑上探索和实验不同的开源模型。构建离线 AI 助手创建完全运行在本地的对话助手或文档分析工具。7. 总结Ollama 极大地降低了在本地运行大型语言模型的门槛为开发者、研究者和爱好者提供了一个简单、统一且功能强大的工具。无论是快速体验最新的开源模型还是为特定需求创建自定义版本Ollama 都是一个值得尝试的解决方案。随着开源模型的不断进步和硬件性能的提升本地化部署 LLM 正变得越来越可行Ollama 在其中扮演着重要的推动者角色。 
长河君 · 2026/8/6 12:58:46 · 阅读 1.2k Ollama：本地运行大型语言模型的轻量级解决方案
1. 什么是 OllamaOllama 是一个开源工具允许开发者在本地计算机上轻松运行、管理和部署大型语言模型LLM。它通过将模型权重、配置和数据打包到一个统一的 Modelfile 中简化了本地 LLM 的获取和运行过程。用户只需一条简单的命令行指令即可启动一个功能完整的模型服务。2. 核心特性与优势开箱即用提供预构建的流行模型如 Llama 3、Mistral、Gemma无需手动配置复杂的依赖环境。跨平台支持支持 macOS、Linux 和 Windows通过 WSL2。轻量高效针对本地运行优化资源占用相对较低部分模型甚至可在消费级硬件上运行。统一的 API 接口提供与 OpenAI API 兼容的端点便于现有应用快速集成。模型库与管理内置模型库支持拉取、删除、查看本地模型并可通过 Modelfile 自定义和创建模型变体。3. 快速开始3.1 安装 Ollama访问 Ollama 官网 下载对应操作系统的安装包或使用命令行安装# macOS / Linux curl -fsSL https://ollama.com/install.sh | sh Windows (WSL2) 在 WSL2 的 Linux 发行版中运行上述命令3.2 运行你的第一个模型安装完成后在终端中运行以下命令来启动一个模型例如 Llama 3 8Bollama run llama3:8b首次运行会自动下载模型文件。下载完成后会进入交互式对话界面你可以直接输入问题与模型对话。4. 基本使用与管理4.1 常用命令# 列出本地已下载的模型 ollama list 拉取下载一个新模型 ollama pull mistral:7b 删除一个本地模型 ollama rm mistral:7b 查看模型信息 ollama show llama3:8b 启动模型服务作为后台进程 ollama serve4.2 通过 API 调用Ollama 默认在http://localhost:11434提供 API 服务。你可以使用 curl 或任何 HTTP 客户端进行调用curl http://localhost:11434/api/generate -d { model: llama3:8b, prompt: 为什么天空是蓝色的, stream: false }5. 高级功能使用 Modelfile 自定义模型Modelfile 允许你基于现有模型创建自定义版本例如调整系统提示词、设置参数或添加适配器。创建一个名为Modelfile的文件FROM llama3:8b 设置系统提示词 SYSTEM 你是一个乐于助人且简洁的AI助手。 设置参数 PARAMETER temperature 0.7 PARAMETER top_p 0.9使用该文件创建自定义模型ollama create my-custom-llama -f ./Modelfile运行自定义模型ollama run my-custom-llama6. 应用场景与集成本地开发与测试在没有网络或需要数据隐私的场景下进行 LLM 应用开发。集成到现有应用通过兼容 OpenAI 的 API轻松将本地模型接入 LangChain、LlamaIndex 等框架。教育与研究方便学生和研究人员在个人电脑上探索和实验不同的开源模型。构建离线 AI 助手创建完全运行在本地的对话助手或文档分析工具。7. 总结Ollama 极大地降低了在本地运行大型语言模型的门槛为开发者、研究者和爱好者提供了一个简单、统一且功能强大的工具。无论是快速体验最新的开源模型还是为特定需求创建自定义版本Ollama 都是一个值得尝试的解决方案。随着开源模型的不断进步和硬件性能的提升本地化部署 LLM 正变得越来越可行Ollama 在其中扮演着重要的推动者角色。