1. 什么是 OllamaOllama 是一个开源工具用于在本地计算机上轻松运行、管理和部署大型语言模型LLM。它支持多种主流模型如 Llama 3、Mistral、Gemma 等并提供简洁的命令行和 API 接口让开发者能够快速在本地环境中体验和集成大模型能力。2. 核心优势本地运行模型完全在本地运行无需联网数据隐私有保障。开箱即用一条命令即可下载并启动模型无需复杂配置。多模型支持支持众多开源模型方便切换和对比。跨平台支持 macOS、Linux 和 Windows通过 WSL2。API 兼容提供与 OpenAI API 兼容的接口便于集成现有应用。3. 安装与配置3.1 在 macOS/Linux 上安装打开终端执行以下命令curl -fsSL https://ollama.com/install.sh | sh安装完成后启动 Ollama 服务ollama serve3.2 在 Windows 上安装Windows 用户需要先安装 WSL2Windows Subsystem for Linux 2然后在 WSL2 的 Linux 发行版中执行上述安装命令。4. 基本使用4.1 拉取模型使用ollama pull命令下载模型ollama pull llama3.24.2 运行模型启动模型进行交互式对话ollama run llama3.2之后即可在命令行中输入问题模型会实时回复。4.3 使用 APIOllama 默认在http://localhost:11434提供 API 服务。可以通过 curl 或编程语言调用curl http://localhost:11434/api/generate -d { model: llama3.2, prompt: 你好请介绍一下你自己。, stream: false }5. 常用命令速查ollama list– 查看已下载的模型ollama ps– 查看正在运行的模型实例ollama stop model– 停止指定模型ollama rm model– 删除模型ollama create name -f Modelfile– 基于 Modelfile 创建自定义模型6. 进阶创建自定义模型通过编写 Modelfile可以定制模型的系统提示词、参数等。例如创建一个名为my-llama的模型# Modelfile FROM llama3.2 设置系统提示词 SYSTEM 你是一个专业的编程助手回答简洁且准确。 调整参数 PARAMETER temperature 0.7 PARAMETER top_p 0.9然后创建并运行ollama create my-llama -f ./Modelfile ollama run my-llama7. 总结Ollama 极大降低了在本地运行大模型的门槛是学习、开发和测试 LLM 应用的理想工具。结合其简单的命令行和兼容 OpenAI 的 API可以快速构建本地 AI 应用原型。 
长河君 · 2026/8/18 10:18:25 · 阅读 1.2k Ollama 本地大模型部署与使用指南
1. 什么是 OllamaOllama 是一个开源工具用于在本地计算机上轻松运行、管理和部署大型语言模型LLM。它支持多种主流模型如 Llama 3、Mistral、Gemma 等并提供简洁的命令行和 API 接口让开发者能够快速在本地环境中体验和集成大模型能力。2. 核心优势本地运行模型完全在本地运行无需联网数据隐私有保障。开箱即用一条命令即可下载并启动模型无需复杂配置。多模型支持支持众多开源模型方便切换和对比。跨平台支持 macOS、Linux 和 Windows通过 WSL2。API 兼容提供与 OpenAI API 兼容的接口便于集成现有应用。3. 安装与配置3.1 在 macOS/Linux 上安装打开终端执行以下命令curl -fsSL https://ollama.com/install.sh | sh安装完成后启动 Ollama 服务ollama serve3.2 在 Windows 上安装Windows 用户需要先安装 WSL2Windows Subsystem for Linux 2然后在 WSL2 的 Linux 发行版中执行上述安装命令。4. 基本使用4.1 拉取模型使用ollama pull命令下载模型ollama pull llama3.24.2 运行模型启动模型进行交互式对话ollama run llama3.2之后即可在命令行中输入问题模型会实时回复。4.3 使用 APIOllama 默认在http://localhost:11434提供 API 服务。可以通过 curl 或编程语言调用curl http://localhost:11434/api/generate -d { model: llama3.2, prompt: 你好请介绍一下你自己。, stream: false }5. 常用命令速查ollama list– 查看已下载的模型ollama ps– 查看正在运行的模型实例ollama stop model– 停止指定模型ollama rm model– 删除模型ollama create name -f Modelfile– 基于 Modelfile 创建自定义模型6. 进阶创建自定义模型通过编写 Modelfile可以定制模型的系统提示词、参数等。例如创建一个名为my-llama的模型# Modelfile FROM llama3.2 设置系统提示词 SYSTEM 你是一个专业的编程助手回答简洁且准确。 调整参数 PARAMETER temperature 0.7 PARAMETER top_p 0.9然后创建并运行ollama create my-llama -f ./Modelfile ollama run my-llama7. 总结Ollama 极大降低了在本地运行大模型的门槛是学习、开发和测试 LLM 应用的理想工具。结合其简单的命令行和兼容 OpenAI 的 API可以快速构建本地 AI 应用原型。