云原生后端运维【免费下载链接】TerminusOpen-Source Personal Cloud OS for Always-On Agents项目地址https://gitcode.com/gh_mirrors/terminus2/Terminus点击查看免费下载Olares 通过四个可克隆的引擎基座应用将推理引擎Ollama、vLLM、llama.cpp、SGLang与模型选择解耦先选定引擎模板再为模板配置模型来源、显存预算与能力声明即可生成一个独立的模型实例。本文完整讲解从 Market 选型、克隆实例、配置环境变量到通过 Router 监控部署并向客户端如 OpenCode暴露模型服务的全流程并给出每个引擎的调优参数与经过验证的推荐模型组合读完即可在 Olares 上自托管可用的本地大模型服务。引擎基座Olares 的模板化 LLM 托管方案Olares 提供四个引擎基座应用每个基于不同的推理引擎构建Ollama 引擎基座基于 Ollama从 Ollama 模型库按原生标签拉取模型vLLM 引擎基座基于 vLLM服务 Hugging Face 上包含.safetensors权重的仓库llama.cpp 引擎基座基于 llama.cpp服务 Hugging Face 上的 GGUF 量化文件SGLang 引擎基座基于 SGLang服务包含.safetensors权重的 Hugging Face 仓库。引擎基座应用本身只是一个模板不具备可直接运行的模型。你必须先将其克隆为独立的运行实例instance并在克隆时指定模型来源、显存与能力配置。从源码结构看这一机制与 Olares Market 中发布的官方生成模板一一对应llamacppllmbasev3、ollamallmbasev3、vllmllmbasev3、sglangllmbasev3分别映射到四个引擎见 olares-chart 的 LLM 模型工作流。如果你不想手动配置、希望快速体验模型可以直接从 Market 安装预构建模型应用——这些应用打包了 Olares 验证过的模型与引擎组合例如Qwen3.6-27B (llama.cpp)Qwen3.6-35B-A3B (llama.cpp)Qwen3.6-27B MTP (llama.cpp)Qwopus3.6-27B MTP (llama.cpp)Gemma-4-12B (vLLM)Qwen3.5-9B (SGLang)Gemma 4 26B (Ollama)Ornith 35B (Ollama)开始之前你的 Olares 系统已升级至v1.12.7 或更高版本客户端经 Router 连接模型实例的能力也依赖该版本。若选择预构建模型应用其模型与引擎组合已经过 Olares 验证可跳过后续手动配置仅当需要更换引擎或调整启动参数时才走克隆流程。选型按模型格式与服务目标选择引擎打开 Market 搜索引擎基座会出现四个基座应用。选择时先从模型格式入手GGUF 文件使用 llama.cppOllama 模型标签使用 Ollama包含.safetensors权重的 Hugging Face 仓库使用 vLLM 或 SGLang。引擎基座模型来源适用场景llama.cpp 引擎基座Hugging Face 上的 GGUF 文件运行量化 GGUF 模型、GPU 显存有限或需要使用 CPU 推理。Olares One 推荐使用该引擎。Ollama 引擎基座Ollama 模型库中的模型标签希望快速完成配置并兼容多种对话或嵌入模型。Ollama 会根据原生标签下载模型。SGLang 引擎基座包含.safetensors权重的 Hugging Face 仓库需要结构化生成或高级推理优化并且模型支持 SGLang。vLLM 引擎基座包含.safetensors权重的 Hugging Face 仓库需要为多个并发请求提供高吞吐量服务并且模型支持 vLLM。注意引擎与权重格式的绑定关系不可互换llama.cpp 需要 GGUFvLLM 与 SGLang 需要 SafetensorsOllama 需要模型库标签。若模型卡片指向错误的权重格式会在下载阶段失败而非启动阶段这一点在 Router 本地 LLM 说明中也有明确提示。如果应用市场已经提供对应模型的预构建应用除非需要更换引擎或调整启动参数否则优先安装预构建应用。创建新的模型实例引擎基座应用只是模板运行模型前必须先克隆为独立的运行实例选择与所需推理引擎匹配的引擎基座点击View。例如llama.cpp 引擎基座。点击Create初始化一个新实例。选择实例运行所用的硬件加速器然后点击Confirm。配置实例标识New app name输入实例的唯一名称该名称会作为应用名显示在 Market 和 Settings 中。例如Qwen3.6-35B-A3B。Shortcut name for [client]输入实例的唯一快捷方式名称该名称会显示在 Launchpad 上。例如qwen3.6-35b-a3b。点击Create进入环境变量配置。从 CLI 角度这一步等价于olares-cli market clone base --title name只有--title是强制参数但MODEL_SOURCE、MODEL_NAME、MODEL_MODE、MODEL_SUPPORTS、ENGINE_ARGS以及引擎自身的ENGINE_REQUIRED_GPU_MEMORY都必须随克隆命令一起提供否则实例会创建成功却无法提供服务见 olares-market 与 olares-router 技能文档。配置引擎环境变量创建实例后会弹出Configure environment variables for [New-app-name]配置窗口。你需要定义引擎从哪里拉取模型、使用多少显存以及向其他客户端应用暴露哪些能力。各引擎的变量格式如下。llama.cpp 引擎变量说明MODEL_SOURCE指定引擎从哪里拉取模型。格式hf://repo --include file.gguf。如需下载多个文件用逗号分隔每个条目hf://repo --include file1.gguf,hf://repo --include file2.gguf。示例模型页面https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF对应MODEL_SOURCE为hf://unsloth/Qwen3.6-35B-A3B-GGUF --include Qwen3.6-35B-A3B-UD-Q4_K_XL.ggufMODEL_NAME定义客户端应用调用该实例时使用的名称。从MODEL_SOURCE推导格式为repo:quantization每个实例只能带一种量化。示例unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q4_K_XLMODEL_MODE选择Chat或Embedding。MODEL_SUPPORTS选择模型支持的能力Vision、Tools或Thinking。若为嵌入模型请选择None。ENGINE_ARGS设置引擎启动参数。上下文长度-c为必填项多个参数之间用空格分隔。示例-c 65536或-c 65536 -ngl all。更多参数见下文引擎调优参数。LLAMACPP_REQUIRED_GPU_MEMORY设置实例启动所需的最小 GPU 显存单位为 MB 或 Gi例如20Gi。在时间分片或独占模式下设为小于显卡总显存在显存分片模式下设为小于剩余显存在 CPU 模式下设为0。Ollama 引擎变量说明MODEL_SOURCE指定引擎从哪里拉取模型。格式ollama://model:size-tag。示例模型页面https://ollama.com/library/qwen3.5对应MODEL_SOURCE为ollama://qwen3.5:2bMODEL_NAME从MODEL_SOURCE推导取ollama://之后的字符串。示例qwen3.5:2bMODEL_MODE选择Chat或Embedding。MODEL_SUPPORTS选择Vision、Tools或Thinking嵌入模型选择None。ENGINE_ARGS设置引擎启动参数上下文长度为必填项。示例OLLAMA_CONTEXT_LENGTH8192或OLLAMA_CONTEXT_LENGTH8192 OLLAMA_KV_CACHE_TYPEq8_0。OLLAMA_REQUIRED_GPU_MEMORY设置实例启动所需的最小 GPU 显存单位为 MB 或 Gi例如8Gi或8192Mi。分片/独占/CPU 模式下的取值规则同上。vLLM 或 SGLang 引擎变量说明MODEL_SOURCE选择包含.safetensors权重文件的仓库。格式hf://repo。示例模型页面https://huggingface.co/Qwen/Qwen3.5-2B对应MODEL_SOURCE为hf://Qwen/Qwen3.5-2BMODEL_NAME从MODEL_SOURCE推导取hf://之后的字符串。示例Qwen/Qwen3.5-2BMODEL_MODE选择Chat或Embedding。MODEL_SUPPORTS选择Vision、Tools或Thinking嵌入模型选择None。ENGINE_ARGS设置引擎启动参数上下文长度为必填项。示例vLLM 使用--max-model-len 65536SGLang 使用--context-length 65536。VLLM/SGLANG_REQUIRED_GPU_MEMORY设置实例启动所需的最小 GPU 显存单位为 MB 或 Gi例如20Gi。分片/独占/CPU 模式下的取值规则同上。关于显存变量的语义olares-chart 模型工作流给出了更底层的解释--compute-mode nvidia下该值用于限定nvidia.com/gpumem独立 GPU 显存下限--compute-mode nvidia-gb10下则限定统一内存unified pod-memory下限因为 GB10 没有独立的 GPU 显存配额。点击Confirm保存配置并开始安装实例。页面右侧会出现Instances面板显示安装进度安装完成后实例的操作按钮会变为Open表示底层服务正在运行同名的模型应用也会出现在 Launchpad 上。提示从引擎基座应用创建的模型实例应用名旁会显示From template标签在 Market 或 Settings 中查看该应用时可见。后续修改环境变量安装后如需修改这些变量进入 OlaresSettingsApplications[App-Name]Manage environment variables点击变量旁的编辑图标更新值保存后点击Apply。监控部署并配置模型服务在模型应用的 Model Console 中跟踪下载进度确认模型是否就绪、引擎是否运行模型详情、上下文配置和客户端连接信息则需在 Router 中查看。在引擎基座应用详情页的Instances面板中找到该模型实例或在 Launchpad 中找到它。打开它启动专属的模型控制台。控制台默认打开Status标签页模型文件会自动开始下载。在Service status下跟踪模型和引擎的就绪状态Model文件下载并校验完成后显示Ready。Engine推理服务上线后显示Running。如果任一状态一直未就绪可参考 模型或引擎未就绪排查指南Model未显示Ready通常是下载未完成、来源不可达或磁盘空间不足Model已就绪但Engine未运行则要检查MODEL_NAME是否匹配、ENGINE_ARGS语法是否符合所选引擎以及REQUIRED_GPU_MEMORY是否超出可用资源。在 Router 中查看模型详情部署完成后打开 Router 查看模型能力、上下文窗口和引擎参数以下以 llama.cpp 模型为例在 Router 的LLM列表中找到模型点击行右侧的信息图标打开Model card。查看Context window与Engine args。对 llama.cpp 模型而言-c参数直接给出配置的上下文大小以 token 计例如-c 104448表示 104448 tokens列表中可能显示为 102K。当客户端询问 token 数时请以Engine args中的精确值为准。上下文设置是单向约束客户端的 context 设置不能超过引擎配置的上下文大小仅调大客户端设置并不会提升引擎容量如果更换了default-chat背后的模型也要同步复核客户端的 context 设置。如需调整引擎参数点击模型卡片中的Edit保存更改后的参数会重新启动引擎。将客户端应用连接到模型服务在 Olares 1.12.7 及更高版本中客户端通过 Router 连接模型实例。Router 提供客户端使用的地址、模型名称和访问控制从 Launchpad 打开 Router在LLM中找到聊天模型。发送请求前确认状态为Callable如果不可用查看状态下方显示的原因。在Default models中将该实例设为默认聊天模型。返回模型所在行点击View connection example。对于安装在 Olares 中的客户端选择Apps in Olares然后复制Base URL保留/v1后缀。按照 将 OpenCode 连接到自定义提供方 操作使用 Router 的 Base URL并手动添加default-chat作为模型 ID。如果希望客户端始终使用该实例、不随默认模型更改则改用 Router 中的完整模型名称。在 OpenCode 中发送一条简短消息然后在 Router 的Usage中确认请求使用了预期的模型。外部客户端需使用对应连接标签页中的地址和 Router 签发的 API 密钥嵌入模型实例应使用完整模型名称不能使用default-chat。完整细节见 连接 AI 应用与模型服务。从源码视角看本地模型在 Olares 中本质上是一个应用Router 的应用目录会自动发现它并创建对应的 provider 行无需手动注册。区分应用是否安装与模型是否下载加载是两个不同状态——应用容器启动后模型权重可能仍在下载因此provider显示 active 但没有模型并不一定是故障。CLI 下可用router model progress --app app观察下载进度、router provider get app确认 Router 侧模型清单、router route list --kind default查看default-chat是否已指向新模型、router call chat hello --model provider/model验证整条链路详见 Router 本地 LLM 操作参考。引擎调优参数使用ENGINE_ARGS变量添加自定义设置可调整显存占用、上下文长度和处理行为。多个参数之间用空格分隔。llama.cpp 常用参数参数用途推荐-c设置最大上下文长度以 token 为单位。65536-ngl将所有模型层加载到 GPU避免 CPU 计算拖慢速度。all-fa启用 Flash Attention 以加速注意力计算。on-ctk/-ctv将 KV Cache 量化为 8-bit在显存占用与精度之间取得平衡。q8_0Ollama 常用参数参数用途推荐OLLAMA_CONTEXT_LENGTH设置默认上下文窗口大小以 token 为单位。默认值随显存自动调整小于 24G 为 409624G 到 48G 为 3276848G 及以上为 262144。8192到131072OLLAMA_KEEP_ALIVE设置最后一次请求后模型在 GPU 显存中的驻留时长到期后权重换出到系统内存。-1表示永久驻留3m表示驻留 3 分钟。默认值-1。-1或30mOLLAMA_FLASH_ATTENTION启用 Flash Attention。使用OLLAMA_KV_CACHE_TYPE进行 KV 缓存量化时必须开启。默认值1。1开启OLLAMA_KV_CACHE_TYPE设置 KV 缓存的量化类型以节省显存。默认值f16。q8_0轻微精度损失或q4_0OLLAMA_NUM_PARALLEL设置每个模型可同时处理的并发请求数。默认值1。1SGLang 常用参数参数用途推荐--context-length设置最大上下文长度。65536--mem-fraction-static设置预分配给静态用途的显存比例类似 vLLM 的--gpu-memory-utilization。0.85--chunked-prefill-size将超长输入分块处理避免长时间占用 GPU让并发请求的流式输出保持顺畅。4096vLLM 常用参数参数用途推荐--max-model-len设置最大上下文长度。65536--gpu-memory-utilization设置 vLLM 引擎使用的显存比例。0.9--tensor-parallel-size设置张量并行规模即用多少张 GPU 切分并共同运行同一个模型。1--max-num-batched-tokens限制单个批次处理的最大 token 数使遇到超长请求时响应时间保持稳定。8192--enable-prefix-caching在 KV Cache 中缓存并复用相同前缀的计算结果。启用上下文窗口的通用调优原则从低于模型训练最大长度开始为并发请求预留余量待实例稳定后再逐步增大OOM 时通常的修正手段是换用更小的量化或缩小上下文窗口olares-chart 运维参考。对于nvidia-gb10模式同样遵循稳定性规则但显存预算针对的是统一内存而非独立 GPU 显存配额。推荐模型与参数以下为各引擎经过验证的最佳实践推荐可作为起点再根据你的硬件进行调整。llama.cpp推荐模型 1Hugging Face 上的unsloth/Qwen3.6-27B-MTP-GGUF量化参数UD-Q4_K_XLMODEL_SOURCEhf://unsloth/Qwen3.6-27B-MTP-GGUF --include Qwen3.6-27B-UD-Q4_K_XL.gguf多模态提示如果模型具备多模态能力请在MODEL_SOURCE中带上mmproj-F16.gguf文件hf://unsloth/Qwen3.6-27B-MTP-GGUF --include Qwen3.6-27B-UD-Q4_K_XL.gguf,hf://unsloth/Qwen3.6-27B-MTP-GGUF --include mmproj-F16.ggufMODEL_NAMEunsloth/Qwen3.6-27B-MTP-GGUF:UD-Q4_K_XLMODEL_MODEChatMODEL_SUPPORTSThinking,ToolsENGINE_ARGS-c 131072 -ngl all -fa on -ctk q8_0 -ctv q8_0 --jinja -np 1 --spec-type draft-mtp --spec-draft-n-max 2LOG_LEVELInfoLLAMACPP_REQUIRED_GPU_MEMORY23Gi推荐模型 2Hugging Face 上的Jackrong/Qwopus3.6-27B-v2-MTP-GGUF量化参数Q4_K_MMODEL_SOURCEhf://Jackrong/Qwopus3.6-27B-v2-MTP-GGUF --include Qwopus3.6-27B-v2-MTP-Q4_K_M.gguf多模态提示如需多模态请附加mmproj-F32.ggufhf://Jackrong/Qwopus3.6-27B-v2-MTP-GGUF --include Qwopus3.6-27B-v2-MTP-Q4_K_M.gguf,hf://Jackrong/Qwopus3.6-27B-v2-MTP-GGUF --include mmproj-F32.ggufMODEL_NAMEJackrong/Qwopus3.6-27B-v2-MTP-GGUF:Q4_K_MMODEL_MODEChatMODEL_SUPPORTSThinking,ToolsENGINE_ARGS-c 131072 -ngl all -fa on -ctk q8_0 -ctv q8_0 --jinja -np 1 --spec-type draft-mtp --spec-draft-n-max 2LOG_LEVELInfoLLAMACPP_REQUIRED_GPU_MEMORY23GiOllama推荐模型Ollama 库中的gemma4-26b默认使用 Q4_K_M 量化MODEL_SOURCEollama://gemma4-26bMODEL_NAMEgemma4-26bMODEL_MODEChatMODEL_SUPPORTSThinking, Tools, VisionENGINE_ARGSOLLAMA_KEEP_ALIVE-1 OLLAMA_CONTEXT_LENGTH131072 OLLAMA_FLASH_ATTENTION1 OLLAMA_KV_CACHE_TYPEq8_0 OLLAMA_NUM_PARALLEL1OLLAMA_REQUIRED_GPU_MEMORY23GiSGLangSGLang 模型可能需要较长时间加载引擎才会进入RUNNING状态。推荐模型Hugging Face 上的Qwen3.5-9B-AWQ-4bitMODEL_SOURCEhf://cyankiwi/Qwen3.5-9B-AWQ-4bitMODEL_NAMEcyankiwi/Qwen3.5-9B-AWQ-4bitMODEL_MODEChatMODEL_SUPPORTSThinking、Tools、VisionENGINE_ARGS--context-length 65536 --mem-fraction-static 0.85 --chunked-prefill-size 4096 --reasoning-parser qwen3 --tool-call-parser qwen3_coderLOG_LEVELInfoSGLANG_REQUIRED_GPU_MEMORY23GivLLMvLLM 模型可能需要较长时间加载引擎才会进入RUNNING状态。推荐模型Hugging Face 上的gemma-4-12B-it-AWQ-INT4MODEL_SOURCEhf://cyankiwi/gemma-4-12B-it-AWQ-INT4MODEL_NAMEcyankiwi/gemma-4-12B-it-AWQ-INT4MODEL_MODEChatMODEL_SUPPORTSThinking、Tools、VisionENGINE_ARGS--max-model-len 65536 --gpu-memory-utilization 0.9 --tensor-parallel-size 1 --max-num-batched-tokens 8192 --tool-call-parser gemma4 --reasoning-parser gemma4 --enable-prefix-caching --enable-auto-tool-choiceLOG_LEVELInfoVLLM_REQUIRED_GPU_MEMORY23Gi进阶能力声明、CLI 克隆与模型卡片机制MODEL_SUPPORTS 能力映射MODEL_SUPPORTS在官方图表中被展开为具体的底层能力见 olares-chart 运维参考分组展开后的能力visionsupports_visiontoolssupports_function_calling、supports_parallel_function_calling、supports_tool_choicethinkingsupports_reasoning、supports_reasoning_effortnone无额外能力只声明所选引擎真正暴露的能力模型卡片提到视觉能力并不代表某个具体 serving 工件就支持视觉没有任何额外能力的生成模型应使用none。用 olares-cli 完成同样的克隆流程UI 中的克隆与配置操作在 CLI 中等价为olares-cli market clone。例如在独立 NVIDIA GPU 上通过 llama.cpp 提供 GGUF 模型olares-cli market clone llamacppllmbasev3 \ --title Qwen2.5 7B Q4 \ --compute-mode nvidia \ --env MODEL_SOURCEhf://bartowski/Qwen2.5-7B-Instruct-GGUF --include Qwen2.5-7B-Instruct-Q4_K_M.gguf \ --env MODEL_NAMEbartowski/Qwen2.5-7B-Instruct-GGUF:Q4_K_M \ --env MODEL_MODEchat \ --env MODEL_SUPPORTStools \ --env ENGINE_ARGS-c 8192 -ngl all -fa on \ --env LLAMACPP_REQUIRED_GPU_MEMORY6Gi \ --watch \ --watch-timeout 30m省略--source时默认使用market.olares源对兼容的 GB10 节点仅需把--compute-mode改为nvidia-gb10并将显存变量设为对应的统一内存下限。克隆后可继续用olares-cli market status target-app --watch跟踪状态。官方生成模板均设置了options.apiTimeout: 0无需修改 chart 即可支持长耗时生成请求。模型卡片与 Router 的关系每个本地模型通过模型卡片声明模式、能力、价格、上下文窗口与引擎参数。卡片由运行模型的应用拥有Router 保存其投影用于路由与计费并在应用进入 running 状态时刷新投影。CLI 下可用router model spec show/edit Olares/model查看或合并修改卡片、router model restart model在修改引擎参数后重启推理进程修改--engine-args会重新拉起推理进程在权重重新加载完成前模型不响应请求。此外router model get model会输出引擎实际可承载的 CONTEXT单请求可用窗口、AT ONCE并发请求数与 KV POOL整个缓存池三个实测值而非声明值——llama.cpp 统一模式-kvu下共享缓存池可能导致长提示被拒绝kv_budget_exhausted此时缩短提示比重试更有效。故障排查速查症状处理模型一直未显示Ready保持实例运行等待下载完成确认 Olares 能访问模型来源、磁盘空间充足按引擎格式检查MODEL_SOURCE与MODEL_NAME见配置引擎环境变量模型已Ready但引擎未Running确认MODEL_NAME与配置一致、ENGINE_ARGS语法符合所选引擎、REQUIRED_GPU_MEMORY未超出可用资源llama.cpp/Ollama 无法加载完整 Safetensors改用 vLLM 或 SGLangvLLM/SGLang 无法加载 GGUF改用 llama.cpp 或 Ollama引擎加载或生成长耗时/显存不足换用更小量化、缩小上下文窗口或并发数或选择更小的模型完整排查流程与日志收集指引见 模型或引擎未就绪应用层面的诊断Market 状态、GPU 调度、可达性可借助 olares-doctor 技能 获取运行时证据。赞分享云原生后端运维【免费下载链接】TerminusOpen-Source Personal Cloud OS for Always-On Agents项目地址https://gitcode.com/gh_mirrors/terminus2/Terminus点击查看免费下载相关推荐Olares Model Console 使用指南用 Ollama、vLLM、llama.cpp 和 SGLang 引擎基座运行本地大模型Olares Model Console 使用指南用 Ollama、vLLM、llama.cpp 和 SGLang 引擎基座运行本地大模型 Olares v1云原生后端运维Olares 1.12.6 本地 LLM 部署指南用 Ollama、vLLM、llama.cpp、SGLang 引擎基座自托管大模型Olares 1.12.6 本地 LLM 部署指南用 Ollama、vLLM、llama.cpp、SGLang 引擎基座自托管大模型 Olares v1.12云原生后端运维Olares Engine Base 应用实战用 Ollama、vLLM、llama.cpp 与 SGLang 自托管本地大模型Olares Engine Base 应用实战用 Ollama、vLLM、llama.cpp 与 SGLang 自托管本地大模型 Olares 的 Model云原生后端运维上一篇使用Hugging Face Trainer API进行模型微调的完整指南下一篇使用vxrn快速构建React Native应用开发环境创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/16 5:40:02 · 阅读 1.2k Olares 引擎基座实战指南：使用 Ollama、vLLM、llama.cpp 与 SGLang 在本地运行大模型
云原生后端运维【免费下载链接】TerminusOpen-Source Personal Cloud OS for Always-On Agents项目地址https://gitcode.com/gh_mirrors/terminus2/Terminus点击查看免费下载Olares 通过四个可克隆的引擎基座应用将推理引擎Ollama、vLLM、llama.cpp、SGLang与模型选择解耦先选定引擎模板再为模板配置模型来源、显存预算与能力声明即可生成一个独立的模型实例。本文完整讲解从 Market 选型、克隆实例、配置环境变量到通过 Router 监控部署并向客户端如 OpenCode暴露模型服务的全流程并给出每个引擎的调优参数与经过验证的推荐模型组合读完即可在 Olares 上自托管可用的本地大模型服务。引擎基座Olares 的模板化 LLM 托管方案Olares 提供四个引擎基座应用每个基于不同的推理引擎构建Ollama 引擎基座基于 Ollama从 Ollama 模型库按原生标签拉取模型vLLM 引擎基座基于 vLLM服务 Hugging Face 上包含.safetensors权重的仓库llama.cpp 引擎基座基于 llama.cpp服务 Hugging Face 上的 GGUF 量化文件SGLang 引擎基座基于 SGLang服务包含.safetensors权重的 Hugging Face 仓库。引擎基座应用本身只是一个模板不具备可直接运行的模型。你必须先将其克隆为独立的运行实例instance并在克隆时指定模型来源、显存与能力配置。从源码结构看这一机制与 Olares Market 中发布的官方生成模板一一对应llamacppllmbasev3、ollamallmbasev3、vllmllmbasev3、sglangllmbasev3分别映射到四个引擎见 olares-chart 的 LLM 模型工作流。如果你不想手动配置、希望快速体验模型可以直接从 Market 安装预构建模型应用——这些应用打包了 Olares 验证过的模型与引擎组合例如Qwen3.6-27B (llama.cpp)Qwen3.6-35B-A3B (llama.cpp)Qwen3.6-27B MTP (llama.cpp)Qwopus3.6-27B MTP (llama.cpp)Gemma-4-12B (vLLM)Qwen3.5-9B (SGLang)Gemma 4 26B (Ollama)Ornith 35B (Ollama)开始之前你的 Olares 系统已升级至v1.12.7 或更高版本客户端经 Router 连接模型实例的能力也依赖该版本。若选择预构建模型应用其模型与引擎组合已经过 Olares 验证可跳过后续手动配置仅当需要更换引擎或调整启动参数时才走克隆流程。选型按模型格式与服务目标选择引擎打开 Market 搜索引擎基座会出现四个基座应用。选择时先从模型格式入手GGUF 文件使用 llama.cppOllama 模型标签使用 Ollama包含.safetensors权重的 Hugging Face 仓库使用 vLLM 或 SGLang。引擎基座模型来源适用场景llama.cpp 引擎基座Hugging Face 上的 GGUF 文件运行量化 GGUF 模型、GPU 显存有限或需要使用 CPU 推理。Olares One 推荐使用该引擎。Ollama 引擎基座Ollama 模型库中的模型标签希望快速完成配置并兼容多种对话或嵌入模型。Ollama 会根据原生标签下载模型。SGLang 引擎基座包含.safetensors权重的 Hugging Face 仓库需要结构化生成或高级推理优化并且模型支持 SGLang。vLLM 引擎基座包含.safetensors权重的 Hugging Face 仓库需要为多个并发请求提供高吞吐量服务并且模型支持 vLLM。注意引擎与权重格式的绑定关系不可互换llama.cpp 需要 GGUFvLLM 与 SGLang 需要 SafetensorsOllama 需要模型库标签。若模型卡片指向错误的权重格式会在下载阶段失败而非启动阶段这一点在 Router 本地 LLM 说明中也有明确提示。如果应用市场已经提供对应模型的预构建应用除非需要更换引擎或调整启动参数否则优先安装预构建应用。创建新的模型实例引擎基座应用只是模板运行模型前必须先克隆为独立的运行实例选择与所需推理引擎匹配的引擎基座点击View。例如llama.cpp 引擎基座。点击Create初始化一个新实例。选择实例运行所用的硬件加速器然后点击Confirm。配置实例标识New app name输入实例的唯一名称该名称会作为应用名显示在 Market 和 Settings 中。例如Qwen3.6-35B-A3B。Shortcut name for [client]输入实例的唯一快捷方式名称该名称会显示在 Launchpad 上。例如qwen3.6-35b-a3b。点击Create进入环境变量配置。从 CLI 角度这一步等价于olares-cli market clone base --title name只有--title是强制参数但MODEL_SOURCE、MODEL_NAME、MODEL_MODE、MODEL_SUPPORTS、ENGINE_ARGS以及引擎自身的ENGINE_REQUIRED_GPU_MEMORY都必须随克隆命令一起提供否则实例会创建成功却无法提供服务见 olares-market 与 olares-router 技能文档。配置引擎环境变量创建实例后会弹出Configure environment variables for [New-app-name]配置窗口。你需要定义引擎从哪里拉取模型、使用多少显存以及向其他客户端应用暴露哪些能力。各引擎的变量格式如下。llama.cpp 引擎变量说明MODEL_SOURCE指定引擎从哪里拉取模型。格式hf://repo --include file.gguf。如需下载多个文件用逗号分隔每个条目hf://repo --include file1.gguf,hf://repo --include file2.gguf。示例模型页面https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF对应MODEL_SOURCE为hf://unsloth/Qwen3.6-35B-A3B-GGUF --include Qwen3.6-35B-A3B-UD-Q4_K_XL.ggufMODEL_NAME定义客户端应用调用该实例时使用的名称。从MODEL_SOURCE推导格式为repo:quantization每个实例只能带一种量化。示例unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q4_K_XLMODEL_MODE选择Chat或Embedding。MODEL_SUPPORTS选择模型支持的能力Vision、Tools或Thinking。若为嵌入模型请选择None。ENGINE_ARGS设置引擎启动参数。上下文长度-c为必填项多个参数之间用空格分隔。示例-c 65536或-c 65536 -ngl all。更多参数见下文引擎调优参数。LLAMACPP_REQUIRED_GPU_MEMORY设置实例启动所需的最小 GPU 显存单位为 MB 或 Gi例如20Gi。在时间分片或独占模式下设为小于显卡总显存在显存分片模式下设为小于剩余显存在 CPU 模式下设为0。Ollama 引擎变量说明MODEL_SOURCE指定引擎从哪里拉取模型。格式ollama://model:size-tag。示例模型页面https://ollama.com/library/qwen3.5对应MODEL_SOURCE为ollama://qwen3.5:2bMODEL_NAME从MODEL_SOURCE推导取ollama://之后的字符串。示例qwen3.5:2bMODEL_MODE选择Chat或Embedding。MODEL_SUPPORTS选择Vision、Tools或Thinking嵌入模型选择None。ENGINE_ARGS设置引擎启动参数上下文长度为必填项。示例OLLAMA_CONTEXT_LENGTH8192或OLLAMA_CONTEXT_LENGTH8192 OLLAMA_KV_CACHE_TYPEq8_0。OLLAMA_REQUIRED_GPU_MEMORY设置实例启动所需的最小 GPU 显存单位为 MB 或 Gi例如8Gi或8192Mi。分片/独占/CPU 模式下的取值规则同上。vLLM 或 SGLang 引擎变量说明MODEL_SOURCE选择包含.safetensors权重文件的仓库。格式hf://repo。示例模型页面https://huggingface.co/Qwen/Qwen3.5-2B对应MODEL_SOURCE为hf://Qwen/Qwen3.5-2BMODEL_NAME从MODEL_SOURCE推导取hf://之后的字符串。示例Qwen/Qwen3.5-2BMODEL_MODE选择Chat或Embedding。MODEL_SUPPORTS选择Vision、Tools或Thinking嵌入模型选择None。ENGINE_ARGS设置引擎启动参数上下文长度为必填项。示例vLLM 使用--max-model-len 65536SGLang 使用--context-length 65536。VLLM/SGLANG_REQUIRED_GPU_MEMORY设置实例启动所需的最小 GPU 显存单位为 MB 或 Gi例如20Gi。分片/独占/CPU 模式下的取值规则同上。关于显存变量的语义olares-chart 模型工作流给出了更底层的解释--compute-mode nvidia下该值用于限定nvidia.com/gpumem独立 GPU 显存下限--compute-mode nvidia-gb10下则限定统一内存unified pod-memory下限因为 GB10 没有独立的 GPU 显存配额。点击Confirm保存配置并开始安装实例。页面右侧会出现Instances面板显示安装进度安装完成后实例的操作按钮会变为Open表示底层服务正在运行同名的模型应用也会出现在 Launchpad 上。提示从引擎基座应用创建的模型实例应用名旁会显示From template标签在 Market 或 Settings 中查看该应用时可见。后续修改环境变量安装后如需修改这些变量进入 OlaresSettingsApplications[App-Name]Manage environment variables点击变量旁的编辑图标更新值保存后点击Apply。监控部署并配置模型服务在模型应用的 Model Console 中跟踪下载进度确认模型是否就绪、引擎是否运行模型详情、上下文配置和客户端连接信息则需在 Router 中查看。在引擎基座应用详情页的Instances面板中找到该模型实例或在 Launchpad 中找到它。打开它启动专属的模型控制台。控制台默认打开Status标签页模型文件会自动开始下载。在Service status下跟踪模型和引擎的就绪状态Model文件下载并校验完成后显示Ready。Engine推理服务上线后显示Running。如果任一状态一直未就绪可参考 模型或引擎未就绪排查指南Model未显示Ready通常是下载未完成、来源不可达或磁盘空间不足Model已就绪但Engine未运行则要检查MODEL_NAME是否匹配、ENGINE_ARGS语法是否符合所选引擎以及REQUIRED_GPU_MEMORY是否超出可用资源。在 Router 中查看模型详情部署完成后打开 Router 查看模型能力、上下文窗口和引擎参数以下以 llama.cpp 模型为例在 Router 的LLM列表中找到模型点击行右侧的信息图标打开Model card。查看Context window与Engine args。对 llama.cpp 模型而言-c参数直接给出配置的上下文大小以 token 计例如-c 104448表示 104448 tokens列表中可能显示为 102K。当客户端询问 token 数时请以Engine args中的精确值为准。上下文设置是单向约束客户端的 context 设置不能超过引擎配置的上下文大小仅调大客户端设置并不会提升引擎容量如果更换了default-chat背后的模型也要同步复核客户端的 context 设置。如需调整引擎参数点击模型卡片中的Edit保存更改后的参数会重新启动引擎。将客户端应用连接到模型服务在 Olares 1.12.7 及更高版本中客户端通过 Router 连接模型实例。Router 提供客户端使用的地址、模型名称和访问控制从 Launchpad 打开 Router在LLM中找到聊天模型。发送请求前确认状态为Callable如果不可用查看状态下方显示的原因。在Default models中将该实例设为默认聊天模型。返回模型所在行点击View connection example。对于安装在 Olares 中的客户端选择Apps in Olares然后复制Base URL保留/v1后缀。按照 将 OpenCode 连接到自定义提供方 操作使用 Router 的 Base URL并手动添加default-chat作为模型 ID。如果希望客户端始终使用该实例、不随默认模型更改则改用 Router 中的完整模型名称。在 OpenCode 中发送一条简短消息然后在 Router 的Usage中确认请求使用了预期的模型。外部客户端需使用对应连接标签页中的地址和 Router 签发的 API 密钥嵌入模型实例应使用完整模型名称不能使用default-chat。完整细节见 连接 AI 应用与模型服务。从源码视角看本地模型在 Olares 中本质上是一个应用Router 的应用目录会自动发现它并创建对应的 provider 行无需手动注册。区分应用是否安装与模型是否下载加载是两个不同状态——应用容器启动后模型权重可能仍在下载因此provider显示 active 但没有模型并不一定是故障。CLI 下可用router model progress --app app观察下载进度、router provider get app确认 Router 侧模型清单、router route list --kind default查看default-chat是否已指向新模型、router call chat hello --model provider/model验证整条链路详见 Router 本地 LLM 操作参考。引擎调优参数使用ENGINE_ARGS变量添加自定义设置可调整显存占用、上下文长度和处理行为。多个参数之间用空格分隔。llama.cpp 常用参数参数用途推荐-c设置最大上下文长度以 token 为单位。65536-ngl将所有模型层加载到 GPU避免 CPU 计算拖慢速度。all-fa启用 Flash Attention 以加速注意力计算。on-ctk/-ctv将 KV Cache 量化为 8-bit在显存占用与精度之间取得平衡。q8_0Ollama 常用参数参数用途推荐OLLAMA_CONTEXT_LENGTH设置默认上下文窗口大小以 token 为单位。默认值随显存自动调整小于 24G 为 409624G 到 48G 为 3276848G 及以上为 262144。8192到131072OLLAMA_KEEP_ALIVE设置最后一次请求后模型在 GPU 显存中的驻留时长到期后权重换出到系统内存。-1表示永久驻留3m表示驻留 3 分钟。默认值-1。-1或30mOLLAMA_FLASH_ATTENTION启用 Flash Attention。使用OLLAMA_KV_CACHE_TYPE进行 KV 缓存量化时必须开启。默认值1。1开启OLLAMA_KV_CACHE_TYPE设置 KV 缓存的量化类型以节省显存。默认值f16。q8_0轻微精度损失或q4_0OLLAMA_NUM_PARALLEL设置每个模型可同时处理的并发请求数。默认值1。1SGLang 常用参数参数用途推荐--context-length设置最大上下文长度。65536--mem-fraction-static设置预分配给静态用途的显存比例类似 vLLM 的--gpu-memory-utilization。0.85--chunked-prefill-size将超长输入分块处理避免长时间占用 GPU让并发请求的流式输出保持顺畅。4096vLLM 常用参数参数用途推荐--max-model-len设置最大上下文长度。65536--gpu-memory-utilization设置 vLLM 引擎使用的显存比例。0.9--tensor-parallel-size设置张量并行规模即用多少张 GPU 切分并共同运行同一个模型。1--max-num-batched-tokens限制单个批次处理的最大 token 数使遇到超长请求时响应时间保持稳定。8192--enable-prefix-caching在 KV Cache 中缓存并复用相同前缀的计算结果。启用上下文窗口的通用调优原则从低于模型训练最大长度开始为并发请求预留余量待实例稳定后再逐步增大OOM 时通常的修正手段是换用更小的量化或缩小上下文窗口olares-chart 运维参考。对于nvidia-gb10模式同样遵循稳定性规则但显存预算针对的是统一内存而非独立 GPU 显存配额。推荐模型与参数以下为各引擎经过验证的最佳实践推荐可作为起点再根据你的硬件进行调整。llama.cpp推荐模型 1Hugging Face 上的unsloth/Qwen3.6-27B-MTP-GGUF量化参数UD-Q4_K_XLMODEL_SOURCEhf://unsloth/Qwen3.6-27B-MTP-GGUF --include Qwen3.6-27B-UD-Q4_K_XL.gguf多模态提示如果模型具备多模态能力请在MODEL_SOURCE中带上mmproj-F16.gguf文件hf://unsloth/Qwen3.6-27B-MTP-GGUF --include Qwen3.6-27B-UD-Q4_K_XL.gguf,hf://unsloth/Qwen3.6-27B-MTP-GGUF --include mmproj-F16.ggufMODEL_NAMEunsloth/Qwen3.6-27B-MTP-GGUF:UD-Q4_K_XLMODEL_MODEChatMODEL_SUPPORTSThinking,ToolsENGINE_ARGS-c 131072 -ngl all -fa on -ctk q8_0 -ctv q8_0 --jinja -np 1 --spec-type draft-mtp --spec-draft-n-max 2LOG_LEVELInfoLLAMACPP_REQUIRED_GPU_MEMORY23Gi推荐模型 2Hugging Face 上的Jackrong/Qwopus3.6-27B-v2-MTP-GGUF量化参数Q4_K_MMODEL_SOURCEhf://Jackrong/Qwopus3.6-27B-v2-MTP-GGUF --include Qwopus3.6-27B-v2-MTP-Q4_K_M.gguf多模态提示如需多模态请附加mmproj-F32.ggufhf://Jackrong/Qwopus3.6-27B-v2-MTP-GGUF --include Qwopus3.6-27B-v2-MTP-Q4_K_M.gguf,hf://Jackrong/Qwopus3.6-27B-v2-MTP-GGUF --include mmproj-F32.ggufMODEL_NAMEJackrong/Qwopus3.6-27B-v2-MTP-GGUF:Q4_K_MMODEL_MODEChatMODEL_SUPPORTSThinking,ToolsENGINE_ARGS-c 131072 -ngl all -fa on -ctk q8_0 -ctv q8_0 --jinja -np 1 --spec-type draft-mtp --spec-draft-n-max 2LOG_LEVELInfoLLAMACPP_REQUIRED_GPU_MEMORY23GiOllama推荐模型Ollama 库中的gemma4-26b默认使用 Q4_K_M 量化MODEL_SOURCEollama://gemma4-26bMODEL_NAMEgemma4-26bMODEL_MODEChatMODEL_SUPPORTSThinking, Tools, VisionENGINE_ARGSOLLAMA_KEEP_ALIVE-1 OLLAMA_CONTEXT_LENGTH131072 OLLAMA_FLASH_ATTENTION1 OLLAMA_KV_CACHE_TYPEq8_0 OLLAMA_NUM_PARALLEL1OLLAMA_REQUIRED_GPU_MEMORY23GiSGLangSGLang 模型可能需要较长时间加载引擎才会进入RUNNING状态。推荐模型Hugging Face 上的Qwen3.5-9B-AWQ-4bitMODEL_SOURCEhf://cyankiwi/Qwen3.5-9B-AWQ-4bitMODEL_NAMEcyankiwi/Qwen3.5-9B-AWQ-4bitMODEL_MODEChatMODEL_SUPPORTSThinking、Tools、VisionENGINE_ARGS--context-length 65536 --mem-fraction-static 0.85 --chunked-prefill-size 4096 --reasoning-parser qwen3 --tool-call-parser qwen3_coderLOG_LEVELInfoSGLANG_REQUIRED_GPU_MEMORY23GivLLMvLLM 模型可能需要较长时间加载引擎才会进入RUNNING状态。推荐模型Hugging Face 上的gemma-4-12B-it-AWQ-INT4MODEL_SOURCEhf://cyankiwi/gemma-4-12B-it-AWQ-INT4MODEL_NAMEcyankiwi/gemma-4-12B-it-AWQ-INT4MODEL_MODEChatMODEL_SUPPORTSThinking、Tools、VisionENGINE_ARGS--max-model-len 65536 --gpu-memory-utilization 0.9 --tensor-parallel-size 1 --max-num-batched-tokens 8192 --tool-call-parser gemma4 --reasoning-parser gemma4 --enable-prefix-caching --enable-auto-tool-choiceLOG_LEVELInfoVLLM_REQUIRED_GPU_MEMORY23Gi进阶能力声明、CLI 克隆与模型卡片机制MODEL_SUPPORTS 能力映射MODEL_SUPPORTS在官方图表中被展开为具体的底层能力见 olares-chart 运维参考分组展开后的能力visionsupports_visiontoolssupports_function_calling、supports_parallel_function_calling、supports_tool_choicethinkingsupports_reasoning、supports_reasoning_effortnone无额外能力只声明所选引擎真正暴露的能力模型卡片提到视觉能力并不代表某个具体 serving 工件就支持视觉没有任何额外能力的生成模型应使用none。用 olares-cli 完成同样的克隆流程UI 中的克隆与配置操作在 CLI 中等价为olares-cli market clone。例如在独立 NVIDIA GPU 上通过 llama.cpp 提供 GGUF 模型olares-cli market clone llamacppllmbasev3 \ --title Qwen2.5 7B Q4 \ --compute-mode nvidia \ --env MODEL_SOURCEhf://bartowski/Qwen2.5-7B-Instruct-GGUF --include Qwen2.5-7B-Instruct-Q4_K_M.gguf \ --env MODEL_NAMEbartowski/Qwen2.5-7B-Instruct-GGUF:Q4_K_M \ --env MODEL_MODEchat \ --env MODEL_SUPPORTStools \ --env ENGINE_ARGS-c 8192 -ngl all -fa on \ --env LLAMACPP_REQUIRED_GPU_MEMORY6Gi \ --watch \ --watch-timeout 30m省略--source时默认使用market.olares源对兼容的 GB10 节点仅需把--compute-mode改为nvidia-gb10并将显存变量设为对应的统一内存下限。克隆后可继续用olares-cli market status target-app --watch跟踪状态。官方生成模板均设置了options.apiTimeout: 0无需修改 chart 即可支持长耗时生成请求。模型卡片与 Router 的关系每个本地模型通过模型卡片声明模式、能力、价格、上下文窗口与引擎参数。卡片由运行模型的应用拥有Router 保存其投影用于路由与计费并在应用进入 running 状态时刷新投影。CLI 下可用router model spec show/edit Olares/model查看或合并修改卡片、router model restart model在修改引擎参数后重启推理进程修改--engine-args会重新拉起推理进程在权重重新加载完成前模型不响应请求。此外router model get model会输出引擎实际可承载的 CONTEXT单请求可用窗口、AT ONCE并发请求数与 KV POOL整个缓存池三个实测值而非声明值——llama.cpp 统一模式-kvu下共享缓存池可能导致长提示被拒绝kv_budget_exhausted此时缩短提示比重试更有效。故障排查速查症状处理模型一直未显示Ready保持实例运行等待下载完成确认 Olares 能访问模型来源、磁盘空间充足按引擎格式检查MODEL_SOURCE与MODEL_NAME见配置引擎环境变量模型已Ready但引擎未Running确认MODEL_NAME与配置一致、ENGINE_ARGS语法符合所选引擎、REQUIRED_GPU_MEMORY未超出可用资源llama.cpp/Ollama 无法加载完整 Safetensors改用 vLLM 或 SGLangvLLM/SGLang 无法加载 GGUF改用 llama.cpp 或 Ollama引擎加载或生成长耗时/显存不足换用更小量化、缩小上下文窗口或并发数或选择更小的模型完整排查流程与日志收集指引见 模型或引擎未就绪应用层面的诊断Market 状态、GPU 调度、可达性可借助 olares-doctor 技能 获取运行时证据。赞分享云原生后端运维【免费下载链接】TerminusOpen-Source Personal Cloud OS for Always-On Agents项目地址https://gitcode.com/gh_mirrors/terminus2/Terminus点击查看免费下载相关推荐Olares Model Console 使用指南用 Ollama、vLLM、llama.cpp 和 SGLang 引擎基座运行本地大模型Olares Model Console 使用指南用 Ollama、vLLM、llama.cpp 和 SGLang 引擎基座运行本地大模型 Olares v1云原生后端运维Olares 1.12.6 本地 LLM 部署指南用 Ollama、vLLM、llama.cpp、SGLang 引擎基座自托管大模型Olares 1.12.6 本地 LLM 部署指南用 Ollama、vLLM、llama.cpp、SGLang 引擎基座自托管大模型 Olares v1.12云原生后端运维Olares Engine Base 应用实战用 Ollama、vLLM、llama.cpp 与 SGLang 自托管本地大模型Olares Engine Base 应用实战用 Ollama、vLLM、llama.cpp 与 SGLang 自托管本地大模型 Olares 的 Model云原生后端运维上一篇使用Hugging Face Trainer API进行模型微调的完整指南下一篇使用vxrn快速构建React Native应用开发环境创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考