【免费下载链接】InternVL3_5-2B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-2B-Pretrained点击查看免费下载InternVL3.5-2B-Pretrained 是 InternVL3.5 开源多模态大模型系列的预训练基座模型总参数约 2.3B0.3B InternViT-300M 视觉编码器 Qwen3 语言模型单张 A100 即可部署。本文带你用LMDeploy和vLLM两大主流推理框架完成多模态推理加速与生产级服务部署涵盖环境准备、一键启动 API 服务、关键参数调优和落地避坑清单。 一、模型速览先搞懂 InternVL3.5-2B-Pretrained在部署之前先弄清楚这个模型长什么样才能选对加速方案。组件说明架构范式ViT – MLP – LLM视觉编码器 → 多模态投影 → 语言模型视觉编码器InternViT-300M-448px-V2_5448px 输入、14px patch语言模型Qwen3-1.7Bbfloat16精度最大位置编码 40960动态分辨率支持 1~12 个动态图像块 缩略图max_dynamic_patch12、use_thumbnailtrue训练阶段CPT多模态持续预训练检查点几个关键认知ViT–MLP–LLM 解耦结构视觉特征提取modeling_internvl_chat.py 中的extract_feature先经 pixel shuffle 降采样再由 MLP 投影这部分计算高度并行、无自回归依赖——这正是推理加速的主要突破口。动态高分辨率策略一张图会被切成 1~12 个 448px 的块分别过 ViTconfig.json 中force_image_size: 448图像越复杂、切片越多视觉 token 越多。部署时控制切片数量是控制推理成本的关键旋钮。⚠️ Pretrained ≠ Instruct本仓库是 CPT 阶段的预训练检查点主要面向继续预训练与微调若要直接对外提供对话式多模态服务建议部署不带后缀的完整训练版或 Instruct 版。下文部署流程同样适用于整个 InternVL3.5 系列。模型核心文件可参考modeling_internvl_chat.py主模型与chat接口、modeling_intern_vit.py视觉编码器、configuration_intern_vit.pyViT 配置、conversation.py对话模板internvl2_5模板注册于此。️ 二、部署环境与硬件准备2.3B 参数在 bf16 下权重约 4.6GB单卡 A100甚至 24GB 消费级卡即可跑 16-bit 推理显存紧张时可开启 8-bit 量化。# 基础依赖README 明确要求 transformers 4.52.1 pip install transformers4.52.1 # LMDeploy 路线 pip install lmdeploy0.9.1 # vLLM 路线需支持 InternVL3.5 的版本 pip install vllm部署方式选择建议场景推荐框架理由离线批处理、Python 内嵌调用LMDeploypipelineAPI 极简多模态开箱即用对外提供 OpenAI 兼容 APILMDeployapi_server一条命令起服务高并发在线服务、长上下文vLLMPagedAttention 连续批处理吞吐上限更高 三、LMDeploy 部署多模态推理的最快路径LMDeploy 把 VLM 复杂的多模态推理抽象成与纯 LLM 一致的流水线几行代码即可调用from lmdeploy import pipeline, PytorchEngineConfig from lmdeploy.vl import load_image pipe pipeline(OpenGVLab/InternVL3_5-2B-Pretrained, backend_configPytorchEngineConfig(session_len32768, tp1)) response pipe((describe this image, load_image(./image.jpg))) print(response.text)多轮对话直接复用 session无需手动维护历史sess pipe.chat((describe this image, image), gen_configgen_config) sess pipe.chat(图中人物在做什么, sessionsess, gen_configgen_config)一键启动 OpenAI 兼容 API 服务生产环境最常用的一行命令lmdeploy serve api_server OpenGVLab/InternVL3_5-2B-Pretrained \ --server-port 23333 --tp 1 --backend pytorch启动后即可获得与 OpenAI 接口完全兼容的 RESTful API前端与业务代码只需替换base_url即可接入图片以image_url形式随消息传入无需任何定制开发。⚡ 四、vLLM 部署面向高并发的多模态推理加速vLLM 凭借PagedAttention显存分页管理和连续批处理continuous batching在高并发在线服务场景下吞吐显著领先适合把 InternVL3.5-2B 做成团队共享的多模态推理后端vllm serve OpenGVLab/InternVL3_5-2B-Pretrained \ --max-model-len 32768启动后同样暴露/v1/chat/completions等 OpenAI 兼容端点客户端用标准openaiSDK 调用client OpenAI(api_keyEMPTY, base_urlhttp://0.0.0.0:8000/v1) response client.chat.completions.create( modelOpenGVLab/InternVL3_5-2B-Pretrained, messages[{role: user, content: [{type: text, text: 描述这张图片}, {type: image_url, image_url: {url: http://.../image.jpg}}]}])选型小结小流量、快速验证选 LMDeploy长上下文、多用户并发、追求极限吞吐选 vLLM。两者对外都是 OpenAI 协议后续可在不改动业务代码的前提下平滑迁移。️ 五、推理加速关键参数调优参数作用调优建议max_num动态切片上限控制单图最多切 1~12 个块普通场景降到 4~6视觉 token 立省一半以上OCR/细节任务再调高session_len/--max-model-len会话上下文长度按业务实际取 32768 即可不要盲目拉满tp张量并行多卡切分模型2B 模型单卡足够tp138B 需tp2241B-A28B 需tp88-bit 量化BNB显存减半24GB 显存卡上load_in_8bitTrue即可跑 bf16 级精度do_sample/temperature采样策略官方推荐 Thinking 模式时do_sampleTrue、temperature0.6以抑制重复除引擎层加速外InternVL3.5 在系统层面还提供了DvD解耦式视觉-语言部署把 ViT/MLP 视觉子系统和 LLM 分置于不同 GPU视觉特征以 BF16 单向传输、三阶段异步流水重叠执行让多模态 prefill 的性能逼近纯语言模型。多实例扩容、大规模在线服务时可重点参考这一架构思想详见 README.md 的 Decoupled Vision-Language Deployment 章节。✅ 六、生产落地清单与避坑⚠️ 版本选择确认业务需要的是继续预训练基座本仓库 Pretrained还是可直接对话的成品Instruct / 无后缀完整版这是最常见的踩坑点。依赖版本transformers4.52.1低于该版本加载会直接报错。多图请求多图会成倍增加输入 token需同步调大session_len并用Image-1 / Image-2编号帮助模型指代清晰。监控指标关注 TTFT首 token 延迟、吞吐 tokens/s、显存水位压测时分别覆盖纯文本 / 单图 / 12 切片图三类负载。流式输出transformers 路线可用TextIteratorStreamer实现流式返回见 README.md 的 Streaming Output 章节API 服务路线则直接走 SSE。许可协议模型采用 apache-2.0 协议商用无障碍tokenizer_config.json、added_tokens.json 等配套文件随仓库一并提供。按以上步骤你可以在 30 分钟内把 InternVL3.5-2B-Pretrained 跑成一个稳定、高速、OpenAI 协议兼容的多模态推理服务并借助 LMDeploy 与 vLLM 各取所长地覆盖离线批处理与在线高并发两类生产场景。赞分享【免费下载链接】InternVL3_5-2B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-2B-Pretrained点击查看免费下载相关推荐LMDeploy还是vLLMInternVL3.5-241B-A28B-Pretrained高吞吐部署方案对比与调优实战LMDeploy还是vLLMInternVL3.5 241B A28B Pretrained高吞吐部署方案对比与调优实战 一、先搞懂你要部署的是什么 InInternVL3.5-2B-Pretrained快速上手用transformers加载多模态大模型并实现图文对话实战InternVL3.5 2B Pretrained快速上手用transformers加载多模态大模型并实现图文对话实战 InternVL3.5 2B Pret如何10分钟跑通InternVL3.5-2B-Pretrained多模态模型本地部署与图文推理完整教程如何10分钟跑通InternVL3.5 2B Pretrained多模态模型本地部署与图文推理完整教程 一、为什么值得折腾 InternVL3.5 2B Pr上一篇鼠标悬停翻译神器MouseTooltipTranslator打破语言壁垒的智能浏览器扩展下一篇Raspberry Pi Imager实战指南从零构建树莓派启动盘的深度解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/18 3:30:08 · 阅读 1.2k InternVL3.5-2B-Pretrained生产级部署实战：LMDeploy与vLLM多模态推理加速全解析
【免费下载链接】InternVL3_5-2B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-2B-Pretrained点击查看免费下载InternVL3.5-2B-Pretrained 是 InternVL3.5 开源多模态大模型系列的预训练基座模型总参数约 2.3B0.3B InternViT-300M 视觉编码器 Qwen3 语言模型单张 A100 即可部署。本文带你用LMDeploy和vLLM两大主流推理框架完成多模态推理加速与生产级服务部署涵盖环境准备、一键启动 API 服务、关键参数调优和落地避坑清单。 一、模型速览先搞懂 InternVL3.5-2B-Pretrained在部署之前先弄清楚这个模型长什么样才能选对加速方案。组件说明架构范式ViT – MLP – LLM视觉编码器 → 多模态投影 → 语言模型视觉编码器InternViT-300M-448px-V2_5448px 输入、14px patch语言模型Qwen3-1.7Bbfloat16精度最大位置编码 40960动态分辨率支持 1~12 个动态图像块 缩略图max_dynamic_patch12、use_thumbnailtrue训练阶段CPT多模态持续预训练检查点几个关键认知ViT–MLP–LLM 解耦结构视觉特征提取modeling_internvl_chat.py 中的extract_feature先经 pixel shuffle 降采样再由 MLP 投影这部分计算高度并行、无自回归依赖——这正是推理加速的主要突破口。动态高分辨率策略一张图会被切成 1~12 个 448px 的块分别过 ViTconfig.json 中force_image_size: 448图像越复杂、切片越多视觉 token 越多。部署时控制切片数量是控制推理成本的关键旋钮。⚠️ Pretrained ≠ Instruct本仓库是 CPT 阶段的预训练检查点主要面向继续预训练与微调若要直接对外提供对话式多模态服务建议部署不带后缀的完整训练版或 Instruct 版。下文部署流程同样适用于整个 InternVL3.5 系列。模型核心文件可参考modeling_internvl_chat.py主模型与chat接口、modeling_intern_vit.py视觉编码器、configuration_intern_vit.pyViT 配置、conversation.py对话模板internvl2_5模板注册于此。️ 二、部署环境与硬件准备2.3B 参数在 bf16 下权重约 4.6GB单卡 A100甚至 24GB 消费级卡即可跑 16-bit 推理显存紧张时可开启 8-bit 量化。# 基础依赖README 明确要求 transformers 4.52.1 pip install transformers4.52.1 # LMDeploy 路线 pip install lmdeploy0.9.1 # vLLM 路线需支持 InternVL3.5 的版本 pip install vllm部署方式选择建议场景推荐框架理由离线批处理、Python 内嵌调用LMDeploypipelineAPI 极简多模态开箱即用对外提供 OpenAI 兼容 APILMDeployapi_server一条命令起服务高并发在线服务、长上下文vLLMPagedAttention 连续批处理吞吐上限更高 三、LMDeploy 部署多模态推理的最快路径LMDeploy 把 VLM 复杂的多模态推理抽象成与纯 LLM 一致的流水线几行代码即可调用from lmdeploy import pipeline, PytorchEngineConfig from lmdeploy.vl import load_image pipe pipeline(OpenGVLab/InternVL3_5-2B-Pretrained, backend_configPytorchEngineConfig(session_len32768, tp1)) response pipe((describe this image, load_image(./image.jpg))) print(response.text)多轮对话直接复用 session无需手动维护历史sess pipe.chat((describe this image, image), gen_configgen_config) sess pipe.chat(图中人物在做什么, sessionsess, gen_configgen_config)一键启动 OpenAI 兼容 API 服务生产环境最常用的一行命令lmdeploy serve api_server OpenGVLab/InternVL3_5-2B-Pretrained \ --server-port 23333 --tp 1 --backend pytorch启动后即可获得与 OpenAI 接口完全兼容的 RESTful API前端与业务代码只需替换base_url即可接入图片以image_url形式随消息传入无需任何定制开发。⚡ 四、vLLM 部署面向高并发的多模态推理加速vLLM 凭借PagedAttention显存分页管理和连续批处理continuous batching在高并发在线服务场景下吞吐显著领先适合把 InternVL3.5-2B 做成团队共享的多模态推理后端vllm serve OpenGVLab/InternVL3_5-2B-Pretrained \ --max-model-len 32768启动后同样暴露/v1/chat/completions等 OpenAI 兼容端点客户端用标准openaiSDK 调用client OpenAI(api_keyEMPTY, base_urlhttp://0.0.0.0:8000/v1) response client.chat.completions.create( modelOpenGVLab/InternVL3_5-2B-Pretrained, messages[{role: user, content: [{type: text, text: 描述这张图片}, {type: image_url, image_url: {url: http://.../image.jpg}}]}])选型小结小流量、快速验证选 LMDeploy长上下文、多用户并发、追求极限吞吐选 vLLM。两者对外都是 OpenAI 协议后续可在不改动业务代码的前提下平滑迁移。️ 五、推理加速关键参数调优参数作用调优建议max_num动态切片上限控制单图最多切 1~12 个块普通场景降到 4~6视觉 token 立省一半以上OCR/细节任务再调高session_len/--max-model-len会话上下文长度按业务实际取 32768 即可不要盲目拉满tp张量并行多卡切分模型2B 模型单卡足够tp138B 需tp2241B-A28B 需tp88-bit 量化BNB显存减半24GB 显存卡上load_in_8bitTrue即可跑 bf16 级精度do_sample/temperature采样策略官方推荐 Thinking 模式时do_sampleTrue、temperature0.6以抑制重复除引擎层加速外InternVL3.5 在系统层面还提供了DvD解耦式视觉-语言部署把 ViT/MLP 视觉子系统和 LLM 分置于不同 GPU视觉特征以 BF16 单向传输、三阶段异步流水重叠执行让多模态 prefill 的性能逼近纯语言模型。多实例扩容、大规模在线服务时可重点参考这一架构思想详见 README.md 的 Decoupled Vision-Language Deployment 章节。✅ 六、生产落地清单与避坑⚠️ 版本选择确认业务需要的是继续预训练基座本仓库 Pretrained还是可直接对话的成品Instruct / 无后缀完整版这是最常见的踩坑点。依赖版本transformers4.52.1低于该版本加载会直接报错。多图请求多图会成倍增加输入 token需同步调大session_len并用Image-1 / Image-2编号帮助模型指代清晰。监控指标关注 TTFT首 token 延迟、吞吐 tokens/s、显存水位压测时分别覆盖纯文本 / 单图 / 12 切片图三类负载。流式输出transformers 路线可用TextIteratorStreamer实现流式返回见 README.md 的 Streaming Output 章节API 服务路线则直接走 SSE。许可协议模型采用 apache-2.0 协议商用无障碍tokenizer_config.json、added_tokens.json 等配套文件随仓库一并提供。按以上步骤你可以在 30 分钟内把 InternVL3.5-2B-Pretrained 跑成一个稳定、高速、OpenAI 协议兼容的多模态推理服务并借助 LMDeploy 与 vLLM 各取所长地覆盖离线批处理与在线高并发两类生产场景。赞分享【免费下载链接】InternVL3_5-2B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-2B-Pretrained点击查看免费下载相关推荐LMDeploy还是vLLMInternVL3.5-241B-A28B-Pretrained高吞吐部署方案对比与调优实战LMDeploy还是vLLMInternVL3.5 241B A28B Pretrained高吞吐部署方案对比与调优实战 一、先搞懂你要部署的是什么 InInternVL3.5-2B-Pretrained快速上手用transformers加载多模态大模型并实现图文对话实战InternVL3.5 2B Pretrained快速上手用transformers加载多模态大模型并实现图文对话实战 InternVL3.5 2B Pret如何10分钟跑通InternVL3.5-2B-Pretrained多模态模型本地部署与图文推理完整教程如何10分钟跑通InternVL3.5 2B Pretrained多模态模型本地部署与图文推理完整教程 一、为什么值得折腾 InternVL3.5 2B Pr上一篇鼠标悬停翻译神器MouseTooltipTranslator打破语言壁垒的智能浏览器扩展下一篇Raspberry Pi Imager实战指南从零构建树莓派启动盘的深度解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考