【免费下载链接】InternVL3_5-2B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-2B-Pretrained点击查看免费下载InternVL3.5-2B-Pretrained 是 OpenGVLab 开源的 InternVL3.5 系列多模态大模型MLLM的预训练基座总参数仅 2.3B却继承了 R1 思考模式与多模态推理的核心设计。本文用大白话解读它凭什么会深度思考R1 思考模式如何开启视觉信息又是怎样变成思考素材的即使你刚接触多模态大模型也能 10 分钟看懂它的推理原理。一分钟认识 InternVL3.5-2B-Pretrained关键信息说明视觉编码器InternViT-300M0.3B 参数语言模型Qwen3-1.7B2.0B 参数总参数2.3B可单卡 A100 部署训练阶段CPT多模态持续预训练对话模板internvl2_5上下文长度最长 40960 tokens它遵循经典的ViT → MLP → LLM三段式架构ViT视觉编码器把图片切成小块提取视觉特征MLP连接器把视觉特征翻译成语言模型能懂的视觉 token并做压缩downsample_ratio: 0.5LLM语言模型像写文章一样把图片 问题当作输入序列逐 token 生成回答。 这些配置可以在 config.json 中直接查到整体架构说明见 README.md。⚠️ 小提示本仓库是Pretrained预训练基座版本只完成了 CPT 阶段完整的思考能力训练发生在后续 SFT 与强化学习阶段后文详述。日常使用推荐无后缀的完整版InternVL3.5-2B。R1 思考模式揭秘一段系统提示词如何唤醒深度思考很多用户第一次看到 InternVL3.5 输出/think包裹的长篇推理时都很惊讶一个小模型怎么学会了边想边答答案其实并不神秘——R1 思考模式的核心是一份响应协议式的系统提示词System Prompt。它要求模型先思考把问题分析、多角度尝试、逐步推理的完整过程写在/think标签内再回答思考结束后另起一行给出独立、简洁的最终答案且答案不依赖思考过程。官方在 README.md 中给出了R1_SYSTEM_PROMPT的完整定义核心指令包括First, conduct a detailed analysis of the question... Enclose this entire thinking process within think and /think tags.After the thinking section, provide a clear, concise, and direct answer... 在代码层面这份提示词会被写入模型的系统消息槽位。查看 modeling_internvl_chat.py 可以看到模型初始化时会从对话模板读取system_message对话模板的system_template/system_message字段定义在 conversation.py。也就是说思考模式不是某个开关而是把角色说明书换成了先想后答协议模型会忠实地按协议组织输出。开启 R1 思考模式的 3 个关键步骤# 1. 加载模型后替换系统提示词 model.system_message R1_SYSTEM_PROMPT # 2. 开启采样避免重复 generation_config dict(max_new_tokens1024, do_sampleTrue, temperature0.6) 官方建议开启思考模式时务必设置do_sampleTrue和temperature0.6否则容易产生不自然的重复输出参见 README.md 与 README.md。深度思考能力是怎么练出来的光靠提示词模型顶多装模作样。InternVL3.5 真正的推理能力来自一条四段式训练流水线1️⃣ CPT多模态持续预训练—— 本仓库所在阶段用大规模文本 图文数据联合更新全部参数目标就是朴素的预测下一个 token。图片 token 和文字 token 混在同一个序列里模型从此学会看懂图、接着写。README.md 中还介绍了平方平均加权square averaging等损失重加权技巧防止模型偏爱长回答或短回答。2️⃣ SFT监督微调—— Thinking 数据的注入这是思考风格的源头。InternVL3.5 在 SFT 数据中专门加入了一批Thinking 模式的多模态推理数据构造流程相当巧妙README.md先用 InternVL3-78B 对图片做详细文字描述把描述输入DeepSeek-R1让它采样出带完整推理过程的回答rollout过滤掉最终答案错误的样本只保留高质量推理轨迹。等于让小学生2B 模型抄写博士R1的解题笔记思考格式与推理深度就此蒸馏进来。3️⃣ CascadeRL级联强化学习—— 两阶段 RL 精雕细琢这是 InternVL3.5 的核心创新用先松后紧的两段式强化学习把推理能力再拔高一截阶段算法角色离线 RLMPO偏好 质量 生成三重损失快速热身稳住收敛在线 RLGSPO基于模型自身采样精细打磨输出分布粗到细coarse-to-fine的策略让模型以远小于单一 RL 的 GPU 成本拿到了显著更高的推理分数MMMU、MathVista 等基准均有大幅提升README.md。4️⃣ 测试时扩展Test-Time Scaling—— 推理时的加时赛训练之外InternVL3.5 还支持在推理时多花点算力换更准的答案分两个维度README.md深度思考Deep Thinking即前文的 R1 思考模式把复杂问题拆成逻辑步骤、逐步验证中间结论增强推理深度并行思考Parallel ThinkingBest-of-N 策略——对同一问题采样多个答案再请评委模型VisualPRM-v1.1 过程奖励模型挑出最优增强推理广度。 一句话总结R1 提示词负责出题格式SFT 数据负责教解题套路CascadeRL 负责考场上反复刷题测试时扩展负责允许打草稿多选答案。四者叠加2B 的小模型才有了大模型级别的思考表现。多模态推理原理图片如何变成可思考的视觉 token思考的前提是看懂图。InternVL3.5 沿用了 Dynamic High Resolution动态高分辨率策略流程如下动态切块按图片宽高比把图切成 1~12 块 448×448 的小图max_dynamic_patch: 12见 config.json外加一张缩略图视觉编码每块送入 InternViT 得到 1024 个视觉 tokenPixel Shuffle 压缩通过像素重排模块把 1024 个 token 压缩为 256 个降低送入 LLM 的阅读负担融合推理视觉 token 与问题文本拼成一条序列Qwen3-1.7B 在其中逐 token 自回归地想出答案。 这套机制在 config.json 中可见dynamic_image_size: true与force_image_size: 448视觉端实现位于 modeling_intern_vit.py图文拼接与解码逻辑在 modeling_internvl_chat.py 中。对于追求极致效率的场景InternVL3.5-Flash 版本还引入了视觉分辨率路由器ViR按每个图像块的语义丰富度动态决定压缩到 256 还是 64 个 tokentoken 数直降 50% 而性能几乎无损README.md。选型指南Pretrained / Instruct / MPO / 正式版怎么选如果你正纠结用哪个版本直接看这张表完整版对应表见 README.md版本训练进度适合谁InternVL3.5-2B-Pretrained本仓库CPT研究者二次预训练 / 基座微调起点InternVL3.5-2B-InstructCPT SFT日常对话、通用问答InternVL3.5-2B-MPOCPT SFT MPO偏好对齐研究、离线 RL 实验InternVL3.5-2B无后缀CPT SFT CascadeRL完整推理能力日常首选✅ 需要开启 R1 思考模式做评测时建议配合do_sampleTrue、temperature0.6并使用官方推荐的 Thinking System PromptREADME.md。常见问题 FAQQ1Pretrained 版本能直接开启 R1 思考模式吗技术层面可以替换system_message即可但它尚未经历 SFT 与强化学习思考的连贯性与准确性不如Instruct及之后的版本。想稳定体验深度思考请使用完整版InternVL3.5-2B。Q2为什么思考模式建议 temperature0.6贪心解码do_sampleFalse在长思考链上容易陷入重复循环适度采样能保持推理多样性缓解这一现象。Q32B 模型部署要什么硬件≤30B 的模型均可单张 A100 部署2B 版本更是轻松运行非常适合端侧与边缘实验README.md。总结R1 思考模式的本质一份先想后答的系统提示词协议要求模型把推理过程写入/think深度思考的底气CPT 打基础 → SFT 蒸馏 R1 推理轨迹 → CascadeRLMPO GSPO强化 → 测试时扩展深度 并行思考收尾多模态推理的入口动态高分辨率切块 ViT 编码 Pixel Shuffle 压缩让 Qwen3-1.7B 以低 token 成本看懂图片选型建议二次开发用本仓库 Pretrained 基座实际使用选无后缀完整版。想动手验证按 README.md 的 Quick Start 加载模型替换系统提示词你就能亲眼看到 2.3B 小模型的深度思考全过程。赞分享【免费下载链接】InternVL3_5-2B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-2B-Pretrained点击查看免费下载相关推荐CC Switch 下 Codex /model 菜单缺模型1 张映射表、1 次重启、3 个开关修好CC Switch 下 Codex /model 菜单缺模型1 张映射表、1 次重启、3 个开关修好 现象速写 在 CC Switch 里把 Codex 的供桌面应用开发工具配置管理GLM-4.5推理模式思考与非思考双模式GLM 4.5推理模式思考与非思考双模式 概述 GLM 4.5作为智谱AI推出的新一代混合推理模型创新性地引入了 思考模式Thinking Mode 和基础模型大模型人工智能InternVL3.5-2B-Pretrained多模态能力深度评测数学推理、OCR与图表理解表现全解析InternVL3.5 2B Pretrained多模态能力深度评测数学推理、OCR与图表理解表现全解析 InternVL3.5 2B Pretrained上一篇5 步上手 Hello Algorithm算法学习与验证的实战手册下一篇如何快速上手MiroFish用多智能体预测引擎推演未来走向的完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/18 15:56:49 · 阅读 1.2k 为什么InternVL3.5-2B-Pretrained会深度思考？R1思考模式与多模态推理原理解读
【免费下载链接】InternVL3_5-2B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-2B-Pretrained点击查看免费下载InternVL3.5-2B-Pretrained 是 OpenGVLab 开源的 InternVL3.5 系列多模态大模型MLLM的预训练基座总参数仅 2.3B却继承了 R1 思考模式与多模态推理的核心设计。本文用大白话解读它凭什么会深度思考R1 思考模式如何开启视觉信息又是怎样变成思考素材的即使你刚接触多模态大模型也能 10 分钟看懂它的推理原理。一分钟认识 InternVL3.5-2B-Pretrained关键信息说明视觉编码器InternViT-300M0.3B 参数语言模型Qwen3-1.7B2.0B 参数总参数2.3B可单卡 A100 部署训练阶段CPT多模态持续预训练对话模板internvl2_5上下文长度最长 40960 tokens它遵循经典的ViT → MLP → LLM三段式架构ViT视觉编码器把图片切成小块提取视觉特征MLP连接器把视觉特征翻译成语言模型能懂的视觉 token并做压缩downsample_ratio: 0.5LLM语言模型像写文章一样把图片 问题当作输入序列逐 token 生成回答。 这些配置可以在 config.json 中直接查到整体架构说明见 README.md。⚠️ 小提示本仓库是Pretrained预训练基座版本只完成了 CPT 阶段完整的思考能力训练发生在后续 SFT 与强化学习阶段后文详述。日常使用推荐无后缀的完整版InternVL3.5-2B。R1 思考模式揭秘一段系统提示词如何唤醒深度思考很多用户第一次看到 InternVL3.5 输出/think包裹的长篇推理时都很惊讶一个小模型怎么学会了边想边答答案其实并不神秘——R1 思考模式的核心是一份响应协议式的系统提示词System Prompt。它要求模型先思考把问题分析、多角度尝试、逐步推理的完整过程写在/think标签内再回答思考结束后另起一行给出独立、简洁的最终答案且答案不依赖思考过程。官方在 README.md 中给出了R1_SYSTEM_PROMPT的完整定义核心指令包括First, conduct a detailed analysis of the question... Enclose this entire thinking process within think and /think tags.After the thinking section, provide a clear, concise, and direct answer... 在代码层面这份提示词会被写入模型的系统消息槽位。查看 modeling_internvl_chat.py 可以看到模型初始化时会从对话模板读取system_message对话模板的system_template/system_message字段定义在 conversation.py。也就是说思考模式不是某个开关而是把角色说明书换成了先想后答协议模型会忠实地按协议组织输出。开启 R1 思考模式的 3 个关键步骤# 1. 加载模型后替换系统提示词 model.system_message R1_SYSTEM_PROMPT # 2. 开启采样避免重复 generation_config dict(max_new_tokens1024, do_sampleTrue, temperature0.6) 官方建议开启思考模式时务必设置do_sampleTrue和temperature0.6否则容易产生不自然的重复输出参见 README.md 与 README.md。深度思考能力是怎么练出来的光靠提示词模型顶多装模作样。InternVL3.5 真正的推理能力来自一条四段式训练流水线1️⃣ CPT多模态持续预训练—— 本仓库所在阶段用大规模文本 图文数据联合更新全部参数目标就是朴素的预测下一个 token。图片 token 和文字 token 混在同一个序列里模型从此学会看懂图、接着写。README.md 中还介绍了平方平均加权square averaging等损失重加权技巧防止模型偏爱长回答或短回答。2️⃣ SFT监督微调—— Thinking 数据的注入这是思考风格的源头。InternVL3.5 在 SFT 数据中专门加入了一批Thinking 模式的多模态推理数据构造流程相当巧妙README.md先用 InternVL3-78B 对图片做详细文字描述把描述输入DeepSeek-R1让它采样出带完整推理过程的回答rollout过滤掉最终答案错误的样本只保留高质量推理轨迹。等于让小学生2B 模型抄写博士R1的解题笔记思考格式与推理深度就此蒸馏进来。3️⃣ CascadeRL级联强化学习—— 两阶段 RL 精雕细琢这是 InternVL3.5 的核心创新用先松后紧的两段式强化学习把推理能力再拔高一截阶段算法角色离线 RLMPO偏好 质量 生成三重损失快速热身稳住收敛在线 RLGSPO基于模型自身采样精细打磨输出分布粗到细coarse-to-fine的策略让模型以远小于单一 RL 的 GPU 成本拿到了显著更高的推理分数MMMU、MathVista 等基准均有大幅提升README.md。4️⃣ 测试时扩展Test-Time Scaling—— 推理时的加时赛训练之外InternVL3.5 还支持在推理时多花点算力换更准的答案分两个维度README.md深度思考Deep Thinking即前文的 R1 思考模式把复杂问题拆成逻辑步骤、逐步验证中间结论增强推理深度并行思考Parallel ThinkingBest-of-N 策略——对同一问题采样多个答案再请评委模型VisualPRM-v1.1 过程奖励模型挑出最优增强推理广度。 一句话总结R1 提示词负责出题格式SFT 数据负责教解题套路CascadeRL 负责考场上反复刷题测试时扩展负责允许打草稿多选答案。四者叠加2B 的小模型才有了大模型级别的思考表现。多模态推理原理图片如何变成可思考的视觉 token思考的前提是看懂图。InternVL3.5 沿用了 Dynamic High Resolution动态高分辨率策略流程如下动态切块按图片宽高比把图切成 1~12 块 448×448 的小图max_dynamic_patch: 12见 config.json外加一张缩略图视觉编码每块送入 InternViT 得到 1024 个视觉 tokenPixel Shuffle 压缩通过像素重排模块把 1024 个 token 压缩为 256 个降低送入 LLM 的阅读负担融合推理视觉 token 与问题文本拼成一条序列Qwen3-1.7B 在其中逐 token 自回归地想出答案。 这套机制在 config.json 中可见dynamic_image_size: true与force_image_size: 448视觉端实现位于 modeling_intern_vit.py图文拼接与解码逻辑在 modeling_internvl_chat.py 中。对于追求极致效率的场景InternVL3.5-Flash 版本还引入了视觉分辨率路由器ViR按每个图像块的语义丰富度动态决定压缩到 256 还是 64 个 tokentoken 数直降 50% 而性能几乎无损README.md。选型指南Pretrained / Instruct / MPO / 正式版怎么选如果你正纠结用哪个版本直接看这张表完整版对应表见 README.md版本训练进度适合谁InternVL3.5-2B-Pretrained本仓库CPT研究者二次预训练 / 基座微调起点InternVL3.5-2B-InstructCPT SFT日常对话、通用问答InternVL3.5-2B-MPOCPT SFT MPO偏好对齐研究、离线 RL 实验InternVL3.5-2B无后缀CPT SFT CascadeRL完整推理能力日常首选✅ 需要开启 R1 思考模式做评测时建议配合do_sampleTrue、temperature0.6并使用官方推荐的 Thinking System PromptREADME.md。常见问题 FAQQ1Pretrained 版本能直接开启 R1 思考模式吗技术层面可以替换system_message即可但它尚未经历 SFT 与强化学习思考的连贯性与准确性不如Instruct及之后的版本。想稳定体验深度思考请使用完整版InternVL3.5-2B。Q2为什么思考模式建议 temperature0.6贪心解码do_sampleFalse在长思考链上容易陷入重复循环适度采样能保持推理多样性缓解这一现象。Q32B 模型部署要什么硬件≤30B 的模型均可单张 A100 部署2B 版本更是轻松运行非常适合端侧与边缘实验README.md。总结R1 思考模式的本质一份先想后答的系统提示词协议要求模型把推理过程写入/think深度思考的底气CPT 打基础 → SFT 蒸馏 R1 推理轨迹 → CascadeRLMPO GSPO强化 → 测试时扩展深度 并行思考收尾多模态推理的入口动态高分辨率切块 ViT 编码 Pixel Shuffle 压缩让 Qwen3-1.7B 以低 token 成本看懂图片选型建议二次开发用本仓库 Pretrained 基座实际使用选无后缀完整版。想动手验证按 README.md 的 Quick Start 加载模型替换系统提示词你就能亲眼看到 2.3B 小模型的深度思考全过程。赞分享【免费下载链接】InternVL3_5-2B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-2B-Pretrained点击查看免费下载相关推荐CC Switch 下 Codex /model 菜单缺模型1 张映射表、1 次重启、3 个开关修好CC Switch 下 Codex /model 菜单缺模型1 张映射表、1 次重启、3 个开关修好 现象速写 在 CC Switch 里把 Codex 的供桌面应用开发工具配置管理GLM-4.5推理模式思考与非思考双模式GLM 4.5推理模式思考与非思考双模式 概述 GLM 4.5作为智谱AI推出的新一代混合推理模型创新性地引入了 思考模式Thinking Mode 和基础模型大模型人工智能InternVL3.5-2B-Pretrained多模态能力深度评测数学推理、OCR与图表理解表现全解析InternVL3.5 2B Pretrained多模态能力深度评测数学推理、OCR与图表理解表现全解析 InternVL3.5 2B Pretrained上一篇5 步上手 Hello Algorithm算法学习与验证的实战手册下一篇如何快速上手MiroFish用多智能体预测引擎推演未来走向的完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考