人工智能大模型多模态【免费下载链接】Intern-Decision-4B项目地址https://ai.gitcode.com/InternLM/Intern-Decision-4B点击查看免费下载Intern-Decision-4B 是基于 Qwen3.5-4B 基座微调的多模态结构化决策模型采用线性注意力Linear Attention与全注意力Full Attention交替的混合架构原生支持 262K 长上下文通过单次前向推理即可为多个决策问题一次性输出完整答案概率分布。本文带你从零读懂它的架构设计。一句话看懂它和普通聊天模型有什么不同大多数大模型靠generate()逐 token 生成文本回答而 Intern-Decision-4B 走的是结构化候选评分路线输入一个共享状态state、一组带选项的问题schema和可选图片模型只跑一次因果前向在每个decision占位符前读取 logits对该字段的候选符号做 softmax再应用概率校准直接得到每个选项的概率分布。它不调用generate()、不采样自由文本因此推理延迟极低——单张 RTX 4090 上平均仅 44.16 ms见 README.md 的 Inference latency 部分。架构全景32 层混合注意力的31节奏打开 config.jsontext_config.layer_types字段完整定义了 32 个 Transformer 层的类型分布层序0 起0–234–678–1011…29–3031层类型linear_attentionfull_attentionlinear_attentionfull_attentionlinear_attentionfull_attention…linear_attentionfull_attention规律非常清晰每 4 层中前 3 层是线性注意力第 4 层是全注意力由full_attention_interval: 4控制全部 32 层中共有 8 个全注意力层、24 个线性注意力层。这种混合设计背后是一个经典的工程权衡线性注意力层状态以固定大小的矩阵递归更新计算量不随序列长度平方增长是长上下文262K低延迟的关键全注意力层保留对任意历史 token 的精确回看能力每 4 层插入一次防止纯线性结构在长距离依赖上的信息丢失。可以把它理解为用 75% 的低成本记忆换速度用 25% 的精确检索保质量。线性注意力层内部长什么样从 model.safetensors.index.json 的权重清单可以看到线性注意力层如layers.0.linear_attn包含这些组件in_proj_qkv/in_proj_z/in_proj_b/in_proj_a查询/键/值、门控、状态衰减等投影conv1dlinear_conv_kernel_dim: 4的小卷积对局部特征做平滑A_log与dt_bias状态空间衰减参数注意mamba_ssm_dtype设为float32用高精度计算数值敏感的状态递推键头 16 个 × 128 维值头 32 个 × 128 维。而全注意力层如layers.3.self_attn则是标准的 Q/K/V 投影 q_norm/k_norm门控式注意力头16 个查询头、4 个 KV 头GQA 分组注意力、head_dim: 256。262K 长上下文是怎么实现的max_position_embeddings: 262144意味着原生 262144 token约 262K的上下文上限关键配置有三处大基频 RoPErope_theta高达 10,000,000常见的 10000 的 1000 倍显著延缓位置编码的频率衰减让模型在超长序列中仍能有效区分位置部分旋转因子 0.25partial_rotary_factor: 0.25表示仅 1/4 的 head 维度参与旋转其余维度直接透传降低长序列下的数值压力混合注意力本身线性层负责廉价地记住整段历史全注意力层负责精确回看关键点二者协同才能撑住 262K 而不失控。值得注意rope_parameters里的mrope_section: [11, 11, 10]——这是多模态 RoPEMRoPE的分段配置位置编码在时间/高/宽三个维度上交错分配mrope_interleaved: true让图像与视频 token 携带二维空间位置信息。视觉塔24 层轻量编码器vision_config定义了独立的视觉编码分支权重前缀model.visual24 层 Transformer隐藏层 1024 维16 个注意力头gelu_pytorch_tanh激活patch_size: 16、temporal_patch_size: 2、spatial_merge_size: 2图像按 16×16 切块、按 2×2 空间合并视频再沿时间轴每 2 帧一组——所以该模型同时支持图片与视频输入num_position_embeddings: 2304限制单个视觉块的 patch 数量上限输出经 merger 投影到out_hidden_size: 2560与语言塔hidden_size: 2560对齐后拼入文本序列。处理器配置见 preprocessor_config.jsonQwen3VLProcessor图像 token 上限受 longest/shortest edge 约束最多同时输入 8 张图。关键参数速查表参数值含义num_hidden_layers32语言塔总层数hidden_size2560主干隐藏维度num_attention_heads/num_key_value_heads16 / 4查询头 / KV 头GQAhead_dim256注意力头维度intermediate_size9216MLP 中间层约 3.6× 主干宽度max_position_embeddings262144262K 长上下文vocab_size248320词表大小词嵌入与 LM 头共享tie_word_embeddings: truedtypebfloat16推理精度mtp_num_hidden_layers1含 1 层多 token 预测MTP辅助层配置决策 tokendecision占位符机制added_tokens.json 中可以看到模型词表新增了decisionid 248077。推理流程在 inference.py 中实现将每个问题的选项按顺序映射为单 token 符号A–Z、a–z、0–9最多 62 个选项渲染一条含完整 JSON 骨架的 assistant 消息每个字段一个decision占位符一次前向传播后读取每个占位符紧邻前一位的 logits仅对该字段的候选符号 logits 做 softmax再应用校准温度T1.99241824在 1728 个校准样本上用 NLL 单独拟合非采样温度符号映射回原始选项值输出带类型的 JSON 答案。这套机制让 1–16 个问题、任意 8 张图、最长 8192 token 的请求都在一次前向中完成评分正是 4B 参数量下仍能做到 44 ms 级延迟的原因。架构带来的实际收益速度线性注意力主导的混合结构单卡延迟 33–44 ms 区间0.8B/2B/4B 系列远快于同任务的语言模型采样链路长文能力262K 原生上下文 大基频 RoPE长状态描述、多轮历史、大文档决策场景无需切分多模态MRoPE 视觉塔支持图文混合输入image/videotoken 已纳入词表id 248056 / 248057校准概率Brier 0.347、ECE 0.065在 Jevbench 全榜取得 90.02 平均准确率README.md。上手只需三步pip install -r requirements.txtfrom inference import DecisionEngine engine DecisionEngine(devicecuda) # 加载一次复用于后续请求 response engine.predict({state: ..., questions: {...}}) print(response[answers])更多请求格式choice / score / noul 三类问题与响应字段说明见 README.md 的 Request format 部分许可信息保留了上游 Qwen 协议见 LICENSE 与 LICENSE-QWEN。小结Intern-Decision-4B 的架构可以概括为三点3 线性 1 全注意力的 32 层混合栈让长序列推理又快又稳10,000,000 大基频 RoPE MRoPE撑起了 262K 多模态长上下文而decision占位符 候选评分机制把回答变成了一次前向的概率读取。对希望在低延迟、长上下文场景做结构化决策的开发者来说这套设计是非常值得研究的参考样本。赞分享人工智能大模型多模态【免费下载链接】Intern-Decision-4B项目地址https://ai.gitcode.com/InternLM/Intern-Decision-4B点击查看免费下载相关推荐Intern-Decision-2B 底层架构拆解Qwen3.5-2B 线性注意力、视觉塔与 262K 上下文深度剖析Intern Decision 2B 底层架构拆解Qwen3.5 2B 线性注意力、视觉塔与 262K 上下文深度剖析 Intern Decision 2B262K长上下文与混合线性注意力Qwen3.8-27B-NVFP4-BF16-LMHead模型架构深度解读262K长上下文与混合线性注意力Qwen3.8 27B NVFP4 BF16 LMHead模型架构深度解读 Qwen3.8 27B NVFP4 BF16 LM0.8B模型为何能撑262K上下文深入Jev-Style-0.8B-Decision-v3-mlx-16bit的Qwen3.5混合线性注意力架构0.8B模型为何能撑262K上下文深入Jev Style 0.8B Decision v3 mlx 16bit的Qwen3.5混合线性注意力架构 Jev St人工智能本地部署大模型NLP模型安全上一篇Mac Mouse Fix终极指南5分钟让你的普通鼠标在macOS上超越触控板体验下一篇零宕机云存储Rclone Union实现多后端故障转移架构指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/23 2:58:15 · 阅读 1.2k Intern-Decision-4B模型架构深度解析：Qwen3.5线性注意力+全注意力混合设计与262K长上下文
人工智能大模型多模态【免费下载链接】Intern-Decision-4B项目地址https://ai.gitcode.com/InternLM/Intern-Decision-4B点击查看免费下载Intern-Decision-4B 是基于 Qwen3.5-4B 基座微调的多模态结构化决策模型采用线性注意力Linear Attention与全注意力Full Attention交替的混合架构原生支持 262K 长上下文通过单次前向推理即可为多个决策问题一次性输出完整答案概率分布。本文带你从零读懂它的架构设计。一句话看懂它和普通聊天模型有什么不同大多数大模型靠generate()逐 token 生成文本回答而 Intern-Decision-4B 走的是结构化候选评分路线输入一个共享状态state、一组带选项的问题schema和可选图片模型只跑一次因果前向在每个decision占位符前读取 logits对该字段的候选符号做 softmax再应用概率校准直接得到每个选项的概率分布。它不调用generate()、不采样自由文本因此推理延迟极低——单张 RTX 4090 上平均仅 44.16 ms见 README.md 的 Inference latency 部分。架构全景32 层混合注意力的31节奏打开 config.jsontext_config.layer_types字段完整定义了 32 个 Transformer 层的类型分布层序0 起0–234–678–1011…29–3031层类型linear_attentionfull_attentionlinear_attentionfull_attentionlinear_attentionfull_attention…linear_attentionfull_attention规律非常清晰每 4 层中前 3 层是线性注意力第 4 层是全注意力由full_attention_interval: 4控制全部 32 层中共有 8 个全注意力层、24 个线性注意力层。这种混合设计背后是一个经典的工程权衡线性注意力层状态以固定大小的矩阵递归更新计算量不随序列长度平方增长是长上下文262K低延迟的关键全注意力层保留对任意历史 token 的精确回看能力每 4 层插入一次防止纯线性结构在长距离依赖上的信息丢失。可以把它理解为用 75% 的低成本记忆换速度用 25% 的精确检索保质量。线性注意力层内部长什么样从 model.safetensors.index.json 的权重清单可以看到线性注意力层如layers.0.linear_attn包含这些组件in_proj_qkv/in_proj_z/in_proj_b/in_proj_a查询/键/值、门控、状态衰减等投影conv1dlinear_conv_kernel_dim: 4的小卷积对局部特征做平滑A_log与dt_bias状态空间衰减参数注意mamba_ssm_dtype设为float32用高精度计算数值敏感的状态递推键头 16 个 × 128 维值头 32 个 × 128 维。而全注意力层如layers.3.self_attn则是标准的 Q/K/V 投影 q_norm/k_norm门控式注意力头16 个查询头、4 个 KV 头GQA 分组注意力、head_dim: 256。262K 长上下文是怎么实现的max_position_embeddings: 262144意味着原生 262144 token约 262K的上下文上限关键配置有三处大基频 RoPErope_theta高达 10,000,000常见的 10000 的 1000 倍显著延缓位置编码的频率衰减让模型在超长序列中仍能有效区分位置部分旋转因子 0.25partial_rotary_factor: 0.25表示仅 1/4 的 head 维度参与旋转其余维度直接透传降低长序列下的数值压力混合注意力本身线性层负责廉价地记住整段历史全注意力层负责精确回看关键点二者协同才能撑住 262K 而不失控。值得注意rope_parameters里的mrope_section: [11, 11, 10]——这是多模态 RoPEMRoPE的分段配置位置编码在时间/高/宽三个维度上交错分配mrope_interleaved: true让图像与视频 token 携带二维空间位置信息。视觉塔24 层轻量编码器vision_config定义了独立的视觉编码分支权重前缀model.visual24 层 Transformer隐藏层 1024 维16 个注意力头gelu_pytorch_tanh激活patch_size: 16、temporal_patch_size: 2、spatial_merge_size: 2图像按 16×16 切块、按 2×2 空间合并视频再沿时间轴每 2 帧一组——所以该模型同时支持图片与视频输入num_position_embeddings: 2304限制单个视觉块的 patch 数量上限输出经 merger 投影到out_hidden_size: 2560与语言塔hidden_size: 2560对齐后拼入文本序列。处理器配置见 preprocessor_config.jsonQwen3VLProcessor图像 token 上限受 longest/shortest edge 约束最多同时输入 8 张图。关键参数速查表参数值含义num_hidden_layers32语言塔总层数hidden_size2560主干隐藏维度num_attention_heads/num_key_value_heads16 / 4查询头 / KV 头GQAhead_dim256注意力头维度intermediate_size9216MLP 中间层约 3.6× 主干宽度max_position_embeddings262144262K 长上下文vocab_size248320词表大小词嵌入与 LM 头共享tie_word_embeddings: truedtypebfloat16推理精度mtp_num_hidden_layers1含 1 层多 token 预测MTP辅助层配置决策 tokendecision占位符机制added_tokens.json 中可以看到模型词表新增了decisionid 248077。推理流程在 inference.py 中实现将每个问题的选项按顺序映射为单 token 符号A–Z、a–z、0–9最多 62 个选项渲染一条含完整 JSON 骨架的 assistant 消息每个字段一个decision占位符一次前向传播后读取每个占位符紧邻前一位的 logits仅对该字段的候选符号 logits 做 softmax再应用校准温度T1.99241824在 1728 个校准样本上用 NLL 单独拟合非采样温度符号映射回原始选项值输出带类型的 JSON 答案。这套机制让 1–16 个问题、任意 8 张图、最长 8192 token 的请求都在一次前向中完成评分正是 4B 参数量下仍能做到 44 ms 级延迟的原因。架构带来的实际收益速度线性注意力主导的混合结构单卡延迟 33–44 ms 区间0.8B/2B/4B 系列远快于同任务的语言模型采样链路长文能力262K 原生上下文 大基频 RoPE长状态描述、多轮历史、大文档决策场景无需切分多模态MRoPE 视觉塔支持图文混合输入image/videotoken 已纳入词表id 248056 / 248057校准概率Brier 0.347、ECE 0.065在 Jevbench 全榜取得 90.02 平均准确率README.md。上手只需三步pip install -r requirements.txtfrom inference import DecisionEngine engine DecisionEngine(devicecuda) # 加载一次复用于后续请求 response engine.predict({state: ..., questions: {...}}) print(response[answers])更多请求格式choice / score / noul 三类问题与响应字段说明见 README.md 的 Request format 部分许可信息保留了上游 Qwen 协议见 LICENSE 与 LICENSE-QWEN。小结Intern-Decision-4B 的架构可以概括为三点3 线性 1 全注意力的 32 层混合栈让长序列推理又快又稳10,000,000 大基频 RoPE MRoPE撑起了 262K 多模态长上下文而decision占位符 候选评分机制把回答变成了一次前向的概率读取。对希望在低延迟、长上下文场景做结构化决策的开发者来说这套设计是非常值得研究的参考样本。赞分享人工智能大模型多模态【免费下载链接】Intern-Decision-4B项目地址https://ai.gitcode.com/InternLM/Intern-Decision-4B点击查看免费下载相关推荐Intern-Decision-2B 底层架构拆解Qwen3.5-2B 线性注意力、视觉塔与 262K 上下文深度剖析Intern Decision 2B 底层架构拆解Qwen3.5 2B 线性注意力、视觉塔与 262K 上下文深度剖析 Intern Decision 2B262K长上下文与混合线性注意力Qwen3.8-27B-NVFP4-BF16-LMHead模型架构深度解读262K长上下文与混合线性注意力Qwen3.8 27B NVFP4 BF16 LMHead模型架构深度解读 Qwen3.8 27B NVFP4 BF16 LM0.8B模型为何能撑262K上下文深入Jev-Style-0.8B-Decision-v3-mlx-16bit的Qwen3.5混合线性注意力架构0.8B模型为何能撑262K上下文深入Jev Style 0.8B Decision v3 mlx 16bit的Qwen3.5混合线性注意力架构 Jev St人工智能本地部署大模型NLP模型安全上一篇Mac Mouse Fix终极指南5分钟让你的普通鼠标在macOS上超越触控板体验下一篇零宕机云存储Rclone Union实现多后端故障转移架构指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考