【免费下载链接】Qwen3.8-27B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.8-27B-singprobe点击查看免费下载Qwen3.8-27B-singprobe是一个构建在Qwen/Qwen3.8-27B之上的流式安全探针streaming guardrail模型它不额外运行独立的安全检测模型而是直接复用基座模型在解码过程中产生的隐藏状态hidden states在每一个 token上实时打出三类分数——查询意图、回复不安全性、幻觉风险解码开销低于0.5%。下面从[20, 41, 62]这三层隐藏状态切入看懂它是如何以 10.1M 参数的零头成本输出 10 个安全信号的。 什么是 SingProbe一个内嵌式安全仪表传统的 LLM 安全防护通常要在主模型之外再挂一个独立的安全分类模型对输入或输出做一遍再检测——这带来额外的推理延迟和部署复杂度。SingProbe 的思路完全不同大模型内部本来就知道自己在说什么。它在基座模型生成时搭车取用模型内部信号像给发动机装了一块仪表而不是再装一台发动机核心规格数值基座模型Qwen/Qwen3.8-27B探针参数量10.1M不到基座的 0.05%截取的隐藏层[20, 41, 62]输出标签8 种意图 不安全 幻觉共 10 个解码开销 0.5%也就是说安全检测的算力开销被压缩到了几乎可以忽略的程度。 [20, 41, 62]为什么是这三层在 Transformer 大模型中每个 token 会依次穿过数十层网络每层的输出都是一个5120 维向量即hidden_size。层数越靠后向量里任务语义越浓越靠前则保留更多词法、句法层面的信息。SingProbe 选择了三个位置作为观测点第 20 层浅层偏词法/意图信号擅长回答用户在问什么类型的问题第 41 层中层过渡层补充上下文中的语义细节第 62 层深层接近最终决策蕴含最完整的任务级语义三层各取 5120 维拼接后得到一个15360 维的安全特征向量。这一设计在 config.json 中可以找到对应配置base_model_layer_ids: [20, 41, 62]—— 定义截取的层号hidden_size: 5120—— 每层隐藏状态的维度num_labels: 10—— 输出的标签数量 选择 3 层是信息与成本的平衡单层信息不够充分层数多了则拼接向量和探针计算量都会上升。浅—中—深三点采样用最小代价覆盖了模型内部的完整信号带。⚡ 分步拆解三层向量如何变成 10 个安全信号整个转换过程发生在 modeling_sing_probe.py 中的SingProbeAttnModel见 SingProbeAttnModel可以分为三步第 1 步拼接三层信号基座模型解码时第 20、41、62 层的隐藏状态被直接取出并拼接得到 15360 维输入。探针在入口处会严格校验维度见 _validate_input保证只接受正确的层号组合防止误配。第 2 步微型注意力探针做上下文聚合拼接向量不是简单丢给一个分类器而是先经过一个极小的注意力模块Q 投影到 8 头 × 64 维K/V 各投影到 64 维再用 滑动窗口注意力窗口 2048在本地上下文范围内做因果聚合。这一步让探针能理解当前 token 的前后文而不是孤立地看一个词——这正是它能做到流式逐 token 检测的关键。第 3 步RMSNorm 分类器输出 10 个分数聚合后的向量经过o_proj残差连接、RMSNorm 归一化最后由线性分类器输出10 个 logit对应label_0–label_98 种查询意图、1 个不安全分、1 个幻觉风险分。另外modeling_sing_probe.py 中还内置了一个更轻量的MLP 变体SingProbeMlpModel仅两层全连接15360 → 1024 → 10适合对极致延迟敏感的场景配置定义在 configuration_sing_probe.py 中。 效果如何接近独立安全模型的水平按 README.md 公布的结果均为多个基准的均值数值越高越好任务指标SingProbe参考基线查询意图分类6 个基准F10.8683YuFeng-XGuard-Reason-8B0.8714回复安全分类8 个基准F10.8676Qwen3Guard-Gen-8B-strict0.8604流式安全3 个基准R-AUC / T-AUC0.9881 / 0.9305Qwen3Guard-Stream-8B-strict0.9640 / 0.8893幻觉检测6 个基准AUC0.8035DRIFT0.8000部署层面两个关键数字良性回复的误报率平均仅 0.03%5 个数据集平均解码开销 0.5%——对流式安全的检测速度而言它甚至超过了专用 8B 流式安全模型的 T-AUC。 快速上手一条命令启用流式安全防护SingProbe 通过 SGLang 或 vLLM 的集成分支支持启动服务时用--probe-ckpt指定本仓库即可例如python -m sglang.launch_server \ --model-path Qwen/Qwen3.8-27B \ --probe-ckpt inclusionAI/Qwen3.8-27B-singprobe \ --port 30000之后每生成一个 token服务端就会返回一个label_0–label_9的分数字典应用侧可以据此做意图路由、实时拦截或幻觉告警。⚠️ 注意探针必须与基座模型严格配对使用Qwen/Qwen3.8-27B 本 checkpoint换基座模型会导致层号错位而失效。 核心文件导航文件作用config.json探针的完整配置层号[20, 41, 62]、维度、注意力头数、滑窗等configuration_sing_probe.pySingProbeAttnConfig/SingProbeMlpConfig配置类定义input_size hidden_size × 层数modeling_sing_probe.py探针主体注意力版 SingProbeAttnModel 与轻量版 SingProbeMlpModelREADME.md模型说明、基准结果与 Quick Start 一句话总结Qwen3.8-27B-singprobe 证明了安全信号不必来自模型外部。从第 20、41、62 层各取一帧隐藏状态拼接后经一个 10.1M 参数的微型注意力探针就能在逐 token 流式输出的同时完成意图识别、安全分类与幻觉检测——开销不到 0.5%误报率 0.03%。对于需要实时护栏的 LLM 应用这是一种值得借鉴的内生式防护架构。赞分享【免费下载链接】Qwen3.8-27B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.8-27B-singprobe点击查看免费下载相关推荐Qwen3.5-4B-singprobe核心架构解析为什么在第9、19、30层提取隐藏状态Qwen3.5 4B singprobe核心架构解析为什么在第9、19、30层提取隐藏状态 Qwen3.5 4B singprobeSingProbe是一如何训练自己的token级安全探针Qwen3.8-27B-singprobeSingProbe训练方法与技术报告解读如何训练自己的token级安全探针Qwen3.8 27B singprobeSingProbe训练方法与技术报告解读 本文以开源模型 Qwen3.8 27Qwen3.5-397B-A17B-singprobe 工作原理揭秘为何复用隐藏状态就能实现零额外模型的安全探测Qwen3.5 397B A17B singprobe 工作原理揭秘为何复用隐藏状态就能实现零额外模型的安全探测 Qwen3.5 397B A17B sing创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考