【免费下载链接】Llama-3.2-1B-Instruct-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Llama-3.2-1B-Instruct-singprobe点击查看免费下载项目简介什么是 SingProbeLlama-3.2-1B-Instruct-singprobe是一个内置的流式安全护栏streaming guardrail构建在meta-llama/Llama-3.2-1B-Instruct之上。它无需额外运行独立的安全模型而是直接复用基座模型在生成过程中的隐藏状态hidden states对每个 token实时评估三类指标查询意图query intent️响应安全性response unsafety️幻觉风险hallucination risk整个探针仅新增4.2M 参数解码开销 0.5%几乎不影响推理速度。核心参数速查表在部署前建议先核对项目自带的关键配置。查看 config.json 可获取探针核心参数参数值说明基座模型meta-llama/Llama-3.2-1B-Instruct必须严格配对探针参数4.2M极轻量取样的隐藏层[4, 9, 14]即base_model_layer_ids输出标签8 意图 unsafe 幻觉label_0–label_9隐藏维度hidden_size: 2048见config.json注意力头数num_attention_heads: 8见config.json滑动窗口sliding_window: 2048见config.json精度bfloat16训练/推理数据类型⚠️关键约束探针与基座模型必须精确匹配即meta-llama/Llama-3.2-1B-Instruct搭配本 checkpoint切勿混用其他版本。架构说明两种探针结构本仓库提供了两种探针实现源码位于 modeling_sing_probe.py配置定义在 configuration_sing_probe.py模型类model_type结构SingProbeMlpModelsing_probe_mlp两层线性层 激活函数SingProbeAttnModelsing_probe_attn注意力机制 RMSNorm 分类头当前 config.json 中architectures指定为SingProbeAttnModel即采用注意力结构。其输入维度由hidden_size × 取样层数决定2048 × 3 6144代码中会严格校验不匹配会抛出input feature size ... does not match hidden_size * number of tapped layers集成方式一SGLang 部署推荐使用 SGLang 集成分支在服务器启动时通过--probe-ckpt参数加载探针python -m sglang.launch_server \ --model-path meta-llama/Llama-3.2-1B-Instruct \ --probe-ckpt inclusionAI/Llama-3.2-1B-Instruct-singprobe \ --port 30000参数说明--model-path基座模型路径必须为meta-llama/Llama-3.2-1B-Instruct--probe-ckpt探针 checkpoint即本仓库--port服务监听端口集成方式二vLLM 部署vLLM 集成分支的用法类似同样是启动服务时挂载探针。只需把启动命令中的推理引擎换成 vLLM并确保--model-path与探针配对一致即可。 两种集成方式的核心逻辑相同在生成每 token 时返回一个包含label_0–label_9的评分字典。输出如何解读集成后每个生成的 token 都会附带一个评分字典键为label_0到label_9分别对应 8 种意图、1 个 unsafe 标志和 1 个幻觉风险分数。你可以在业务层按分数阈值做拦截或告警分数越高 → 风险越需关注具体阈值按业务场景设定对良性响应该探针的平均误报率仅 0.08%效果数据一览来自 README.md 的评测结果越高越好任务指标本探针参考基线查询意图分类6 个基准F10.8566YuFeng-XGuard-Reason-8B0.8714响应安全分类8 个基准F10.8468Qwen3Guard-Gen-8B-strict0.8604流式安全3 个基准R-AUC / T-AUC0.9817 / 0.9242Qwen3Guard-Stream-8B-strict0.9640 / 0.8893幻觉检测6 个基准AUC0.7546DRIFT0.8000可以看出在流式安全场景下本探针表现显著优于 8B 级安全模型而参数量仅为后者的几十分之一。常见问题清单FAQQ1报错input feature size ... does not match怎么办输入维度 hidden_size × 取样层数。请确认你传入的隐藏状态维度与 config.json 中hidden_size: 2048和base_model_layer_ids: [4, 9, 14]共 3 层相乘的结果一致6144。该逻辑在 modeling_sing_probe.py 的_validate_input中校验。Q2能否用其他基座模型不能。README 明确要求exact base-model/probe pair精确配对。探针依赖meta-llama/Llama-3.2-1B-Instruct特定层的隐藏状态换模型会失效。Q3探针会增加多少延迟解码开销 0.5%基本可忽略。Q4--probe-ckpt路径应该填什么填本仓库的 Hugging Face IDinclusionAI/Llama-3.2-1B-Instruct-singprobe。Q5精度要用 fp16 还是 bf16按 config.json 的torch_dtype: bfloat16建议使用bfloat16以保证数值稳定。Q6如何获取权重模型权重文件为 model.safetensors配合 configuration_sing_probe.py 与 modeling_sing_probe.py 即可通过AutoModel自动加载auto_map已配置。快速上手清单 确认基座模型为meta-llama/Llama-3.2-1B-Instruct选择 SGLang 或 vLLM 集成分支启动命令加上--probe-ckpt inclusionAI/Llama-3.2-1B-Instruct-singprobe在业务层读取每个 token 的label_0–label_9评分做拦截按场景设定分数阈值完成流式安全护栏更多细节含技术报告链接与训练代码请查看项目 README.md。赞分享【免费下载链接】Llama-3.2-1B-Instruct-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Llama-3.2-1B-Instruct-singprobe点击查看免费下载相关推荐gemma-4-31B-it-singprobe部署指南SGLang/vLLM集成参数清单与避坑要点gemma 4 31B it singprobe部署指南SGLang/vLLM集成参数清单与避坑要点 gemma 4 31B it singprobe 是一个Llama-3.2-1B-Instruct-singprobe完整概览4.2M参数探针如何实现0.5%开销的Token级安全检测Llama 3.2 1B Instruct singprobe完整概览4.2M参数探针如何实现0.5%开销的Token级安全检测 Llama 3.2 1B从零理解LLM安全护栏Llama-3.2-1B-Instruct-singprobe的流式安全防护到底在保护什么从零理解LLM安全护栏Llama 3.2 1B Instruct singprobe的流式安全防护到底在保护什么 LLM 安全护栏Safety Guard创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考