Intern-S2-Preview与Intern-S1-Pro对比:35B参数如何超越万亿级模型 Intern-S2-Preview与Intern-S1-Pro对比35B参数如何超越万亿级模型Intern-S2-Preview是一款高效的350亿参数科学多模态基础模型。除了常规的参数与数据规模扩展外它探索了任务扩展通过提升科学任务的难度、多样性与覆盖范围进一步释放模型能力。在仅使用35B参数的情况下 Intern-S2-Preview在多个核心专业科学任务上实现了与万亿级Intern-S1-Pro相当的性能同时保持了强大的通用推理、多模态理解和智能体能力。核心技术突破小参数实现大能力的秘诀科学任务全链条训练扩展Intern-S2-Preview将数百个专业科学任务从预训练扩展到强化学习阶段在仅35B参数的情况下实现了跨多个专业领域的强大性能。它进一步加强了小分子结构的空间建模并引入实值预测模块使其成为首个同时具备材料晶体结构生成能力和强大通用能力的开源模型。增强的科学工作流智能体能力相比上一代模型Intern-S2-Preview显著提升了智能体能力在多个科学智能体基准测试中取得了优异成绩。这使得它在处理复杂科学工作流时更加高效和智能。MTP与CoT压缩的高效RL推理在强化学习过程中Intern-S2-Preview采用带KL损失的共享权重MTP减少训练与推理行为之间的不匹配大幅提高MTP接受率和令牌生成速度。同时引入CoT压缩技术在保持强大推理能力的同时缩短响应实现性能和效率的双重提升。升级的时间序列建模改进的时间序列建模能够更好地表示物理信号支持长异构时间序列10^0–10^6点为处理各种科学数据提供了更强大的基础。性能对比35B参数挑战万亿级模型复杂数学基准测试的推理效率在复杂数学基准测试中Intern-S2-Preview红色星号显著优于万亿级的Intern-S1-Pro红色圆圈在中等规模模型中以更高的令牌效率实现了更高的准确率。这一结果展示了其在推理效率方面的巨大优势。多领域性能评估Intern-S2-Preview在各种基准测试中进行了评估包括通用数据集和科学数据集。与近期的VLMs和LLMs相比它在多个指标上表现出色。下划线表示开源模型中的最佳性能粗体表示所有模型中的最佳性能。评估使用了OpenCompass和VLMEvalKit文本推理基准测试的最大推理长度为128K令牌多模态基准测试的最大推理长度为64K令牌。快速开始使用Intern-S2-Preview推荐的采样参数为确保获得更好的结果建议使用以下超参数top_p 0.95 top_k 50 min_p 0.0 temperature 0.8模型部署Intern-S2-Preview可以使用以下任何LLM推理框架进行部署LMDeployvLLMSGLang这些框架的详细部署示例可在Model Deployment Guide中找到。工具调用功能工具调用使模型能够通过调用外部工具和API来扩展其能力。例如可以使用基于lmdeploy api服务器的OpenAI兼容API来获取最新的天气预报。思维与非思维模式切换Intern-S2-Preview默认启用思维模式增强模型的推理能力以生成更高质量的响应。可以通过在tokenizer.apply_chat_template中设置enable_thinkingFalse来禁用此功能。在部署Intern-S2-Preview模型时可以通过调整请求中的enable_thinking参数动态控制思维模式。时间序列演示时间序列推理目前仅在LMDeploy中支持。按照Model Deployment Guide下载并部署带有LMDeploy的Intern-S2-Preview后可以实现从时间序列信号文件中检测地震事件等功能。智能体集成Intern-S2-Preview可以通过两种方式集成到智能体框架中连接到自托管部署或调用官方InternLM API。自托管部署以LMDeploy为例首先按照Model Deployment Guide使用LMDeploy提供模型服务。大多数智能体框架OpenClaw、Hermes等接受OpenAI兼容的端点只需将其指向LMDeploy服务器基本URL即可。官方Intern API如果不想自托管可以使用官方Intern API。在internlm.intern-ai.org.cn注册并创建API令牌后即可使用与OpenAI兼容的服务。总结效率与性能的完美平衡Intern-S2-Preview通过创新的任务扩展和高效的训练方法在仅35B参数的情况下实现了与万亿级模型相当的性能。这一突破不仅展示了模型效率的重要性也为科学研究和应用提供了更强大、更经济的AI工具。无论是在复杂的科学计算还是日常的智能应用中Intern-S2-Preview都展现出了卓越的性能和潜力成为开源社区中一个重要的里程碑。要开始使用Intern-S2-Preview请克隆仓库https://gitcode.com/InternLM/Intern-S2-Preview按照部署指南进行设置体验这款高效能科学多模态基础模型带来的强大能力。创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考