【免费下载链接】benchmarkAISBench Benchmark is a model evaluation tool built on OpenCompass, compatible with OpenCompass’s configuration system, dataset structure, and model backend implementation, while extending support for service-based models.项目地址https://gitcode.com/gh_mirrors/benchmark48/benchmark点击查看免费下载AISBench是一款构建于 OpenCompass 之上的大模型测评工具兼容 OpenCompass 的配置系统、数据集结构与模型后端并扩展了对服务化模型vLLM、TGI 等推理 API的支持。它的自定义配置文件机制允许你用一个 Python 文件集中管理「模型 × 数据集」的任意组合一次编写、反复复用、团队共享把过去要敲 N 次命令的批量测评压缩成一条执行命令。为什么推荐用自定义配置文件AISBench 有两种运行方式命令行参数CLI和自定义配置文件。官方推荐优先使用后者 对比维度CLI 参数方式自定义配置文件方式可复用性每次运行需重新输入完整命令文件可保存、可版本管理、反复使用表达能力只能指定模型/数据集名称可控制模型参数、采样范围、推理配置等所有细节组合灵活性仅支持笛卡尔积组合支持model_dataset_combinations精确配对参数覆盖无法修改预设任务内部参数可直接改abbr、test_range、host_port等任意字段团队协作命令难以共享和追溯配置即代码可提交仓库 review 和复用一句话总结CLI 适合快速验证配置文件适合正式、可复现、复杂的测评场景。核心概念一个配置文件就是一份 Python 脚本自定义配置文件本质是一个 Python 脚本因此循环、条件判断、列表推导式全部可用。一个完整的测评任务由以下几个顶层变量定义变量名是否必需作用models✅推理时模型任务列表元素为模型配置字典含type、abbr、host_ip等datasets✅推理时数据集任务列表元素为数据集配置字典含type、abbr、reader_cfg、infer_cfg、eval_cfgmodel_dataset_combinations❌自定义模型-数据集精确配对不指定时默认做笛卡尔积组合summarizer❌结果汇总器通常从 example.py 导入work_dir❌结果与日志输出目录默认outputs/default/infer/eval❌推理/评测流程配置分区器、运行器、任务类型其中abbr是模型与数据集在结果表格中的列名/行名也是任务的唯一标识——这一点在后面的避坑环节至关重要 ⚠️第一步修改预置模板跑通你的第一个配置文件仓库已内置了一个带完整中文注释的预置模板 model_api_test_zh_cn.py只需按顺序完成 3 件事选模型取消注释切换服务化模型类型vllm_api_general/vllm_api_general_chat/vllm_api_stream_chat并按你的推理服务修改host_ip、host_port、generation_kwargstemperature、top_k 等。选数据集把数据集任务的 import 语句替换成你需要的例如 demo 用的demo_gsm8k_gen_4_shot_cot_chat_prompt所有可用数据集的导入方式可在 all_dataset_configs.py 中一站式查到。执行ais_bench ais_bench/configs/model_api_test_zh_cn.py想并行跑多个任务时加一个参数即可ais_bench ais_bench/configs/model_api_test_zh_cn.py --max-num-workers 4执行后命令行会实时刷新任务看板按P暂停刷屏方便复制全部日志与结果落在work_dir下的时间戳目录中。批量提效核心一个文件跑满模型 × 数据集矩阵这正是自定义配置文件最强大的地方——变量拼接即组合。以下真实样例来自 infer_vllm_api_multi_model_multi_dataset.pyfrom mmengine.config import read_base with read_base(): from ais_bench.benchmark.configs.summarizers.example import summarizer from ais_bench.benchmark.configs.datasets.gsm8k.gsm8k_gen_0_shot_cot_str import gsm8k_datasets as gsm8k from ais_bench.benchmark.configs.datasets.math.math500_gen_0_shot_cot_chat_prompt import math_datasets as math500 from ais_bench.benchmark.configs.datasets.mmlu.mmlu_gen_5_shot_str import mmlu_datasets as mmlu from ais_bench.benchmark.configs.models.vllm_api.vllm_api_general import models as m1 from ais_bench.benchmark.configs.models.vllm_api.vllm_api_general_chat import models as m2 from ais_bench.benchmark.configs.models.vllm_api.vllm_api_stream_chat import models as m3 datasets gsm8k math500 mmlu # 3 个数据集 models m1 m2 m3 # 3 个模型 work_dir outputs/multi_model_multi_dataset/不写model_dataset_combinations时AISBench 自动做笛卡尔积3 个模型 × 3 个数据集 9 个测评任务一个文件全部搞定 单条命令即可在最终汇总表里得到一张模型为列、数据集为行的完整对比表。精确控制model_dataset_combinations 按需配对当笛卡尔积会产生无意义任务时比如某个模型只测特定数据集用model_dataset_combinations精确配对。样例见 infer_vllm_api_with_model_dataset_combinations.pymodel_dataset_combinations [ dict(models[models[0]], datasets[datasets[0]]), # 模型0 只测 数据集0 dict(models[models[1]], datasets[datasets[1]]), # 模型1 只测 数据集1 dict(models[models[2]], datasets[datasets[0], datasets[1]]), # 模型2 全测 ]⚠️ 最常见的坑abbr 重复导致任务被静默跳过同一配置文件中相同abbr的模型与数据集组合会被视为重复任务而跳过即使内部参数如端口不同也会被跳过。正确做法是复用配置时先改名model_copy vllm_api_general.copy() model_copy[0][abbr] vllm_api_general[0][abbr] -copy # 先改 abbr 再复用四个高频进阶技巧for 循环批量构建模型多台服务不同端口8080/8081/8082逐个压测一个循环生成全部模型配置abbr用 f-string 自动加后缀区分。.copy()复用改参数复制同一模型配置、仅改generation_kwargs中的temperature如 0.9 vs 0.1即可在同一文件里完成温度对比实验。环境变量条件切换os.environ.get(USE_STREAM)判断后选择VLLMCustomAPIChat或VLLMCustomAPI一份配置适配流式/非流式两套服务。test_range限制采样修改reader_cfg的test_range为[0:8]只跑前 8 条数据做快速冒烟验证省时间又省钱 六大典型场景预置样例文件速查仓库为每类场景都提供了现成模板直接复制修改即可场景预置样例文件单任务快速上手中文注释model_api_test_zh_cn.py服务化精度多模型×多数据集infer_vllm_api_multi_model_multi_dataset.py自定义模型-数据集配对infer_vllm_api_with_model_dataset_combinations.py裁判模型LLM Judge测评infer_vllm_api_with_judge_model.py精度多任务2 模型×2 数据集multi_task_zh_cn.py性能多任务流式接口压测multi_task_zh_cn.py更完整的变量字段参考与 10 个场景样例稳态压测、多轮对话、自定义数据集等详见官方教程 run_custom_config.md。性能测评同样一个文件搞定性能场景与精度场景共用同一套配置文件只需将模型改为流式类型vllm_api_stream_chat等、指定request_rate请求速率0 表示不限速和batch_size并发数运行命令加-m perf切换性能模式ais_bench ais_bench/configs/performance_benchmark/multi_task_zh_cn.py -m perf跑完后除了指标表格还会输出请求数与并发的时间曲线图直观观察流量爬坡、稳态、退出三个阶段如果通过不同request_rate值批量配置多个模型如 0/5/10/20还可模拟稳态负载AISBench 会自动识别计算稳态阶段并只基于该阶段的请求计算吞吐与延迟查看结果一张表看全所有组合任务结束后work_dir下的时间戳目录会包含完整产物configs/合成配置、logs/推理与评测日志、predictions/模型原始输出、results/原始分数、summary/csv/md/txt 三种格式的最终汇总。多个模型多个数据集的结果自然合并为一张对比表性能场景则输出 E2EL、TTFT、TPOT、吞吐等分位数指标总结一个文件 完整测评计划modelsdatasets拼接即笛卡尔积批量组合零成本。精确配对model_dataset_combinations消除无意义任务改abbr避免任务被误判重复。配置即代码循环、.copy()、环境变量让多端口压测温度对比这类实验变得优雅。可复现、可共享把配置文件提交到仓库团队成员一条命令复现完全相同的测评。更多资料入口自定义配置完整教程、快速入门、数据集列表、GSM8K 数据集说明。赞分享【免费下载链接】benchmarkAISBench Benchmark is a model evaluation tool built on OpenCompass, compatible with OpenCompass’s configuration system, dataset structure, and model backend implementation, while extending support for service-based models.项目地址https://gitcode.com/gh_mirrors/benchmark48/benchmark点击查看免费下载相关推荐高级用户指南Get cookies.txt LOCALLY命令行工具集成与自动化脚本编写高级用户指南Get cookies.txt LOCALLY命令行工具集成与自动化脚本编写 Get cookies.txt LOCALLY是一款专注于本地Coo开发工具前端Filebrowser 配置文件终极指南全面自定义你的文件服务器Filebrowser 配置文件终极指南全面自定义你的文件服务器 Filebrowser 是一个强大的开源文件管理系统让你能够通过网页浏览器轻松管理服务器文后端前端存储Common Test 外部配置数据External Configuration Data完全指南从配置文件语法到自定义配置处理器Common Test 外部配置数据External Configuration Data完全指南从配置文件语法到自定义配置处理器 本指南基于 Erlan编程语言语言运行时编译器标准库并发编程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/28 14:25:57 · 阅读 1.2k AISBench提效终极秘籍：自定义配置文件完全指南，一个文件管理全部模型×数据集组合
【免费下载链接】benchmarkAISBench Benchmark is a model evaluation tool built on OpenCompass, compatible with OpenCompass’s configuration system, dataset structure, and model backend implementation, while extending support for service-based models.项目地址https://gitcode.com/gh_mirrors/benchmark48/benchmark点击查看免费下载AISBench是一款构建于 OpenCompass 之上的大模型测评工具兼容 OpenCompass 的配置系统、数据集结构与模型后端并扩展了对服务化模型vLLM、TGI 等推理 API的支持。它的自定义配置文件机制允许你用一个 Python 文件集中管理「模型 × 数据集」的任意组合一次编写、反复复用、团队共享把过去要敲 N 次命令的批量测评压缩成一条执行命令。为什么推荐用自定义配置文件AISBench 有两种运行方式命令行参数CLI和自定义配置文件。官方推荐优先使用后者 对比维度CLI 参数方式自定义配置文件方式可复用性每次运行需重新输入完整命令文件可保存、可版本管理、反复使用表达能力只能指定模型/数据集名称可控制模型参数、采样范围、推理配置等所有细节组合灵活性仅支持笛卡尔积组合支持model_dataset_combinations精确配对参数覆盖无法修改预设任务内部参数可直接改abbr、test_range、host_port等任意字段团队协作命令难以共享和追溯配置即代码可提交仓库 review 和复用一句话总结CLI 适合快速验证配置文件适合正式、可复现、复杂的测评场景。核心概念一个配置文件就是一份 Python 脚本自定义配置文件本质是一个 Python 脚本因此循环、条件判断、列表推导式全部可用。一个完整的测评任务由以下几个顶层变量定义变量名是否必需作用models✅推理时模型任务列表元素为模型配置字典含type、abbr、host_ip等datasets✅推理时数据集任务列表元素为数据集配置字典含type、abbr、reader_cfg、infer_cfg、eval_cfgmodel_dataset_combinations❌自定义模型-数据集精确配对不指定时默认做笛卡尔积组合summarizer❌结果汇总器通常从 example.py 导入work_dir❌结果与日志输出目录默认outputs/default/infer/eval❌推理/评测流程配置分区器、运行器、任务类型其中abbr是模型与数据集在结果表格中的列名/行名也是任务的唯一标识——这一点在后面的避坑环节至关重要 ⚠️第一步修改预置模板跑通你的第一个配置文件仓库已内置了一个带完整中文注释的预置模板 model_api_test_zh_cn.py只需按顺序完成 3 件事选模型取消注释切换服务化模型类型vllm_api_general/vllm_api_general_chat/vllm_api_stream_chat并按你的推理服务修改host_ip、host_port、generation_kwargstemperature、top_k 等。选数据集把数据集任务的 import 语句替换成你需要的例如 demo 用的demo_gsm8k_gen_4_shot_cot_chat_prompt所有可用数据集的导入方式可在 all_dataset_configs.py 中一站式查到。执行ais_bench ais_bench/configs/model_api_test_zh_cn.py想并行跑多个任务时加一个参数即可ais_bench ais_bench/configs/model_api_test_zh_cn.py --max-num-workers 4执行后命令行会实时刷新任务看板按P暂停刷屏方便复制全部日志与结果落在work_dir下的时间戳目录中。批量提效核心一个文件跑满模型 × 数据集矩阵这正是自定义配置文件最强大的地方——变量拼接即组合。以下真实样例来自 infer_vllm_api_multi_model_multi_dataset.pyfrom mmengine.config import read_base with read_base(): from ais_bench.benchmark.configs.summarizers.example import summarizer from ais_bench.benchmark.configs.datasets.gsm8k.gsm8k_gen_0_shot_cot_str import gsm8k_datasets as gsm8k from ais_bench.benchmark.configs.datasets.math.math500_gen_0_shot_cot_chat_prompt import math_datasets as math500 from ais_bench.benchmark.configs.datasets.mmlu.mmlu_gen_5_shot_str import mmlu_datasets as mmlu from ais_bench.benchmark.configs.models.vllm_api.vllm_api_general import models as m1 from ais_bench.benchmark.configs.models.vllm_api.vllm_api_general_chat import models as m2 from ais_bench.benchmark.configs.models.vllm_api.vllm_api_stream_chat import models as m3 datasets gsm8k math500 mmlu # 3 个数据集 models m1 m2 m3 # 3 个模型 work_dir outputs/multi_model_multi_dataset/不写model_dataset_combinations时AISBench 自动做笛卡尔积3 个模型 × 3 个数据集 9 个测评任务一个文件全部搞定 单条命令即可在最终汇总表里得到一张模型为列、数据集为行的完整对比表。精确控制model_dataset_combinations 按需配对当笛卡尔积会产生无意义任务时比如某个模型只测特定数据集用model_dataset_combinations精确配对。样例见 infer_vllm_api_with_model_dataset_combinations.pymodel_dataset_combinations [ dict(models[models[0]], datasets[datasets[0]]), # 模型0 只测 数据集0 dict(models[models[1]], datasets[datasets[1]]), # 模型1 只测 数据集1 dict(models[models[2]], datasets[datasets[0], datasets[1]]), # 模型2 全测 ]⚠️ 最常见的坑abbr 重复导致任务被静默跳过同一配置文件中相同abbr的模型与数据集组合会被视为重复任务而跳过即使内部参数如端口不同也会被跳过。正确做法是复用配置时先改名model_copy vllm_api_general.copy() model_copy[0][abbr] vllm_api_general[0][abbr] -copy # 先改 abbr 再复用四个高频进阶技巧for 循环批量构建模型多台服务不同端口8080/8081/8082逐个压测一个循环生成全部模型配置abbr用 f-string 自动加后缀区分。.copy()复用改参数复制同一模型配置、仅改generation_kwargs中的temperature如 0.9 vs 0.1即可在同一文件里完成温度对比实验。环境变量条件切换os.environ.get(USE_STREAM)判断后选择VLLMCustomAPIChat或VLLMCustomAPI一份配置适配流式/非流式两套服务。test_range限制采样修改reader_cfg的test_range为[0:8]只跑前 8 条数据做快速冒烟验证省时间又省钱 六大典型场景预置样例文件速查仓库为每类场景都提供了现成模板直接复制修改即可场景预置样例文件单任务快速上手中文注释model_api_test_zh_cn.py服务化精度多模型×多数据集infer_vllm_api_multi_model_multi_dataset.py自定义模型-数据集配对infer_vllm_api_with_model_dataset_combinations.py裁判模型LLM Judge测评infer_vllm_api_with_judge_model.py精度多任务2 模型×2 数据集multi_task_zh_cn.py性能多任务流式接口压测multi_task_zh_cn.py更完整的变量字段参考与 10 个场景样例稳态压测、多轮对话、自定义数据集等详见官方教程 run_custom_config.md。性能测评同样一个文件搞定性能场景与精度场景共用同一套配置文件只需将模型改为流式类型vllm_api_stream_chat等、指定request_rate请求速率0 表示不限速和batch_size并发数运行命令加-m perf切换性能模式ais_bench ais_bench/configs/performance_benchmark/multi_task_zh_cn.py -m perf跑完后除了指标表格还会输出请求数与并发的时间曲线图直观观察流量爬坡、稳态、退出三个阶段如果通过不同request_rate值批量配置多个模型如 0/5/10/20还可模拟稳态负载AISBench 会自动识别计算稳态阶段并只基于该阶段的请求计算吞吐与延迟查看结果一张表看全所有组合任务结束后work_dir下的时间戳目录会包含完整产物configs/合成配置、logs/推理与评测日志、predictions/模型原始输出、results/原始分数、summary/csv/md/txt 三种格式的最终汇总。多个模型多个数据集的结果自然合并为一张对比表性能场景则输出 E2EL、TTFT、TPOT、吞吐等分位数指标总结一个文件 完整测评计划modelsdatasets拼接即笛卡尔积批量组合零成本。精确配对model_dataset_combinations消除无意义任务改abbr避免任务被误判重复。配置即代码循环、.copy()、环境变量让多端口压测温度对比这类实验变得优雅。可复现、可共享把配置文件提交到仓库团队成员一条命令复现完全相同的测评。更多资料入口自定义配置完整教程、快速入门、数据集列表、GSM8K 数据集说明。赞分享【免费下载链接】benchmarkAISBench Benchmark is a model evaluation tool built on OpenCompass, compatible with OpenCompass’s configuration system, dataset structure, and model backend implementation, while extending support for service-based models.项目地址https://gitcode.com/gh_mirrors/benchmark48/benchmark点击查看免费下载相关推荐高级用户指南Get cookies.txt LOCALLY命令行工具集成与自动化脚本编写高级用户指南Get cookies.txt LOCALLY命令行工具集成与自动化脚本编写 Get cookies.txt LOCALLY是一款专注于本地Coo开发工具前端Filebrowser 配置文件终极指南全面自定义你的文件服务器Filebrowser 配置文件终极指南全面自定义你的文件服务器 Filebrowser 是一个强大的开源文件管理系统让你能够通过网页浏览器轻松管理服务器文后端前端存储Common Test 外部配置数据External Configuration Data完全指南从配置文件语法到自定义配置处理器Common Test 外部配置数据External Configuration Data完全指南从配置文件语法到自定义配置处理器 本指南基于 Erlan编程语言语言运行时编译器标准库并发编程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考