大模型人工智能缓存【免费下载链接】unified-cache-managementUnified Cache Manager推理记忆数据管理器是一款以KV Cache为中心的推理加速套件其融合了多类型缓存加速算法工具分级管理并持久化推理过程中产生的KV Cache记忆数据扩大推理上下文窗口以实现高吞吐、低时延的推理体验降低每Token推理成本。项目地址https://gitcode.com/ModelEngine/unified-cache-management点击查看免费下载本文聚焦于 unified-cache-management 仓库中test/common/llmperf目录下的 LLM 性能测试框架即LLMPerf.md文档所描述的测试套件系统讲解其在多样负载下如何量化推理服务的延迟分布TTFT/TBT/端到端、吞吐上限、并发稳定性与Prefix Cache 命中效果。读者阅读后可掌握该框架的配置体系、三大引擎vLLM/SGLang/MindIE下缓存命中率的差异处理逻辑、pytest 执行方式、结果指标含义与质量门禁规则并可直接在仓库的 test/ 目录下复现整套性能基准测试流程。功能概述该测试套件能测什么该测试框架专为LLM 推理服务设计用于在多样化负载条件下对推理服务进行自动化、可量化的性能评估覆盖以下四个关键维度测试维度评估重点适用场景⏱️延迟分析TTFT首 Token 延迟、TBTToken 间隔延迟、端到端延迟实时交互应用Chatbot吞吐能力Total / Incremental Throughput高并发批量处理并发稳定性不同并发度下的性能衰减曲线容量规划与限流策略缓存效能Prefix Cache Hit RatePrefill 复用率长上下文重复查询优化从源码结构看测试套件的核心调用链可概括为pytest 入口test/suites/E2E/test_uc_performance.py └─ inference_results()test/common/llmperf/run_inference.py └─ run_test_cases()按引擎类型分派 prefill 预埋策略 └─ run_token_benchmark()test/common/llmperf/utils/token_benchmark.py └─ get_token_throughput_latencies()生成 Prompt、线程池并发发压 └─ OpenAIChatCompletionsClient.llm_request() test/common/llmperf/utils/openai_chat_completions_client.py其中负载发压与指标采集的核心实现位于 token_benchmark.py它通过ThreadPoolExecutor(max_workersconcurrent_requests)提交请求、以as_completed(futures, timeouttest_timeout_s)控制总超时指标名称常量统一定义在 common_metrics.py。配置体系测试套件采用双层配置结构环境级配置写在 config.yaml负载矩阵则内嵌于测试文件 test_uc_performance.py。所有配置通过 config_utils.py 中的单例config_utils读取支持get_config取顶层键、get_nested_config取a.b.c嵌套键。基础环境配置config.yamlllm_connection段定义模型、服务端点与环境参数参数类型必填说明示例值modelstring✅模型标识名称Qwen3-32Bserver_urlstring✅推理服务 HTTP 端点http://141.111.32.70:8244tokenizer_pathstring✅Tokenizer 本地路径/mnt/model/Qwen3-32Bllm_typeenum✅推理引擎类型vllm/sglang/mindieenable_clear_hbmbool✅测试前清除显存/前缀缓存true默认timeoutint✅单请求超时时间秒180默认仓库中 config.yaml 还给出了若干补充参数实际运行时同样生效补充参数类型说明仓库默认值streambool是否流式输出SSE影响 TTFT/TBT 的测量方式trueignore_eosbool是否忽略返回的结束符避免提前截断影响吞吐统计trueextra_infostring附加说明用于标记不同的服务拉起参数如vllm_qwen3-32b_pc-gsa会写入结果元数据—stddev_input_tokensint输入 Token 数标准差控制 Prompt 长度波动见inference_results读取逻辑0stddev_output_tokensint输出 Token 数标准差0这些参数在 openai_chat_completions_client.py 中被读取并拼入请求体stream、ignore_eos、timeoutextra_info则经 test_uc_performance.py 写入最终的扁平化指标字典。引擎特性差异Hit Rate 处理逻辑不同推理引擎对Prefix Cachinghit_rate的实现机制差异显著测试框架据此采用不同的 prefill 预埋策略引擎Prefill 策略实际输入计算备注vLLM1 次预埋input_tokens不变利用 vLLM 的 Automatic Prefix CachingSGLang2 次预埋input_tokens不变双重预热确保 KV Cache 稳定MindIE跳过input_tokens × hit_rate直接缩短输入长度模拟命中效果这段逻辑在 run_inference.py 中有完整源码实现可逐一对应预埋长度计算prefill_mean_input int(mean_input * hit_rate_val / 100)run_inference.py即按命中率百分比截取输入前缀作为缓存预埋内容。vLLM 路径run_vllm()先执行一轮mean_output2的 prefill 请求仅发送前缀、几乎不生成 Token随后进入正常推理run_inference.py。SGLang 路径run_sglang()连续执行prefill_1、prefill_2两轮预埋每轮之间time.sleep(2)再切换正常模式run_inference.py。MindIE 路径run_mindie()不做预埋直接将正常请求的mean_input替换为prefill_mean_input用缩短后的实际输入模拟缓存命中效果run_inference.py。缓存清理每个阶段之间调用reset_prefill_cache()实现在 utils.py当enable_clear_hbmtrue时vLLM 走POST {server_url}/reset_prefix_cacheSGLang 走POST {server_url}/flush_cache确保每轮测试从干净的缓存状态开始。阶段分派run_test_cases()通过zip(mean_input_tokens, mean_output_tokens, max_num_completed_requests, concurrent_requests, random_seed, hit_rate)逐组消费负载矩阵并按llm_type路由到对应分支run_inference.py不支持的引擎会抛出ValueError。此外每轮 prefill 请求的user_metadata中会记录phaseprefill/prefill_1/prefill_2/normal与case_idx便于事后区分结果归属。负载参数配置test_uc_performance.py测试用例负载矩阵定义在 test_uc_performance.py 中测试用例为每组 list 相同对应位置即索引对齐后构成一组完整场景参数类型说明示例mean_input_tokenslist[int]平均输入长度分布[512, 2048, 4096]mean_output_tokenslist[int]平均输出长度分布[128, 512, 1024]concurrent_requestslist[int]并发请求数梯度[1, 4, 8]max_num_completed_requestslist[int]单轮最大完成数[100, 50, 50]hit_ratelist[int]缓存命中率%[0, 50, 90]random_seedlist[int]随机种子[42, 0, 0]实际测试文件中的默认场景为perf_scenarios [(1000, 1024, 8, 8, 0, 0), (4000, 500, 1, 1, 0, 0)]test_uc_performance.py每组元素依次对应(mean_in, mean_out, max_req, concurrent, random_seed, hit_rate)。随机种子Random Seed策略取值行为适用场景0每轮生成随机 Prompt模拟真实流量分布≠0多轮固定相同 Prompt回归测试、A/B 对比源码实现中有两点值得注意在 run_inference.py 中当seed 0时会被替换为random.randint(1, 100000)的真实随机种子随后random.seed(random_seed)会锁住该轮的 Prompt 生成序列固定种子的 Prompt 通过generate_fixed_token_prompt()基于Token ID 采样生成而非文本拼接并用hashlib.sha256打印摘要以校验一致性见 token_benchmark.py。输入长度服从高斯分布且采样到非正数时会循环重采sample_random_positive_int实现在 utils.py。测试执行前置依赖# 安装测试框架依赖 pip install -r requirements.txt # 验证推理服务端点可达 curl http://server_url/health依赖清单见 requirements.txt除 pytest、requests、pandas、transformers 外还包含nvidia-ml-py用于 conftest.py 中的 GPU 显存探测与分配、peewee/psycopg2-binary/pymongo结果可选入库等。执行前应确保推理服务已拉起且server_url可访问vLLM/SGLang 等通常暴露 OpenAI 兼容的/v1/chat/completions端点测试客户端会自动拼接tokenizer_path指向本地 HuggingFace 模型目录用于精确统计 Prompt/输出 Token 数若enable_clear_hbmtrue服务需提供reset_prefix_cachevLLM或flush_cacheSGLang接口用于清缓存。运行方式cd test/ # 方式1运行完整测试文件 pytest test_uc_performance.py -v # 方式2按阶段执行如阶段0基准测试 pytest --stage0 # 方式3按特性标签执行 pytest --featureuc_performance_test这三种方式与 pytest.ini 中注册的 markers 一一对应stage0Unit 1Smoke 2Regression 3Release、feature特性标签、platformgpu/npu等筛选逻辑实现在 conftest.py 的pytest_collection_modifyitems中支持--stage2这类“大于等于某阶段”的写法。性能用例test_performance被标记为pytest.mark.stage(2)与pytest.mark.feature(uc_performance_test)test_uc_performance.py并经pytest.mark.parametrize展开为多组场景。实时监控运行时可观察以下实时输出[ RUNNING ] Qwen3-32B | input2048 | output512 | concurrency8 | hit_rate50% [ PROGRESS ] 45/100 requests completed (45%) | TTFT: 125ms | TBT: 18ms [ COMPLETE ] Throughput: 156.3 tok/s | P99 Latency: 8.4s此外测试进程启动时会打印加载到的完整 LLM 配置模型、端点、超时、结果目录等并在每个用例开始前输出 Executing test case N 与hit_rateN%, prefill_mean_inputM等日志见 run_inference.py便于现场核对参数。进阶通过环境变量注入测试场景负载矩阵不仅可改代码也可通过环境变量PERF_TEST_CASE动态注入其值需为 JSON 格式的六元组列表每组(mean_in, mean_out, max_req, concurrent, random_seed, hit_rate)解析成功后覆盖默认perf_scenarios格式非法时回退默认值test_uc_performance.py。另外设置ENABLE_PROFILINGtrue时用例会在压测前后向服务发送POST {server_url}/start_profile与stop_profile请求test_uc_performance.py方便同步采集 Profiler 数据。结果解读核心指标定义延迟维度Latency指标说明关注重点ttft_sTime To First Token首字响应速度影响用户感知延迟inter_token_latency_sTime Between Tokens流式输出流畅度end_to_end_latency_s总耗时完整请求处理时间统计分位每项指标输出P50 / P90 / P99 / Mean此外还包含 Min / Max / Stddev 以及 P25 / P75 / P95。这些指标的采集逻辑如下TTFT 在客户端收到首个content内容块时以time.monotonic() - start_time计算openai_chat_completions_client.py同时兼容reasoning_content如带思维链的模型相邻 Token 到达时间差累计为inter_token_latency_s随后在 token_benchmark.py 中按(输出Token数 - 1)归一化得到平均 Token 间隔并进一步推导tpot_sTime Per Output Token即(e2e - ttft) / (n_out - 1)指标常量定义可参考 common_metrics.py其中还包含number_input_tokens、number_output_tokens、request_output_throughput_token_per_s等明细字段。吞吐维度Throughput指标计算方式用途total_throughputTotal Tokens / Total Time综合吞吐能力incremental_throughputOutput Tokens / Generation Time解码阶段纯效率具体实现在compute_throughput()token_benchmark.pytotal_throughput (mean_output_tokens × 完成请求数) / 总耗时elapsed_timeincremental_throughput (mean_output_tokens × 完成请求数) / 增量时间开销incremental_time_delay其中incremental_time_delay为所有请求inter_token_latency之和即纯解码阶段的累计时间。其他关键指标num_completed_requests成功完成请求数对比期望值验证成功率elapsed_time单轮测试 wall-clock 时间incremental_time_delay解码阶段时间开销此外metrics_summary()token_benchmark.py还会输出error_rate、num_completed_requests_per_min、mean_output_throughput_token_per_s等汇总值并以 Pandas DataFrame 计算分位数与均值。输出格式示例测试结果以结构化字典返回便于存储数据库或看板展示{ _name: llmperf, _metadata: { model: Qwen3-32B, timestamp: 2026-01-31T14:30:00Z, config: { ... } }, _data: { # 延迟分布 (秒) results_ttft_s_mean: 0.125, results_ttft_s_quantiles_p50: 0.118, results_ttft_s_quantiles_p99: 0.245, results_inter_token_latency_s_mean: 0.018, results_end_to_end_latency_s_mean: 4.567, # 吞吐指标 (tokens/s) results_total_throughput: 245.8, results_incremental_throughput: 198.3, # 请求统计 results_num_completed_requests: 100, results_elapsed_time: 45.2 } }在仓库实际实现中inference_results()返回的summary字典包含total_throughput、incremental_throughput、num_completed_requests、elapsed_time等字段且run_token_benchmark()会为每轮测试在results/llmperf/目录下落盘一份{model}_{input}_{output}_{timestamp}_summary.jsontoken_benchmark.py文件内容经LLMPerfResults.to_dict()展平便于 JSON 存储test_uc_performance.py 会把各指标再次展平为ttft_mean_s、tpot_mean_s、e2e_mean_s、total_throughput、incremental_throughput、elapsed_time_s等键配合export_vars装饰器与 conftest.py 中的pytest_runtest_logreport将结果以_name/_proj结构导出由test/common/capture_results/下的后端localFile / postgresql / mongodb落库或写文件config.yaml 中results段配置。质量门禁自动校验规则测试框架内置以下硬性通过标准规则在文档中描述test_performance用例中亦有对应断言见 test_uc_performance.pydef validate_metrics(result: dict) - bool: 验证所有数值指标有效性 critical_metrics [ results_ttft_s_mean, results_inter_token_latency_s_mean, results_total_throughput, results_num_completed_requests ] for metric in critical_metrics: value result[_data].get(metric) # 规则1数值必须存在 if value is None: raise ValidationError(f❌ {metric}: 返回值为 None) # 规则2数值必须为正 if value 0: raise ValidationError(f❌ {metric}: {value} 不符合 0 要求) return True即关键指标缺失即判失败、非正值即判失败。这一校验与metrics_summary()中“过滤错误请求error_code为 NaN后再统计”的策略配合可避免异常请求污染分位数据。失败判定标准异常类型表现处理建议指标为 None服务超时或统计失败检查timeout配置增大阈值指标 ≤ 0服务异常或计算错误检查推理服务日志完成数不足num_completed max_num_completed检查并发压力是否过载导致丢请求在 run_inference.py 中单用例异常会被捕获并记录到failed_case列表测试结束后统一打印[WARN] Failed case indices: [...]同时客户端对非 200 响应、SSE 流中的error字段都会记录error_code与error_msgopenai_chat_completions_client.py可作为排查服务异常的原始证据。此外性能用例结束后会统计并发下的 GPU 显存利用率等辅助信息由 conftest.py 的 GPU 分配 fixture 注入环境变量E2E_TEST_GPU_MEMORY_UTILIZATION帮助判断资源是否成为瓶颈。总结与使用建议验证缓存收益通过hit_rate梯度如[0, 50, 90]对比同一负载下的 TTFT 与吞吐可量化 Prefix Cache 的加速效果是评估 UCM 前缀缓存、GSA、KV 复用等能力的最直接手段刻画并发曲线固定输入/输出长度逐步抬高concurrent_requests绘制延迟分位与吞吐的衰减曲线可用于容量规划与限流阈值设定保证结果可比回归或 A/B 对比时务必使用非零random_seed配合enable_clear_hbmtrue清空前缀缓存确保多轮测试的 Prompt 与缓存起点一致关注质量门禁以num_completed_requests是否达标、四项关键指标是否为正作为每次性能迭代的硬性通过条件防止“看起来快但丢请求”的假吞吐。如需深入了解框架细节可继续阅读 token_benchmark.py发压与统计、openai_chat_completions_client.py流式客户端与延迟测量、run_inference.py引擎分派与缓存预埋以及 test_uc_performance.pypytest 入口与结果导出。赞分享大模型人工智能缓存【免费下载链接】unified-cache-managementUnified Cache Manager推理记忆数据管理器是一款以KV Cache为中心的推理加速套件其融合了多类型缓存加速算法工具分级管理并持久化推理过程中产生的KV Cache记忆数据扩大推理上下文窗口以实现高吞吐、低时延的推理体验降低每Token推理成本。项目地址https://gitcode.com/ModelEngine/unified-cache-management点击查看免费下载相关推荐unified-cache-management 测试框架指南基于 pytest 7.0 的配置管理、结果采集与 E2E 性能测试实战unified cache management 测试框架指南基于 pytest 7.0 的配置管理、结果采集与 E2E 性能测试实战 本文系统讲解 uni大模型人工智能缓存unified-cache-management dev-sandbox 性能测试沙箱构建、copy/trans/aio 子命令与全量 case 实战指南unified cache management dev sandbox 性能测试沙箱构建、copy/trans/aio 子命令与全量 case 实战指南 本大模型人工智能缓存Unified Cache Management 环境预检套件EnvPreCheck实战指南模型部署前六大维度集群健康检查Unified Cache Management 环境预检套件EnvPreCheck实战指南模型部署前六大维度集群健康检查 在 Unified Cache大模型人工智能缓存上一篇komorebi complete-configuration 命令详解--await-configuration 模式下的配置完成信号下一篇Feathers OAuth 集成指南使用 feathersjs/authentication-oauth 实现第三方登录创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 
长河君 · 2026/10/14 3:14:46 · 阅读 1.2k Unified Cache Management 项目 LLM 性能基准测试套件（LLMPerf）深度实战指南
大模型人工智能缓存【免费下载链接】unified-cache-managementUnified Cache Manager推理记忆数据管理器是一款以KV Cache为中心的推理加速套件其融合了多类型缓存加速算法工具分级管理并持久化推理过程中产生的KV Cache记忆数据扩大推理上下文窗口以实现高吞吐、低时延的推理体验降低每Token推理成本。项目地址https://gitcode.com/ModelEngine/unified-cache-management点击查看免费下载本文聚焦于 unified-cache-management 仓库中test/common/llmperf目录下的 LLM 性能测试框架即LLMPerf.md文档所描述的测试套件系统讲解其在多样负载下如何量化推理服务的延迟分布TTFT/TBT/端到端、吞吐上限、并发稳定性与Prefix Cache 命中效果。读者阅读后可掌握该框架的配置体系、三大引擎vLLM/SGLang/MindIE下缓存命中率的差异处理逻辑、pytest 执行方式、结果指标含义与质量门禁规则并可直接在仓库的 test/ 目录下复现整套性能基准测试流程。功能概述该测试套件能测什么该测试框架专为LLM 推理服务设计用于在多样化负载条件下对推理服务进行自动化、可量化的性能评估覆盖以下四个关键维度测试维度评估重点适用场景⏱️延迟分析TTFT首 Token 延迟、TBTToken 间隔延迟、端到端延迟实时交互应用Chatbot吞吐能力Total / Incremental Throughput高并发批量处理并发稳定性不同并发度下的性能衰减曲线容量规划与限流策略缓存效能Prefix Cache Hit RatePrefill 复用率长上下文重复查询优化从源码结构看测试套件的核心调用链可概括为pytest 入口test/suites/E2E/test_uc_performance.py └─ inference_results()test/common/llmperf/run_inference.py └─ run_test_cases()按引擎类型分派 prefill 预埋策略 └─ run_token_benchmark()test/common/llmperf/utils/token_benchmark.py └─ get_token_throughput_latencies()生成 Prompt、线程池并发发压 └─ OpenAIChatCompletionsClient.llm_request() test/common/llmperf/utils/openai_chat_completions_client.py其中负载发压与指标采集的核心实现位于 token_benchmark.py它通过ThreadPoolExecutor(max_workersconcurrent_requests)提交请求、以as_completed(futures, timeouttest_timeout_s)控制总超时指标名称常量统一定义在 common_metrics.py。配置体系测试套件采用双层配置结构环境级配置写在 config.yaml负载矩阵则内嵌于测试文件 test_uc_performance.py。所有配置通过 config_utils.py 中的单例config_utils读取支持get_config取顶层键、get_nested_config取a.b.c嵌套键。基础环境配置config.yamlllm_connection段定义模型、服务端点与环境参数参数类型必填说明示例值modelstring✅模型标识名称Qwen3-32Bserver_urlstring✅推理服务 HTTP 端点http://141.111.32.70:8244tokenizer_pathstring✅Tokenizer 本地路径/mnt/model/Qwen3-32Bllm_typeenum✅推理引擎类型vllm/sglang/mindieenable_clear_hbmbool✅测试前清除显存/前缀缓存true默认timeoutint✅单请求超时时间秒180默认仓库中 config.yaml 还给出了若干补充参数实际运行时同样生效补充参数类型说明仓库默认值streambool是否流式输出SSE影响 TTFT/TBT 的测量方式trueignore_eosbool是否忽略返回的结束符避免提前截断影响吞吐统计trueextra_infostring附加说明用于标记不同的服务拉起参数如vllm_qwen3-32b_pc-gsa会写入结果元数据—stddev_input_tokensint输入 Token 数标准差控制 Prompt 长度波动见inference_results读取逻辑0stddev_output_tokensint输出 Token 数标准差0这些参数在 openai_chat_completions_client.py 中被读取并拼入请求体stream、ignore_eos、timeoutextra_info则经 test_uc_performance.py 写入最终的扁平化指标字典。引擎特性差异Hit Rate 处理逻辑不同推理引擎对Prefix Cachinghit_rate的实现机制差异显著测试框架据此采用不同的 prefill 预埋策略引擎Prefill 策略实际输入计算备注vLLM1 次预埋input_tokens不变利用 vLLM 的 Automatic Prefix CachingSGLang2 次预埋input_tokens不变双重预热确保 KV Cache 稳定MindIE跳过input_tokens × hit_rate直接缩短输入长度模拟命中效果这段逻辑在 run_inference.py 中有完整源码实现可逐一对应预埋长度计算prefill_mean_input int(mean_input * hit_rate_val / 100)run_inference.py即按命中率百分比截取输入前缀作为缓存预埋内容。vLLM 路径run_vllm()先执行一轮mean_output2的 prefill 请求仅发送前缀、几乎不生成 Token随后进入正常推理run_inference.py。SGLang 路径run_sglang()连续执行prefill_1、prefill_2两轮预埋每轮之间time.sleep(2)再切换正常模式run_inference.py。MindIE 路径run_mindie()不做预埋直接将正常请求的mean_input替换为prefill_mean_input用缩短后的实际输入模拟缓存命中效果run_inference.py。缓存清理每个阶段之间调用reset_prefill_cache()实现在 utils.py当enable_clear_hbmtrue时vLLM 走POST {server_url}/reset_prefix_cacheSGLang 走POST {server_url}/flush_cache确保每轮测试从干净的缓存状态开始。阶段分派run_test_cases()通过zip(mean_input_tokens, mean_output_tokens, max_num_completed_requests, concurrent_requests, random_seed, hit_rate)逐组消费负载矩阵并按llm_type路由到对应分支run_inference.py不支持的引擎会抛出ValueError。此外每轮 prefill 请求的user_metadata中会记录phaseprefill/prefill_1/prefill_2/normal与case_idx便于事后区分结果归属。负载参数配置test_uc_performance.py测试用例负载矩阵定义在 test_uc_performance.py 中测试用例为每组 list 相同对应位置即索引对齐后构成一组完整场景参数类型说明示例mean_input_tokenslist[int]平均输入长度分布[512, 2048, 4096]mean_output_tokenslist[int]平均输出长度分布[128, 512, 1024]concurrent_requestslist[int]并发请求数梯度[1, 4, 8]max_num_completed_requestslist[int]单轮最大完成数[100, 50, 50]hit_ratelist[int]缓存命中率%[0, 50, 90]random_seedlist[int]随机种子[42, 0, 0]实际测试文件中的默认场景为perf_scenarios [(1000, 1024, 8, 8, 0, 0), (4000, 500, 1, 1, 0, 0)]test_uc_performance.py每组元素依次对应(mean_in, mean_out, max_req, concurrent, random_seed, hit_rate)。随机种子Random Seed策略取值行为适用场景0每轮生成随机 Prompt模拟真实流量分布≠0多轮固定相同 Prompt回归测试、A/B 对比源码实现中有两点值得注意在 run_inference.py 中当seed 0时会被替换为random.randint(1, 100000)的真实随机种子随后random.seed(random_seed)会锁住该轮的 Prompt 生成序列固定种子的 Prompt 通过generate_fixed_token_prompt()基于Token ID 采样生成而非文本拼接并用hashlib.sha256打印摘要以校验一致性见 token_benchmark.py。输入长度服从高斯分布且采样到非正数时会循环重采sample_random_positive_int实现在 utils.py。测试执行前置依赖# 安装测试框架依赖 pip install -r requirements.txt # 验证推理服务端点可达 curl http://server_url/health依赖清单见 requirements.txt除 pytest、requests、pandas、transformers 外还包含nvidia-ml-py用于 conftest.py 中的 GPU 显存探测与分配、peewee/psycopg2-binary/pymongo结果可选入库等。执行前应确保推理服务已拉起且server_url可访问vLLM/SGLang 等通常暴露 OpenAI 兼容的/v1/chat/completions端点测试客户端会自动拼接tokenizer_path指向本地 HuggingFace 模型目录用于精确统计 Prompt/输出 Token 数若enable_clear_hbmtrue服务需提供reset_prefix_cachevLLM或flush_cacheSGLang接口用于清缓存。运行方式cd test/ # 方式1运行完整测试文件 pytest test_uc_performance.py -v # 方式2按阶段执行如阶段0基准测试 pytest --stage0 # 方式3按特性标签执行 pytest --featureuc_performance_test这三种方式与 pytest.ini 中注册的 markers 一一对应stage0Unit 1Smoke 2Regression 3Release、feature特性标签、platformgpu/npu等筛选逻辑实现在 conftest.py 的pytest_collection_modifyitems中支持--stage2这类“大于等于某阶段”的写法。性能用例test_performance被标记为pytest.mark.stage(2)与pytest.mark.feature(uc_performance_test)test_uc_performance.py并经pytest.mark.parametrize展开为多组场景。实时监控运行时可观察以下实时输出[ RUNNING ] Qwen3-32B | input2048 | output512 | concurrency8 | hit_rate50% [ PROGRESS ] 45/100 requests completed (45%) | TTFT: 125ms | TBT: 18ms [ COMPLETE ] Throughput: 156.3 tok/s | P99 Latency: 8.4s此外测试进程启动时会打印加载到的完整 LLM 配置模型、端点、超时、结果目录等并在每个用例开始前输出 Executing test case N 与hit_rateN%, prefill_mean_inputM等日志见 run_inference.py便于现场核对参数。进阶通过环境变量注入测试场景负载矩阵不仅可改代码也可通过环境变量PERF_TEST_CASE动态注入其值需为 JSON 格式的六元组列表每组(mean_in, mean_out, max_req, concurrent, random_seed, hit_rate)解析成功后覆盖默认perf_scenarios格式非法时回退默认值test_uc_performance.py。另外设置ENABLE_PROFILINGtrue时用例会在压测前后向服务发送POST {server_url}/start_profile与stop_profile请求test_uc_performance.py方便同步采集 Profiler 数据。结果解读核心指标定义延迟维度Latency指标说明关注重点ttft_sTime To First Token首字响应速度影响用户感知延迟inter_token_latency_sTime Between Tokens流式输出流畅度end_to_end_latency_s总耗时完整请求处理时间统计分位每项指标输出P50 / P90 / P99 / Mean此外还包含 Min / Max / Stddev 以及 P25 / P75 / P95。这些指标的采集逻辑如下TTFT 在客户端收到首个content内容块时以time.monotonic() - start_time计算openai_chat_completions_client.py同时兼容reasoning_content如带思维链的模型相邻 Token 到达时间差累计为inter_token_latency_s随后在 token_benchmark.py 中按(输出Token数 - 1)归一化得到平均 Token 间隔并进一步推导tpot_sTime Per Output Token即(e2e - ttft) / (n_out - 1)指标常量定义可参考 common_metrics.py其中还包含number_input_tokens、number_output_tokens、request_output_throughput_token_per_s等明细字段。吞吐维度Throughput指标计算方式用途total_throughputTotal Tokens / Total Time综合吞吐能力incremental_throughputOutput Tokens / Generation Time解码阶段纯效率具体实现在compute_throughput()token_benchmark.pytotal_throughput (mean_output_tokens × 完成请求数) / 总耗时elapsed_timeincremental_throughput (mean_output_tokens × 完成请求数) / 增量时间开销incremental_time_delay其中incremental_time_delay为所有请求inter_token_latency之和即纯解码阶段的累计时间。其他关键指标num_completed_requests成功完成请求数对比期望值验证成功率elapsed_time单轮测试 wall-clock 时间incremental_time_delay解码阶段时间开销此外metrics_summary()token_benchmark.py还会输出error_rate、num_completed_requests_per_min、mean_output_throughput_token_per_s等汇总值并以 Pandas DataFrame 计算分位数与均值。输出格式示例测试结果以结构化字典返回便于存储数据库或看板展示{ _name: llmperf, _metadata: { model: Qwen3-32B, timestamp: 2026-01-31T14:30:00Z, config: { ... } }, _data: { # 延迟分布 (秒) results_ttft_s_mean: 0.125, results_ttft_s_quantiles_p50: 0.118, results_ttft_s_quantiles_p99: 0.245, results_inter_token_latency_s_mean: 0.018, results_end_to_end_latency_s_mean: 4.567, # 吞吐指标 (tokens/s) results_total_throughput: 245.8, results_incremental_throughput: 198.3, # 请求统计 results_num_completed_requests: 100, results_elapsed_time: 45.2 } }在仓库实际实现中inference_results()返回的summary字典包含total_throughput、incremental_throughput、num_completed_requests、elapsed_time等字段且run_token_benchmark()会为每轮测试在results/llmperf/目录下落盘一份{model}_{input}_{output}_{timestamp}_summary.jsontoken_benchmark.py文件内容经LLMPerfResults.to_dict()展平便于 JSON 存储test_uc_performance.py 会把各指标再次展平为ttft_mean_s、tpot_mean_s、e2e_mean_s、total_throughput、incremental_throughput、elapsed_time_s等键配合export_vars装饰器与 conftest.py 中的pytest_runtest_logreport将结果以_name/_proj结构导出由test/common/capture_results/下的后端localFile / postgresql / mongodb落库或写文件config.yaml 中results段配置。质量门禁自动校验规则测试框架内置以下硬性通过标准规则在文档中描述test_performance用例中亦有对应断言见 test_uc_performance.pydef validate_metrics(result: dict) - bool: 验证所有数值指标有效性 critical_metrics [ results_ttft_s_mean, results_inter_token_latency_s_mean, results_total_throughput, results_num_completed_requests ] for metric in critical_metrics: value result[_data].get(metric) # 规则1数值必须存在 if value is None: raise ValidationError(f❌ {metric}: 返回值为 None) # 规则2数值必须为正 if value 0: raise ValidationError(f❌ {metric}: {value} 不符合 0 要求) return True即关键指标缺失即判失败、非正值即判失败。这一校验与metrics_summary()中“过滤错误请求error_code为 NaN后再统计”的策略配合可避免异常请求污染分位数据。失败判定标准异常类型表现处理建议指标为 None服务超时或统计失败检查timeout配置增大阈值指标 ≤ 0服务异常或计算错误检查推理服务日志完成数不足num_completed max_num_completed检查并发压力是否过载导致丢请求在 run_inference.py 中单用例异常会被捕获并记录到failed_case列表测试结束后统一打印[WARN] Failed case indices: [...]同时客户端对非 200 响应、SSE 流中的error字段都会记录error_code与error_msgopenai_chat_completions_client.py可作为排查服务异常的原始证据。此外性能用例结束后会统计并发下的 GPU 显存利用率等辅助信息由 conftest.py 的 GPU 分配 fixture 注入环境变量E2E_TEST_GPU_MEMORY_UTILIZATION帮助判断资源是否成为瓶颈。总结与使用建议验证缓存收益通过hit_rate梯度如[0, 50, 90]对比同一负载下的 TTFT 与吞吐可量化 Prefix Cache 的加速效果是评估 UCM 前缀缓存、GSA、KV 复用等能力的最直接手段刻画并发曲线固定输入/输出长度逐步抬高concurrent_requests绘制延迟分位与吞吐的衰减曲线可用于容量规划与限流阈值设定保证结果可比回归或 A/B 对比时务必使用非零random_seed配合enable_clear_hbmtrue清空前缀缓存确保多轮测试的 Prompt 与缓存起点一致关注质量门禁以num_completed_requests是否达标、四项关键指标是否为正作为每次性能迭代的硬性通过条件防止“看起来快但丢请求”的假吞吐。如需深入了解框架细节可继续阅读 token_benchmark.py发压与统计、openai_chat_completions_client.py流式客户端与延迟测量、run_inference.py引擎分派与缓存预埋以及 test_uc_performance.pypytest 入口与结果导出。赞分享大模型人工智能缓存【免费下载链接】unified-cache-managementUnified Cache Manager推理记忆数据管理器是一款以KV Cache为中心的推理加速套件其融合了多类型缓存加速算法工具分级管理并持久化推理过程中产生的KV Cache记忆数据扩大推理上下文窗口以实现高吞吐、低时延的推理体验降低每Token推理成本。项目地址https://gitcode.com/ModelEngine/unified-cache-management点击查看免费下载相关推荐unified-cache-management 测试框架指南基于 pytest 7.0 的配置管理、结果采集与 E2E 性能测试实战unified cache management 测试框架指南基于 pytest 7.0 的配置管理、结果采集与 E2E 性能测试实战 本文系统讲解 uni大模型人工智能缓存unified-cache-management dev-sandbox 性能测试沙箱构建、copy/trans/aio 子命令与全量 case 实战指南unified cache management dev sandbox 性能测试沙箱构建、copy/trans/aio 子命令与全量 case 实战指南 本大模型人工智能缓存Unified Cache Management 环境预检套件EnvPreCheck实战指南模型部署前六大维度集群健康检查Unified Cache Management 环境预检套件EnvPreCheck实战指南模型部署前六大维度集群健康检查 在 Unified Cache大模型人工智能缓存上一篇komorebi complete-configuration 命令详解--await-configuration 模式下的配置完成信号下一篇Feathers OAuth 集成指南使用 feathersjs/authentication-oauth 实现第三方登录创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考