← 返回工作台 AIPerf 压测台

AIPerf 压测台

aiperf · generative ai inference benchmark
chat 并发饱和 请求数停止
待完善

为生成式 AI 推理服务收集 AIPerf 压测参数:并发饱和 / 速率驱动 / 爬坡三种负载模型,实时生成可直接提交给压测 agent 的结构化 JSON 与可执行命令。

ENDPOINT服务端点

AIPerf 向 OpenAI 兼容(或厂商)推理端点发压。模型名与服务地址是仅有的两个硬依赖。

-m/--model;须与服务端注册名一致,多模型可逗号分隔
-u/--url;可写 host:port,AIPerf 会自动补 http://
--endpoint-type;决定请求/响应格式与默认 API 路径
TTFT / ITL / TTST 只有流式下可测;端点类型不支持时会被自动忽略

负载模型 并发饱和

三种负载模型取其一,决定压测形状。选定后下方专属参数随之切换;同一时刻只写入当前模型的参数。

固定并发上限,尽可能快地发请求,只受 --concurrency 约束。适合测单实例最大吞吐。
负载形状
--concurrency;在途请求上限,不设则 AIPerf 不限制

停止条件 按请求数

至少给一个停止条件,让压测有确定的终点。按请求数便于复现与冒烟,按时长适合稳态观察。

--request-count;与 --num-sessions 互斥,本台只使用请求数
发满指定请求数后停止,负载总量确定,适合冒烟与横向对比。

输入负载 合成数据集

合成数据集按 ISL/OSL 生成可控负载;公开数据集与自定义文件用于真实流量回放。文件路径为服务端绝对路径。

--isl / --prompt-input-tokens-mean;合成输入 token 均值
--osl;作为 max_completion_tokens 发给服务端,仍可能因 EOS 提前结束
--isl-stddev;>0 才有多样化输入长度
--osl-stddev;>0 才有多样化输出长度
--num-dataset-entries;生成多少条唯一用户消息(会话与轮次间复用)
--seq-dist;设置后忽略 ISL/OSL,用 (ISL,OSL):概率 的组合模拟真实混合流量

ADV预热与高级参数 全部可选

默认值已按非交互执行(--ui-type none)调好;需要复现、遥测、SLO 约束或产物控制时再展开。

展开高级参数 · 鉴权 / tokenizer / 产物 / 遥测 / SLO
--warmup-request-count;预热流量不计入正式指标
--tokenizer;留空由 AIPerf 自动探测;ISL/OSL 精度取决于它与服务端一致
--random-seed;固定合成 prompt、采样与延迟,便于 A/B 对比
--request-timeout-seconds;含建连、发送与收完响应
注入采样参数与服务端开关;控制输出长度常用 ignore_eos / min_tokens
--endpoint;留空按端点类型自动推导,网关改写路径时使用
--output-artifact-dir;JSON / CSV / JSONL / 日志都落在这里
--export-level;排查异常请求才用 raw
--slice-duration;按固定窗口分别计算指标,观察衰减
--goodput;只有同时满足全部阈值的请求才计入有效吞吐
--prefill-concurrency;需 streaming,且 ≤ 并发数,用于长上下文显存安全压测
--gpu-telemetry / --no-gpu-telemetry;留空走默认 DCGM 端点
--ui-type;输出非 TTY 时 AIPerf 会自动降级为 none
--api-key;自动加 Authorization: Bearer <key>,只随本次 JSON 提交