ENDPOINT服务端点 ✓ 就绪
AIPerf 向 OpenAI 兼容(或厂商)推理端点发压。模型名与服务地址是仅有的两个硬依赖。
-m/--model;须与服务端注册名一致,多模型可逗号分隔
-u/--url;可写 host:port,AIPerf 会自动补 http://
--endpoint-type;决定请求/响应格式与默认 API 路径
TTFT / ITL / TTST 只有流式下可测;端点类型不支持时会被自动忽略
负载模型 并发饱和 ✓ 就绪
三种负载模型取其一,决定压测形状。选定后下方专属参数随之切换;同一时刻只写入当前模型的参数。
--concurrency;在途请求上限,不设则 AIPerf 不限制
--request-rate;支持小数,如 0.5
--arrival-pattern;仅速率驱动模式生效
--concurrency;给速率驱动加一道在途上限兜底
--concurrency;爬坡终点的在途请求上限
--concurrency-ramp-duration;并发从 1 线性爬到目标值
停止条件 按请求数 ✓ 就绪
至少给一个停止条件,让压测有确定的终点。按请求数便于复现与冒烟,按时长适合稳态观察。
--request-count;与 --num-sessions 互斥,本台只使用请求数
--benchmark-duration;到时长后停止发新请求
--benchmark-grace-period;此窗口内完成的在途响应仍计入指标
输入负载 合成数据集 ✓ 就绪
合成数据集按 ISL/OSL 生成可控负载;公开数据集与自定义文件用于真实流量回放。文件路径为服务端绝对路径。
--isl / --prompt-input-tokens-mean;合成输入 token 均值
--osl;作为 max_completion_tokens 发给服务端,仍可能因 EOS 提前结束
--isl-stddev;>0 才有多样化输入长度
--osl-stddev;>0 才有多样化输出长度
--num-dataset-entries;生成多少条唯一用户消息(会话与轮次间复用)
--seq-dist;设置后忽略 ISL/OSL,用 (ISL,OSL):概率 的组合模拟真实混合流量
--public-dataset;内置约 70 个,按名称自动下载解析;需要网络与磁盘空间。含时间戳的数据集会由所选负载模型接管(自动加 --no-fixed-schedule)
--input-file;服务端绝对路径(文件或目录)。含时间戳的 trace 会由所选负载模型接管(自动加 --no-fixed-schedule)
--custom-dataset-type;必须与文件实际格式一致
ADV预热与高级参数 全部可选
默认值已按非交互执行(--ui-type none)调好;需要复现、遥测、SLO 约束或产物控制时再展开。
展开高级参数 · 鉴权 / tokenizer / 产物 / 遥测 / SLO
--warmup-request-count;预热流量不计入正式指标
--tokenizer;留空由 AIPerf 自动探测;ISL/OSL 精度取决于它与服务端一致
--random-seed;固定合成 prompt、采样与延迟,便于 A/B 对比
--request-timeout-seconds;含建连、发送与收完响应
注入采样参数与服务端开关;控制输出长度常用 ignore_eos / min_tokens
--endpoint;留空按端点类型自动推导,网关改写路径时使用
--output-artifact-dir;JSON / CSV / JSONL / 日志都落在这里
--export-level;排查异常请求才用 raw
--slice-duration;按固定窗口分别计算指标,观察衰减
--goodput;只有同时满足全部阈值的请求才计入有效吞吐
--prefill-concurrency;需 streaming,且 ≤ 并发数,用于长上下文显存安全压测
--gpu-telemetry / --no-gpu-telemetry;留空走默认 DCGM 端点
--ui-type;输出非 TTY 时 AIPerf 会自动降级为 none
--api-key;自动加 Authorization: Bearer <key>,只随本次 JSON 提交