← 返回工作台 寻优参数采集台

寻优参数采集台

model-oob-perf-optimize
智能模式 单机标准
待完善

为昇腾 NPU 推理性能自动寻优采集必要参数,实时生成可直接提交给 model-oob-perf-optimize SKILL 的结构化 JSON。

运行模式 智能模式

采集方式决定确认机制与必填范围:智能模式零确认一键完成,离线模式逐项人工确认。

本次采集零确认:首条消息一次性解析全部字段,缺失项自动补全并标注 [自动补全]。

Phase 0部署拓扑与环境初始化

选择部署形态:单机自动采集 NPU 无需额外输入;多机与 PD 分离需补充 SSH、IP 与拓扑信息。

Phase 2业务建模关键参数

描述压测负载:测试工具、并发数、输入/输出长度与请求形态,作为寻优的负载基准。

将归一化为标准名,如 evalscope → evalscopeperf
映射为 CONCURRENCY
支持固定值或范围,勾选 k 表示单位为千
支持固定值或范围,勾选 k 表示单位为千
智能模式必填,缺失将自动补全并标注 [自动补全]
默认 random;Prefix 命中率 >0 时仅 random 数据集支持前缀构造
格式:--参数 默认值=$[min~max](连续)/ $[min~max+step](步长)/ $[v1,v2,…](枚举);留空由 SKILL 推导;ais_bench 仅支持 CONCURRENCY/REQUESTRATE,其余自定义无效
该值作为固定常量使用,不会参与寻优;影响测试集构造与 KV 预算推导。自定义支持小数或百分数

Phase 3寻优需求

指定模型权重路径与寻优目标,可附加启动脚本、寻优变量与环境变量。

PD/多机必须含节点数,禁止裸集群总量
阈值可自定义:吞吐优先 / TTFT < Xms 下最大吞吐 / TPOT < Xms 且 TTFT < Yms 下最大吞吐
格式:--参数 默认值=$[min~max](连续)/ $[min~max+step](步长)/ $[v1,v2,…](枚举);留空由 SKILL 推导
格式:<变量名> <默认值>=$[min~max](连续)或 $[v1,v2,...](枚举);留空则环境变量保持脚本固定值,不参与寻优