创建评测任务,对已部署的推理服务进行测试,评估其是否达到预期并可部署到生产环境。
服务评测类型
ZStack AIOS支持以下服务评测类型:
- 服务性能评测:测试服务运行稳定性和效率,关注测试耗时、总请求数、并发请求数、成功请求数、延迟、吞吐量等指标。
- 模型能力评测:评估模型推理能力是否达到预期,关注模型的预测准确性、泛化能力和学习能力。
