AISBench 评测工具
🚀 开始你的第一步
工具安装&卸载
快速入门
数据集准备指南
🧭 基础教程
支持的评测场景
评测场景简介
服务化精度测评
纯模型精度测评
服务化性能测评指南
基于Harbor框架的Agent 测评
评测结果说明
详细参数说明
🔬 进阶教程
自定义配置文件运行AISBench
服务化稳定状态性能测试
多档并发场景服务化性能测试
请求发送速率(RPS)分布控制及可视化说明
多轮对话测评指南
随机合成数据集使用指南
自定义数据集使用说明
使用裁判模型进行测评
投机推理指标采集
变长与指定prefix cache命中率数据生成/压测和多模态数据生成
推理响应异常检测
📐 扩展评测基准
拓展多模态生成类评测基准
agent评测基准
💪 最佳实践
基于英伟达A100加速卡测评DeepSeek-R1-Distill-Qwen-14B的数学能力,100%论文复现
基于昇腾800I-A2测评DeepSeek-R1数学能力,100%论文复现
复现大语言模型(LLM)论文(技术报告)中的数据集测评结果(以DeepSeek R1使用的GPQA数据集为例)
❓常见问题
AISBench FAQ 常见问题解答
错误码说明
👨💻 开发者指南
贡献指南
支持新模型后端
支持新的数据集和精度评估器
支持新的推理器(Inferencer)
📝 提示词工程
Prompt 模板
Meta Template
Prompt 概述
Retriever
🏷️ 其他
🔜 即将推出
🤝 致谢
AISBench 评测工具
支持的评测场景
查看页面源码
支持的评测场景
评测场景简介
精度测评
性能测评
服务化精度测评
服务化精度测评前置约束
主要功能场景
通过自定义配置文件实现
其他功能场景
纯模型精度测评
测试准备
主要功能
通过自定义配置文件实现
其他功能
服务化性能测评指南
简介
服务化性能测评快速入门
服务化性能测评前置约束
主要功能场景
通过自定义配置文件实现
其他功能场景
服务化性能测试规格说明
基于Harbor框架的Agent 测评
资源准备
安装agent运行环境(docker 容器)
agent测评快速入门(两种方式任选其一)
执行结果与落盘文件
附录:自定义配置文件参数说明
附录:源码安装