漫步远方,心荡神往

单台 H20 机器 DeepSeek R1 (FP8)、DeepSeek-R1-Block-INT8 精度测试与性能测试过程

测试下 DeepSeek R1(FP8)、DeepSeek-R1-Block-INT8 使用单台 H20 机器在 aime、math500、gpqa (使用开源工具 evalscope) 数据集下进行精度测试;给定输入、输出等参数,性能压测;

基于 EvalScope 基准工具对单台 H20 8卡机器上运行的 DeepSeek-R1 (FP8) 与 DeepSeek-R1-Block-INT8 进行精度评测(AIME、MATH500、GPQA)和并发吞吐性能测试实录。