问小白 wenxiaobai
资讯
历史
科技
环境与自然
成长
游戏
财经
文学与艺术
美食
健康
家居
文化
情感
汽车
三农
军事
旅行
运动
教育
生活
星座命理

各硬件Katago AI算力对比评测

创作时间:
作者:
@小白创作中心

各硬件Katago AI算力对比评测

引用
CSDN
1.
https://m.blog.csdn.net/csdn965060457/article/details/143416638

本文对不同硬件在Katago AI算力方面的表现进行了评测,主要面向对AI算力和硬件性能感兴趣的读者。评测软件为Katago v1.15.3,测试命令为katago benchmark -model kata1-b18c384nbt-s9996604416-d4316597426.bin.gz。评测结果表明,AMD EPYC 9654P搭配8张NVIDIA RTX 4090显卡的配置在CUDA + TensorRT环境下性能最佳,达到48187.97 nnEvals/s。

评测环境

  • 评测软件:Katago v1.15.3
  • 测试命令:
    katago benchmark -model kata1-b18c384nbt-s9996604416-d4316597426.bin.gz
    

硬件对比

评测结果以每秒神经网络评估次数(nnEvals/s)为指标,数值越高表示性能越好。

硬件
分类1
分类2
nnEvals/s
备注
AMD R5 3600
CPU
Eigen
9.88
AMD R5 3600
CPU
Eigen(AVX2)
13.9
AMD R5 5500U
核显(vega6 / vega7)
OpenCL
38.32
AMD RX 5700
单张A卡
OpenCL
263.77
E5-2680 v3 + NVIDIA RTX 4060Ti
单张N卡
OpenCL
794.14
E5-2680 v3 + NVIDIA RTX 4060Ti
单张N卡
CUDA + TensorRT
2246.69
-t 48
EPYC 7K62 + NVIDIA RTX 4070TiSuper
单张N卡
CUDA + TensorRT
4159.07
-t 80
NVIDIA RTX 4090
单张N卡
OpenCL
2204.00
NVIDIA RTX 4090
单张N卡
CUDA
4069.00
NVIDIA RTX 4090
单张N卡
CUDA + TensorRT
5369.00
INTEL + NVIDIA RTX 4090 * 8
多显卡
CUDA + TensorRT
40000.00
AMD EPYC 9654P + NVIDIA RTX 4090 * 8
多显卡
CUDA + TensorRT
48187.97

技术环境

  • CUDA 版本:12.5
  • TensorRT 版本:10.2.0

灵感来源

本评测受到B站视频《AMD最强CPU+8卡4090跑Katago能有多多多快》的启发。

© 2023 北京元石科技有限公司 ◎ 京公网安备 11010802042949号