如何去评测一个大模型

如何去评测一个大模型

引用

搜狐

1.

https://m.sohu.com/a/790649246_114819/?pvid=000115_3w_a

做AI应用时，我们都会对个大模型进行分析评测，挑选出合适的。但大模型不是APP类产品，评测的方法肯定不同，这篇文章，我们就来看看作者建议如何评测。

权威机构评测

这是目前由国内C-Eval机构给出的国内大模型的评测排名。

C-Eval 是一个全面的中文基础模型评估套件。由上海交通大学、清华大学和爱丁堡大学研究人员在2023年5月份联合推出，它包含了13948个多项选择题，涵盖了52个不同的学科和四个难度级别，用以评测大模型中文理解能力。

那么像这样的机构或者是说大模型的公司，是怎样通过这么多的题目和学科去评测一个模型的好坏和使用好感度的呢。下面让我们来研究一下。