问小白 wenxiaobai
资讯
历史
科技
环境与自然
成长
游戏
财经
文学与艺术
美食
健康
家居
文化
情感
汽车
三农
军事
旅行
运动
教育
生活
星座命理

国内外代表性大模型参数及预训练数据对比

创作时间:
作者:
@小白创作中心

国内外代表性大模型参数及预训练数据对比

引用
1
来源
1.
https://www.hangyan.co/charts/3336832998115902611

随着人工智能技术的快速发展,大模型已经成为AI领域的核心竞争力。本文将通过对比中美两国在大模型数量、参数规模和影响力方面的差异,揭示全球AI大模型的发展现状。

大模型方面,我们通过大模型数量和大模型表现来进行比较。大模型数量:根据赛迪顾问数据,截至 2023 年 7 月,中国已累计发布 130 个大模型;国外共发布 138 个,其中美国共 114 个。中美两国大模型合计数量占全球 90%以上,具有绝对优势。从大模型参数来看,中美两国的代表性大模型里均是既有千亿参数的通用大模型,又有几十亿参数的行业垂直大模型。但是,在影响力方面,中国缺少像 GPT-4、Gemini、Sora 这种具有全球影响力的大模型,中国的行业大模型居多,占总数的 60%,商业、金融、医疗居多。

表8:国内外代表性大模型参数及预训练数据对比

模型
研发团队
参数规模
预训练tokens
Gemini 1.5 pro
175B
Gemma-2B(开源)
谷歌
2B
2T
Gemma--7B(开源)
7B
6T
StableDiffusion
高通
65B
1.5T
GPT-3
OpenAI
175B
300B
GPT-4
OpenAI
1.8T
13T
LLaMA(开源)
Meta
7B-65B
1T/1.4T
Sora
OpenAI
7B
ChatGLM-6B(开源)
清华大学
6B
GLM-130B(开源)
130B
400B
混元大模型
腾讯
100B+
2T+
文心一言
百度
260B

© 2023 北京元石科技有限公司 ◎ 京公网安备 11010802042949号