国内外代表性大模型参数及预训练数据对比
创作时间:
作者:
@小白创作中心
国内外代表性大模型参数及预训练数据对比
引用
1
来源
1.
https://www.hangyan.co/charts/3336832998115902611
随着人工智能技术的快速发展,大模型已经成为AI领域的核心竞争力。本文将通过对比中美两国在大模型数量、参数规模和影响力方面的差异,揭示全球AI大模型的发展现状。
大模型方面,我们通过大模型数量和大模型表现来进行比较。大模型数量:根据赛迪顾问数据,截至 2023 年 7 月,中国已累计发布 130 个大模型;国外共发布 138 个,其中美国共 114 个。中美两国大模型合计数量占全球 90%以上,具有绝对优势。从大模型参数来看,中美两国的代表性大模型里均是既有千亿参数的通用大模型,又有几十亿参数的行业垂直大模型。但是,在影响力方面,中国缺少像 GPT-4、Gemini、Sora 这种具有全球影响力的大模型,中国的行业大模型居多,占总数的 60%,商业、金融、医疗居多。
表8:国内外代表性大模型参数及预训练数据对比
模型 | 研发团队 | 参数规模 | 预训练tokens |
|---|---|---|---|
Gemini 1.5 pro | 175B | ||
Gemma-2B(开源) | 谷歌 | 2B | 2T |
Gemma--7B(开源) | 7B | 6T | |
StableDiffusion | 高通 | 65B | 1.5T |
GPT-3 | OpenAI | 175B | 300B |
GPT-4 | OpenAI | 1.8T | 13T |
LLaMA(开源) | Meta | 7B-65B | 1T/1.4T |
Sora | OpenAI | 7B | |
ChatGLM-6B(开源) | 清华大学 | 6B | |
GLM-130B(开源) | 130B | 400B | |
混元大模型 | 腾讯 | 100B+ | 2T+ |
文心一言 | 百度 | 260B |
热门推荐
林地纠纷中林权证的法律效力分析
破解涉案财物监管难:湖州市的创新实践
二哈捣乱又撕家,看网友怎么治的它
家里的洗衣机过滤网,这样清洁最彻底
AI驱动的项目管理:实现项目进度与风险的智能监控
越南瑶族结婚彩礼多少:法律规定与文化实践的深度解析
AI时代,哪些工种会被替代?哪些需求量激增?
不在家时如何确保小猫的温暖?有哪些保温方法?
积雪草的功效与作用及禁忌_副作用_用法用量
校园霸凌怎么举报?法律如何处理?
三鲜馅水饺——附超详细包饺子步骤
摄入膳食补充剂有技巧 科学安排时间很重要
陈来:程颢为何说“‘天理’二字却是自家体贴出来”?
IDE、SDK和环境配置:现代软件开发的基础
流感高发,家庭如何有效消毒?
向日葵花期管理和授粉知识详解
正当防卫紧急避险教案:培养学生的法律意识和自我保护能力
杭州的家乡文化有哪些?探秘杭州:惊艳的传统与现代碰撞!
晚上睡前已经刷牙,早起还是有口臭怎么回事?
警察怎么判定网赌和现场赌博罪
海外社媒营销:故事化叙事如何触动用户情感,增强品牌魅力
民国时期的白话文教育,取得了哪些方面成果?又有哪些负面影响?
延寿的最佳睡眠时间为7-8小时,中老年人也一样
恐龙灭绝:小行星撞击与生态系统的重大重组
精神病患者的监护人法律是怎么规定的
同样是回输干细胞,为什么有的人效果好有的人无感?
空气净化器适合哪些人群?一文详解选购要点
做政府专职消防员,工作稳定且待遇优越?浅析职业选择的重要性
淮海战役中,黄维十二兵团为何惨遭全歼?四件事让兵团军心动摇!
燃气热水器中的水量伺服器:原理、优点及选购指南