国内外代表性大模型参数及预训练数据对比
创作时间:
作者:
@小白创作中心
国内外代表性大模型参数及预训练数据对比
引用
1
来源
1.
https://www.hangyan.co/charts/3336832998115902611
随着人工智能技术的快速发展,大模型已经成为AI领域的核心竞争力。本文将通过对比中美两国在大模型数量、参数规模和影响力方面的差异,揭示全球AI大模型的发展现状。
大模型方面,我们通过大模型数量和大模型表现来进行比较。大模型数量:根据赛迪顾问数据,截至 2023 年 7 月,中国已累计发布 130 个大模型;国外共发布 138 个,其中美国共 114 个。中美两国大模型合计数量占全球 90%以上,具有绝对优势。从大模型参数来看,中美两国的代表性大模型里均是既有千亿参数的通用大模型,又有几十亿参数的行业垂直大模型。但是,在影响力方面,中国缺少像 GPT-4、Gemini、Sora 这种具有全球影响力的大模型,中国的行业大模型居多,占总数的 60%,商业、金融、医疗居多。
表8:国内外代表性大模型参数及预训练数据对比
模型 | 研发团队 | 参数规模 | 预训练tokens |
---|---|---|---|
Gemini 1.5 pro | 175B | ||
Gemma-2B(开源) | 谷歌 | 2B | 2T |
Gemma--7B(开源) | 7B | 6T | |
StableDiffusion | 高通 | 65B | 1.5T |
GPT-3 | OpenAI | 175B | 300B |
GPT-4 | OpenAI | 1.8T | 13T |
LLaMA(开源) | Meta | 7B-65B | 1T/1.4T |
Sora | OpenAI | 7B | |
ChatGLM-6B(开源) | 清华大学 | 6B | |
GLM-130B(开源) | 130B | 400B | |
混元大模型 | 腾讯 | 100B+ | 2T+ |
文心一言 | 百度 | 260B |
热门推荐
退休后提取公积金:最新政策解读与案例分析
车厘子怎么洗
八味地黄丸治疗慢性肾病:临床应用与注意事项
冬季摄影全攻略:从基础技巧到创意实战
感冒药与白萝卜的科学搭配指南
服药期间能吃白萝卜吗?这份饮食指南请收好
西柚:服药期间的“隐形杀手”
冬日打卡:山海关&老龙头最美雪景
秦皇岛冬日打卡攻略:鸽子窝公园vs阿那亚,谁更值得去?
秦皇岛冬日探秘:三天两夜自由行攻略
颅咽管瘤术前要注意什么?术后要注意什么?
漫步天津:感受这座城市的独特韵味
小学生如何预防新冠?这些知识点要牢记!
治疗高血压,调“压”更要调“心”
《抗击新冠肺炎疫情的中国行动》白皮书:中国抗疫的艰辛历程与宝贵经验
茂名美食全攻略:白切鸡、罗非鱼、海鲜,总有一款让你流连忘返
油城墟:茂名乡村振兴的美食文化样本
鱼塘老绿水治理神器:芽孢先锋和双改先锋
夏日湿热来袭,黄芩黄连黄柏来救场!
二妙丸:中医祛湿神器,现代医学也点赞!
《中国人民志愿军战歌》:一首战歌的诞生与传承
打造高产又环保的鱼塘:四大模式助力水产养殖转型升级
南海区:千年桑基鱼塘的现代转型之路
四大家鱼养殖秘籍:从水质管理到疾病防治全攻略
《上甘岭》4K修复版上映:70年后的“重生”
过期啤酒的十大妙用
立春后如何用印堂穴缓解鼻炎?
狂犬病高发期!这些狗狗要小心
电燃灶是真的吗?电燃灶比传统燃气灶有何优势?
农业机械:提升现代农业生产力的关键