2024海外AI大模型发展现状及海外应用梳理分析报告
2024海外AI大模型发展现状及海外应用梳理分析报告
2024年，海外AI大模型发展进入新阶段。从谷歌BERT开启大模型时代，到ChatGPT引发全球关注，AI技术正以前所未有的速度迭代演进。本文将为您梳理AI大模型的发展历程，分析开闭源模型的竞争态势，并探讨API在应用开发中的重要作用。
模型层：大语言模型加深场景结合，多态持续迭代
谷歌BERT开启大模型时代，ChatGPT推升发展热潮。1956年，达特茅斯研讨会正式提出人工智能，标志着人工智能学科诞生。此后60余年，专家系统、深度学习等关键技术不断成熟,为大模型发展奠定基础。回顾大模型发展历程，可分为以下三个阶段:
- 大模型开端：2018年，谷歌发布3亿参数规模的自然语言处理模型BERT，标志着人工智能正式进入大模型时代。
- 大模型探索：2020年，GPT-3发布，模型参数规模大幅提升至1750亿。随后，谷歌、微软和英伟达相继推出自然语言理解或生成模型，对大模型技术的探索持续推进。
- 大模型热潮：2022年底，基于选代后的GPT-3.5模型构建的ChatGPT发布,引起市场广泛关注,AI迎来新一轮发展热潮。此后,0penAl的GPT-4、谷歌的Gemini 1.5 Pro、Anthropic的Claude 3相继推出，不断提高大模型能力边界。
模型层持续迭代，带动下游应用层发展。类比于软件行业，基于服务器、操作系统等硬件和系统，开发针对不同下游场景的软件，AI产业可分为以下三个层级:
- 基础设施层：由计算硬件GPU和TPU、为AI计算提供专用算力的智算平台、以及各类A1工具，如模型微调、数据标注等组成，三者共同构成了A1上层建筑的底层设施。
- 模型层：依托于大量训练数据、算力资源构建的A1模型层由闭源模型和开源模型组成。两者相辅相成，共同推动AI应用发展。
- 应用层：AI时代的应用基于底层大模型构建。根据大模型的不同，应用层可分为基于第三方模型构建的应用和基于自建大模型构建的垂直应用两大类。
大语言模型：开、闭源共存以满足不同应用开发需求
双线竞争下，闭源模型和开源模型齐头并进。与软件开发和分发类似，基于代码开发的A1大模型也面临着闭源或开源模型源代码和训练数据的选择。2022年5月，Meta宣布开源拥有1750亿参数的大语言模型0PT,大模型由此开启了闭源和开源的双线竞争随着模型能力的不断选代与突破，目前闭源大模型以0penAl的GPT-4、谷歌的Gemini1.5 pro、以及Anthropic的Claude 3为代表;开源大模型以谷歌的Gemma、Meta的LLaMA3、以及Mistral的Mistral 8x7B为代表。
谷歌发布Gemini 1.0及更新后的Gemini 1.5 Pro，把上下文窗口容量再次提升。进入2024年，Anthropic发布最新大模型Claude 3，其在模型理解能力(MMLU)、推理能力(GPQA)等再次实现突破，得分超过GPT-4和Gemini1.0 Ultra，成为目前能力最强的大模型。出于商业竞争、安全等因素的考量，这些模型仍均为闭源模型。对比它们与开源模型在基准测试中的得分，闭源模型表现明显更为突出。头部大模型公司正凭借科研实力、人才、算力资源等优势,成为推动模型基础能力持续实现突破的主要力量。
基于闭源模型的应用通过API实现，同时API能力提升、价格下降。基于闭源模型的应用开发通过连接闭源模型AP1的形式实现。API接口允许用户将模型功能集成到自己的应用程序或服务中，实现数据的输入输出和模型功能的调用。随着模型不断更新选代，模型API的能力也正持续进化。以0penAl为例，其大模型API已完成多次更新，并支持微调功能，逐步为用户提供能力更强、更易用的API服务。其中，最新的GPT-40API实现速度提高2倍，价格便宜50%，调用模型的速率限制较GPT-4-Turbo提高5倍。价格方面，GPT API价格呈现随模型能力提升而下降的趋势，最新的GPT-40 API输入和输出百万tokens的价格分别为5、15美元，仅为GPT-4 API的16.7%和25%。