大模型进手机,UFS闪存如何“魔法”加持手机智慧力?
大模型进手机,UFS闪存如何“魔法”加持手机智慧力?
2024年,随着终端芯片算力的快速增强,以及大模型小型化技术的不断成熟,大模型进手机成为潮流。在这其中,UFS嵌入式闪存作为手机存储的中枢神经系统,在AI手机中的作用正日益凸显。
目前各家终端厂商大都采用端云协同的混合模式,为终端用户提供AI服务。
那为何不采用纯端或者纯云端?
简单来说,如果一款手机只用运行在云端的千亿级大模型,虽然性能足够,但由于网络连接延迟,用户问个天气要两秒钟才能回答,这个体验就太差了。同时成本也是一大影响因素,目前国内一家TOP级的手机厂商终端用户大约有2-3亿,假设每天运算一次,那一天的运算成本也轻松超过数百万元。
而如果完全将大模型放在手机上运行,由于能耗和性能的限制,能够支撑的应用又非常有限。因此,出于成本和能耗等因素,各家大多采用端云协同的混合模型。
AI手机与普通手机有何区别?
与普通智能手机相比,AI手机具备算力高效利用能力、真实世界感知能力、自学习能力以及创作能力。但是二者最主要的差异,并不是这些面子上的“炫技”,而是里子上的核心处理器芯片。
目前,手机终端厂商大都采用SOC集成的方式来构造全新的AI处理器,集成CPU+GPU+NPU等模块,将AI能力带到每一颗处理器中。处理器采用CPU+GPU组合的方式我们都听过,为何AI手机的处理器这次要加上NPU?
其实NPU是专门为人工智能应用开发的处理器,特别擅长进行神经网络的训练和推理计算。它采用专门的硬件加速技术,能够高效地进行大规模的矩阵运算,以高通骁龙8 Gen3平台为例,NPU速度提升98%,支持超过100 亿参数的模型。
到这里我们可以明白,AI手机正是通过CPU、NPU、GP构成算力基座,搭配以高性能、大容量的DRAM以及UFS嵌入式闪存芯片,为用户带来更快的AI计算以及更流畅的大模型使用体验。
大模型进手机,带来哪些新体验?
在大语言模型之前,AI 给手机带来的体验升级大多被框在单个 App 内;而大模型进手机后,手机的整体智能程度发生了质变,用户的复杂需求已经可以被理解、处理。
在端侧大模型的深度训练和推理阶段,由于需要处理海量的数据集,因此数据传输速度至关重要。UFS闪存凭借卓越的数据传输速度,确保了手机能够迅速读取和写入闪存中的数据,为AI应用提供了强大的支持。这使得AI应用在手机上的表现更加流畅和高效,为用户带来了更好的使用体验。
图像处理应用中,实时物体识别和场景分析需要毫秒级别的响应速度,确保手机在极短时间内完成复杂的图像分析任务。无论是精准发丝级别的分割与生成,还是超大面积图像的填充生成,都需要存储提供稳定且快速的数据处理支持。
在内容创作应用中,无论是快速生成数百字的摘要,还是在数秒内生成高分辨率的图片,都需要确保数据的快速读取和写入。
在语音识别应用中,对于时长较长的通话记录,需要迅速处理大量的语音数据,并在极短时间内输出摘要文字。
UFS嵌入式闪存低延迟的特性使得手机能够更迅速地获取、处理这些指令,为用户提供更为实时的且复杂的人机交互体验。
UFS嵌入式闪存为何能够这么快?
- 它在数据信号传输上使用的是差分串行传输,这是 UFS 快的基础。所有的高速传输总线,如 SATA、SAS、PCIe等,都是串行差分信号;
- 支持全双工与异步命令处理,可以同时下发多个命令给到终端。基于此,我们可以实现同时听歌、聊微信的多线操作方式;
- 支持多通道数据传输,目前,一个方向上最多支持两个通道;
- ...
随着手机算力的迅猛增长,以及数据传输和指令处理需求的急剧增加,SoC、DRAM等硬件在功耗方面面临严峻挑战。UFS嵌入式闪存凭借低功耗特性,能够有效确保大模型的高效运行,优化散热,保障用户使用体验。此外,其在数据安全和海量数据集的存储方面也具备无可替代的优势。
可以预见,相较于算力,大模型进手机所面临的挑战可能来自于存储。在DRAM方面,目前16GB LPDDR5X已成为行业标配;而在嵌入式存储领域,更高性能、更大容量的UFS闪存将成为主流选择。