研究推动智能手机人工智能性能提升

研究推动智能手机人工智能性能提升

随着机器学习工具的日益普及，对在移动设备上使用这些工具的需求也在不断增加。应用方面，无尽的可能性远超常见的语音或图像识别，而智能手机日益增强的计算能力为改进手持AI提供了必要的空间。乔治亚大学的研究人员最近开发了一种创新的软件框架，名为SmartMem，旨在使人工智能（AI）应用在移动设备上运行得更快、更高效。

尽管ChatGPT和其他先进的图像处理工具在智能手机上运行时常常遇到困难，因为它们需要复杂的数据转换，这会导致性能下降，但SmartMem通过显著减少这些转换来解决这一问题，使AI即使在日常移动设备上也能快速运行。这项软件的相关研究发表于2024年计算机系统会议ASPLOS ’24的期刊中。

乔治亚大学计算机学院的助理教授兼研究主要作者魏牛表示：“智能手机正成为日常生活中使用AI的最常见平台。我们的研究确保每个人都能体验到快速、可靠的AI，而无需昂贵的设备或持续的互联网连接。”

这一新框架通过将深度学习和深度神经网络（DNN）的操作符分类为四组，基于它们的输入/输出布局和计算，考虑操作符之间的生产者-消费者边缘组合，并使用多种精心设计的方法搜索优化布局，从而改善移动设备上的性能。团队对18个前沿模型进行了实验，显示出与现有处理编译器相比显著的加速。

魏牛表示：“这一进展不仅提高了AI应用的速度，还增强了用户的隐私。”展望未来，这项工作为进一步优化大型语言模型（LLMs）打下了基础，这些模型具有更大的参数和更多的操作符，可以在移动设备上运行。“因为SmartMem帮助复杂的AI直接在手机上运行，这减少了将敏感数据发送到云服务器的需求，”乔治亚大学计算机学院主任兼共同作者甘甘·阿格拉瓦尔说。“这保护了用户的隐私，并使AI应用即使在没有互联网连接的情况下也能可靠地工作。”

他说：“在设备上本地运行AI确保个人数据保持私密，尽量减少通过互联网传输。此外，本地AI在互联网访问不可靠或不可用的情况下，能够确保一致的性能。”

魏牛和阿格拉瓦尔最近获得了国家科学基金会的资助，以支持该项目的后续工作。评估结果表明，SmartMem显著优于现有框架，性能提升可达7.9倍，与流行的移动AI编译器框架相比。同时，它还减少了内存使用和缓存未命中，证明了其在优化移动设备AI方面的有效性。“SmartMem的改进意味着未来在移动设备上的AI体验将更快、更安全，也更容易被每个人所使用，”魏牛说。

该研究“SmartMem: 布局转换消除与适应以实现高效的DNN在移动设备上的执行”已在线发布。