手把手教你本地部署大模型
手把手教你本地部署大模型
本文将详细介绍如何使用LM Studio工具在本地部署大模型。从下载安装到最终验证，每个步骤都配有详细的图文说明，帮助读者快速上手。
一、下载安装LM Studio
打开下载页面https://lmstudio.ai/下载LM Studio。
这个工具是免安装的，双击就可以打开软件。
二、本地部署大模型
1. 搜索模型
打开LM Studio后，就可以在软件中搜索要部署的模型了，比如我们想部署阿里的通义千问，可以输入关键字qwen。搜索结果会以列表的形式罗列出来。
我们会发现通过关键字搜索出来的模型非常多，选择的依据主要有两个：
模型参数。上面图中每个模型都带有一个参数，比如7B，14B，0.5B，数字越大，说明模型越复杂，耗费的资源越多，一般在自己的电脑上部署大模型，选择0.5B体验下即可。关于模型参数的具体知识，见文章最后一部分。
模型的格式。要选择GGUF，GGUF格式是为了使大型语言模型的推理更加高效、轻量级和易于部署而设计的，特别适用于资源受限的设备或环境。
2. 下载大模型
比方说我们选择高亮的Qwen1.5-1.8B-Chat-GGUF模型。
如下图，在右下角找到Download按钮，点击下载。可能会遇到下载很慢的情况，耐心等待，或者不通过这里下载，去网站手段下载模型，然后加载进来也行。
3. 加载大模型
如上图，在LM Studio中按如下步骤，加载刚刚下载的大模型，并进行测试。
- ① 左侧选择chat
- ② 点击下拉列表，查看已经下载的大模型
- ③ 选择我们想要加载的大模型
4. 测试大模型
加载大模型之后，按照下面步骤测试大模型是否正常加载。
- ① 点击 New Chat 新建一个会话
- ② 输入一个问题，根据AI的回答确认模型是否正常加载
5. 部署大模型
在LM Studio中部署大模型，也非常简单。
- ① 点击左侧菜单，切换到部署界面
- ② 点击
Start Server按钮，开始部署
大模型很快就部署好了，当然，这是因为我们选择的模型比较小，不用耗费很多资源。
6. 验证
大模型部署好了之后，LM Studio中还提供了各种访问大模型的Demo。
如下图，我们选择使用Python进行访问，点击chat(python)按钮，copy下面的代码到pycharm中，执行代码。
如果在LM Studio的控制台能看到类似的日志，说明大模型运行正常。
关于大模型参数的补充知识
在提及大模型如7B、33B、70B时，这里的数值代表的是模型的参数量，也就是构成神经网络的权重和偏置的数量。在深度学习中，模型的复杂度与其参数量成正比，更多的参数意味着模型具有更强的学习能力和表达能力，但也需要更多的计算资源来进行训练和推理。
- 7B：指的是模型拥有大约70亿（7 Billion）个参数。
- 33B：指的是模型拥有大约330亿（33 Billion）个参数。
- 70B：指的是模型拥有大约700亿（70 Billion）个参数。
这些参数是模型学习得到的，用于捕捉输入数据与输出预测之间的复杂关系。较大的模型通常能够更好地拟合复杂的数据分布，但同时也可能带来过拟合的风险，需要大量的数据进行训练以避免这种情况。
在实际应用中，选择多大的模型取决于多种因素，包括计算资源的限制、模型的预期用途、数据集的大小和复杂性等。例如，对于资源有限的设备，可能需要使用较小的模型（如7B）；而对于云服务或高性能计算集群，则可能使用更大的模型（如70B）。