Ollama内网离线部署大模型

Ollama内网离线部署大模型

引用

CSDN

1.

https://blog.csdn.net/u010197332/article/details/139004006

随着AI大模型技术的快速发展，越来越多的企业和开发者开始关注如何在内网环境下安全、高效地部署和使用大模型。本文以codeqwen:7b大模型为例，详细介绍了Ollama内网离线部署的完整流程，包括模型源文件准备、Modelfile配置、模型创建与运行等关键步骤。对于需要在内网环境中部署AI大模型的读者，本文将提供详细的指导和参考。

Ollama内网离线部署大模型

本文以codeqwen:7b大模型为例编写部署步骤

1、大模型源文件准备

（1）国内大模型源文件下载地址：https://modelscope.cn/models

（2）国外大模型源文件下载地址：https://huggingface.co/models

2、准备Modelfile文件

（1）Modelfile参数说明

（2）Modelfile样例文件

FROM ./codeqwen-1_5-7b-chat-q8_0.gguf
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ .Response }}<|im_end|>
"""
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"

3、创建模型

（1）创建模型命令

ollama create <your-model-name> -f <./Modelfile>

（2）创建模型示例

# 创建存储大模型源文件和modelfile文件的目录
sudo mkdir /home/llm
# 上传文件codeqwen-1_5-7b-chat-q8_0.gguf和modelfile-codeqwen.Modelfile到/home/llm；
# 进入工作目录
cd /home/llm
# 执行创建命令
ollama create codeqwen:7b -f ./modelfile-codeqwen.Modelfil
# 查看创建结果
ollama list

4、运行模型

（1）运行模型命令

ollama run <your-model-name>

（2）运行模型示例

# 运行步骤3创建的codeqwen:7b大模型
ollama run codeqwen:7b
# 退出命令
/bye

5、删除模型

（1）删除模型命令

ollama rm <your-model-name>

（2）删除模型示例

# 删除步骤3创建的codeqwen:7b大模型
ollama rm codeqwen:7b

Linux内网离线安装ollama请参考：https://blog.csdn.net/u010197332/article/details/137604798