Ollama模型导入指南，从HuggingFace下载模型轻松上手

Ollama模型导入指南，从HuggingFace下载模型轻松上手

引用

网易

1.

https://www.163.com/dy/article/JNQS96N305314EKW.html

本文将详细介绍如何使用Ollama模型导入指南的技术文章，主要介绍从HuggingFace下载模型并导入到Ollama的详细步骤。

一、安装Ollama

参照这篇文章安装Ollama：

1. 查看Ollama版本

ollama -v
ollama version is 0.5.7

二、下载模型

由于文件比较大，下载模型的时间花费比较长。我们更希望从HuggingFace下载以便方便地评估各种模型，所以，这里我们并不从Ollama直接下载，而是从HuggingFace下载。

在HuggingFace搜索llama3，设置Languages为Chinese，可以看到若干基于LLaMa3的中文模型：

直达地址：https://huggingface.co/zhouzr/Llama3-8B-Chinese-Chat-GGUF/tree/main

点击 Files and versions

下载 Llama3-8B-Chinese-Chat.q6_k.GGUF

GGUF格式的模型，GGUF格式是llama.cpp团队搞的一种模型存储格式，一个模型就是一个文件，llama.cpp的创始人Georgi Gerganov定义，旨在解决当前大模型在实际应用中遇到的存储效率、加载速度、兼容性和扩展性等问题。

三、导入模型

需要编写一个配置文件，随便起个名字，如ollama_Liama3_config.txt，文件放到D盘下的ollama目录中。

配置文件内容如下：

FROM "D:\ollama\Llama3-8B-Chinese-Chat.q6_k.GGUF"
TEMPLATE """
{{- if .System }}
<|im_start|>system {{ .System }}<|im_end|>
{{- end }}
<|im_start|>user {{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""
SYSTEM """"
PARAMETER stop
<|im_start|>
PARAMETER stop
<|im_end|>

导入模型命令

PS D:\ollama> ollama create llama3-cn-8b -f ./ollama_Liama3_config.txt
gathering model components
copying file sha256:e0e83a7967c61e38d6a3fd8b093754117944b405d35afe95f129fbfb143929f2 100%
parsing GGUF
using existing layer sha256:e0e83a7967c61e38d6a3fd8b093754117944b405d35afe95f129fbfb143929f2
creating new layer sha256:b65f5bb03e74da8572e4191596a895bddc10355595c38574a16fdf12a889855b
creating new layer sha256:f02dd72bb2423204352eabc5637b44d79d17f109fdb510a7c51455892aa2d216
writing manifest
success

查看模型

ollama list
NAME                     ID              SIZE      MODIFIED
llama3-cn-8b:latest      d710bb08d58c    6.6 GB    About a minute ago
llama2-chinese:latest    cee11d703eee    3.8 GB    19 hours ago
deepseek-r1:14b          ea35dfe18182    9.0 GB    27 hours ago
qwen2.5:latest           845dbda0ea48    4.7 GB    40 hours ago
deepseek-r1:7b           0a8c26691023    4.7 GB    42 hours ago
llama3:latest            365c0bd3c000    4.7 GB    45 hours ago

llama3-cn-8b:latest则导入成功

四、运行模型

使用Ollama的run命令可以直接运行模型。我们输入命令

ollama run llama3-cn-8b

在Open WebUI使用

总结

通过Ollama，你可以轻松地在本地运行Hugging Face模型。Ollama提供了简单易用的命令行界面，让你能够快速上手。希望本指南能够帮助你成功导入并运行Hugging Face模型。