如何将SafeTensors模型转换为GGUF格式

如何将SafeTensors模型转换为GGUF格式

引用

CSDN

1.

https://m.blog.csdn.net/qq_49035156/article/details/143089620

在AI和机器学习领域，模型格式的转换是一个常见的需求。本文将详细介绍如何将Hugging Face的SafeTensors模型转换为GGUF格式，以便在ollama平台上运行。这个过程包括克隆llama.cpp仓库、设置Python环境、安装依赖包，以及执行转换脚本。让我们一步步来完成这个过程。

第一步：克隆llama.cpp仓库

首先，你需要获取llama.cpp项目。你可以通过两种方式来做到这一点：

1. 使用git命令克隆仓库：

git clone https://github.com/ggerganov/llama.cpp.git

2. 或者，直接从GitHub下载zip压缩包。

两种方法都可以，选择你觉得最方便的一种即可。

第二步：设置Python虚拟环境

如果你使用的是conda，可以创建一个虚拟环境来运行convert_hf_to_gguf.py脚本。这个脚本的作用是将Hugging Face的模型文件转换成GGUF格式。

创建虚拟环境的命令如下：

conda create -n myenv python=3.10

这里myenv是你创建的虚拟环境的名称，python=3.10指定了Python的版本。你可以根据你的系统环境选择合适的Python版本。

第三步：安装依赖包

接下来，你需要安装convert_hf_to_gguf.py脚本所需的依赖包。首先，将之前下载的llama.cpp项目解压。然后，导航到llama.cpp目录下的requirements.txt文件，激活虚拟环境，并使用pip安装所需的包：

pip install -r requirements.txt

这个过程应该会安装所有必要的依赖包，以便脚本能够正常运行。

第四步：下载SafeTensors模型文件

为了转换模型，你需要从Hugging Face下载以下三个文件：

1. model.safetensors
2. config.json
3. tokenizer.json

确保这三个文件都下载完成，并将它们放置在一个文件夹中，我这里放置在了F:\model\huggingface\safetensors\qwen2.5文件夹下。

第五步：执行转换脚本

现在，打开命令提示符（cmd），激活你之前创建的虚拟环境，并运行转换脚本。以下是执行脚本的命令：

python convert_hf_to_gguf.py "F:\model\huggingface\safetensors\qwen2.5" --outtype f16 --verbose --outfile "F:\model\huggingface\safetensors\hg_models"

请确保替换上述命令中的路径为你的模型文件夹地址和转换后保存GGUF格式文件的地址（可参考我的）。

模型文件地址：F:\model\huggingface\safetensors\qwen2.5

gguf保存地址：F:\model\huggingface\safetensors\hg_models

第六步：运行模型

转换完成后，你可以参照我之前的文章《如何在ollama上运行Hugging Face的大语言模型》来了解如何在ollama平台上运行转换后的GGUF模型。

通过以上步骤，你应该能够成功地将SafeTensors模型转换为GGUF格式，并在ollama上运行。如果在转换过程中遇到任何问题，不要犹豫，查阅相关文档或在社区中寻求帮助。祝你好运！