使用Ollama在本地运行任何GGUF模型
使用Ollama在本地运行任何GGUF模型
随着大型语言模型（LLM）的快速发展，对高效且兼容的模型托管的需求也日益增长。Ollama是在各种操作系统（包括Windows、Linux和macOS）上运行LLM的最简单方法之一。但是，Ollama的原生模型列表无法跟上Hugging Face等平台上的广泛选择。对于较大的模型（例如GGUF格式的Dolphin Mix 2.7），Ollama提供了一种无缝的方式来在本地加载和运行量化版本，而无需大量GPU资源。
以下是使用Ollama设置任何GGUF模型的逐步指南。
第一步：下载GGUF模型
- 导航至Hugging Face上的模型页面。
- 在模型页面，选择“文件”以查看所有可用的GGUF格式和大小。
- 选择一个适合你硬件的较小、量化尺寸的GGUF格式。
- 右键点击下载链接并复制它
<model_download_link>。
第二步：设置Ollama目录
打开你的终端，并导航至Ollama的安装目录：
cd ~/ollama/models
使用wget命令直接将GGUF模型文件下载到此目录：
wget `<model_download_link>`
第三步：验证模型下载
模型文件下载完成后，在目录中检查它：
ls -ltr
你的GGUF模型文件现在应该在该目录中可见。
第四步：设置模型配置文件
为了让Ollama识别这个GGUF模型，你需要创建一个配置文件。为了学习目的，我们假设使用的是dolphin-mix-2.7模型。
使用现有的模型配置文件作为模板：
ollama show-model-file dolphin-mix-2.7
将此配置输出重定向到一个新文件中。例如：
ollama show-model-file dolphin-mix-2.7 > dolphin_gguf_config.yaml
在文本编辑器中打开此配置文件：
nano dolphin_gguf_config.yaml
在配置文件中，将模型路径替换为你下载的GGUF模型文件的路径。保存并关闭文件。
第五步：在Ollama中注册新模型
更新配置文件后，将此模型添加到Ollama中：
ollama create-model dolphin_gguf_config.yaml
此命令将GGUF模型注册到Ollama中。
第六步：列出并运行模型
通过列出可用模型来验证你的模型是否已添加到Ollama中：
ollama list-models
运行模型：
ollama run dolphin-gguf
模型加载后，你就可以像与其他任何Ollama模型一样与它进行交互了。
结论
使用Ollama在本地运行GGUF模型提供了灵活性和兼容性，即使对于像Dolphin Mix 2.7这样的大型模型也是如此。这种设置不仅允许在消费级硬件上运行大型模型，还扩展了本地化定制部署的潜力。
文章来源：https://medium.com/@manishsingh7163/run-any-gguf-model-locally-with-ollama-636ffb602909