Gollama入门指南 - Ollama模型管理工具

Gollama入门指南 - Ollama模型管理工具

引用

CSDN

1.

https://m.blog.csdn.net/m0_75126181/article/details/142331177

Gollama:便捷的Ollama模型管理工具

Gollama是一款专为macOS和Linux设计的Ollama模型管理工具。它提供了一个直观的文本用户界面(TUI),让用户可以轻松地列出、检查、删除、复制和推送Ollama模型,同时还可以选择性地将模型链接到LM Studio。

主要特性

• 列出可用模型
• 显示模型元数据(大小、量化级别、模型系列、修改日期等)
• 编辑/更新模型的Modelfile
• 按名称、大小、修改日期、量化级别、系列等对模型进行排序
• 选择和删除模型
• 运行和卸载模型
• 检查模型的详细信息
• 计算模型的近似vRAM使用量
• 将模型链接到LM Studio
• 复制/重命名模型
• 将模型推送到注册表
• 显示正在运行的模型

安装

从Go安装:

go install github.com/sammcj/gollama@HEAD  

从GitHub安装:

1. 从发布页面下载最新版本
2. 解压二进制文件到PATH目录中

例如:

zip -d gollama*.zip -d gollama && mv gollama /usr/local/bin  

使用方法

运行gollama应用程序:

gollama  

提示:可以为gollama设置别名以快速访问:

echo "alias g=gollama" >> ~/.zshrc  

主要快捷键

• Space : 选择
• Enter : 运行模型(Ollama run)
• i : 检查模型
• t : 显示运行中的模型
• D : 删除模型
• e : 编辑模型
• c : 复制模型
• U : 卸载所有模型
• p : 拉取现有模型
• g : 拉取新模型
• P : 推送模型
• n : 按名称排序
• s : 按大小排序
• m : 按修改时间排序
• k : 按量化级别排序
• f : 按系列排序
• l : 将模型链接到LM Studio
• L : 将所有模型链接到LM Studio
• q : 退出

命令行选项

• -l : 列出所有可用的Ollama模型并退出
• -s <搜索词> : 按名称搜索模型
• -e <模型> : 编辑模型的Modelfile
• --vram : 估算现有Ollama模型或huggingface模型ID的vRAM使用量

vRAM估算功能

Gollama包含一个全面的vRAM估算功能:

• 计算已拉取的Ollama模型或huggingface模型ID的vRAM使用量
• 确定给定vRAM约束下的最大上下文长度
• 为给定的vRAM和上下文约束找到最佳量化设置
• 显示不同k/v缓存量化选项的估算值(fp16, q8_0, q4_0)
• 自动检测可用的CUDA vRAM或系统RAM

通过Gollama,用户可以轻松管理和优化他们的Ollama模型,提高工作效率。无论您是AI开发人员还是模型使用者,Gollama都能为您提供便捷的模型管理体验。