问小白 wenxiaobai
资讯
历史
科技
环境与自然
成长
游戏
财经
文学与艺术
美食
健康
家居
文化
情感
汽车
三农
军事
旅行
运动
教育
生活
星座命理

Hugging Face 下载模型指南:手把手教你玩转

创作时间:
作者:
@小白创作中心

Hugging Face 下载模型指南:手把手教你玩转

引用
1
来源
1.
https://cloud.tencent.com/developer/article/2509399

Hugging Face 已成为 NLP 和 AI 开发者的必备工具,它提供了丰富的预训练模型,帮助我们快速进行模型训练与推理。但是,如何高效地将模型下载到本地?
👉 你可以选择:

  • Hugging Face CLI 下载:适合直接下载模型文件,无需写代码。
  • Python 代码下载:适合在项目中动态加载和缓存模型。

方法一:使用 Hugging Face CLI 下载模型

第 1 步:安装 Hugging Face CLI 工具

打开命令行
cmd

PowerShell
),输入以下命令进行安装:

pip install huggingface_hub  

说明:


  • huggingface_hub
    模块包含
    huggingface-cli
    ,用于从 Hugging Face 下载模型文件。

第 2 步:登录 Hugging Face 账户(仅限私有模型)

如果你要下载私有模型或使用高权限 API 访问,需要登录 Hugging Face 账户。

huggingface-cli login  

获取 Access Token:

  • • 访问 Hugging Face 账户页面。
  • • 选择New Token并生成一个具有
    Read
    权限的 Token。

  • • 在 CLI 提示中粘贴 Token:

第 3 步:下载模型

使用
huggingface-cli download
下载模型:

huggingface-cli download shibing624/text2vec-base-chinese  

模型文件将保存在
~/.cache/huggingface/hub
目录,windows的就是在
C:\Users<你的用户名>.cache\huggingface\hub
目录。

如果你希望将模型下载到自定义路径,可以使用
--cache-dir
参数:

huggingface-cli download shibing624/text2vec-base-chinese --cache-dir ./my_model  

方法二:通过 Python 代码下载模型

第 1 步:安装必要的依赖

在 Windows 系统上,同样需要安装
transformers

huggingface_hub

pip install transformers huggingface_hub  

说明:


  • transformers
    :用于加载预训练模型。

  • huggingface_hub
    :提供下载和管理模型的 API。

第 二 步:通过 Python 下载模型

from transformers import AutoModel, AutoTokenizer
# 模型名称,例如 "shibing624/text2vec-base-chinese"
model_name = "shibing624/text2vec-base-chinese"
# 下载并加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)
# 保存到自定义路径(可选)
model.save_pretrained("./my_model")
tokenizer.save_pretrained("./my_model")  

说明:

  • • 模型会缓存在
    C:\Users<你的用户名>.cache\huggingface\hub
    目录下。

  • model.save_pretrained()
    可将模型保存到自定义路径(如
    ./my_model
    )。

参考文档:

  • Hugging Face 官方文档
  • Hugging Face CLI 快速入门
© 2023 北京元石科技有限公司 ◎ 京公网安备 11010802042949号