快速设置HuggingFace镜像源：简单易懂教程

快速设置HuggingFace镜像源：简单易懂教程

引用

CSDN

1.

https://blog.csdn.net/yyh2508298730/article/details/137783361

本文将介绍两种设置HuggingFace镜像源的方法：非入侵式和hdf方法。通过这些方法，你可以更快速地下载HuggingFace上的模型和数据集。

镜像设置

进入Python虚拟环境安装依赖：

pip install -U huggingface_hub

方式一：非入侵式

在相应运行脚本开头加入下列代码：

import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

然后运行脚本就行，模型就能正常下载，可能有些模型需要HuggingFace的token API，具体看下一步。

设置Token

有些模型需要使用Hugging Face账户的访问令牌才能够下载，如果不需要可以忽略这一步。具体设置方法如下：

1. 首先需要去自己的HuggingFace账户中找到这个Token,右上角找到自己的头像，点击个人信息：

2. 点击Setting

3. 复制READ中的Token到huggingface_hub.login()中

如果没装huggingface_hub库，可以通过一下命令安装：

pip install huggingface_hub

在Python脚本开头、刚才设置的环境变量之下输入下面的指令，并且粘贴Token进去：

os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
import huggingface_hub
huggingface_hub.login("你的Token")

方式二：hdf方法

hdf的GitHub项目详细地址：链接:Huggingface Model Downloader

该方法的好处在于下载能多线程，下载速度很快。

1.安装hfd.sh

wget https://hf-mirror.com/hfd/hfd.sh

2.给它运行权限

chmod a+x hfd.sh

3.设置环境变量

Linux系统：

export HF_ENDPOINT=https://hf-mirror.com

Windows系统

打开Windows Powershell（管理员）

$env:HF_ENDPOINT = "https://hf-mirror.com"

4.使用 aria2c 和多线程下载 网速超快且不会断连

sudo apt-get install aria2

5.cd进入要clone的文件夹

./hfd.sh 模型名称 --tool aria2c -x 4

hfd的具体用法:

hfd <model_id> [--exclude exclude_pattern] [--hf_username username] [--hf_token token] [--tool wget|aria2c] [-x threads] [--dataset]

参数：

• model_id: 用于指定想要下载的模型或数据集的Hugging Face标识符，格式通常为’repo/model_name’。例如bigscience/bloom-560m。
• --exclude (exclude_pattern): 可选参数，用于指定下载时要排除的文件模式。匹配此模式的文件将不会被下载。例如，使用–exclude safetensors会排除所有名字中包含safetensors的文件。
• --hf_username: 可选参数，Hugging Face账户的用户名。如果需要验证才能下载某些模型或数据集，需要提供此参数。
• --hf_token: 可选参数，Hugging Face账户的访问令牌。配合–hf_username使用，用于验证下载。
• --tool: 可选参数，指定下载工具。可以是wget（默认）或aria2c。aria2c支持多线程下载，可能更快。
• -x: 可选参数，仅当使用aria2c时有效。用于指定下载时的线程数。例如-x 8表示使用8个线程下载。
• --dataset: 可选参数，用来标记下载的是数据集而非模型。如果要下载的是数据集，需要添加此参数。