手把手教你使用huggingface微调模型

手把手教你使用huggingface微调模型

引用

CSDN

1.

https://blog.csdn.net/qsmx666/article/details/121609335

本文将介绍如何使用huggingface库对预训练模型进行微调。通过一个具体的情感分析任务示例，从环境搭建到数据处理，帮助读者快速入门模型微调的基本流程。

1. 安装必要的包

在开始之前，需要安装transformers和datasets两个库。transformers库是huggingface提供的用于处理自然语言处理任务的核心库，而datasets库则提供了许多常用的数据集。

pip install transformers[sentencepiece]
pip install datasets

2. 导入数据

这里使用的是GLUE数据集中的SST2子集，这是一个常用的情感分析数据集，主要用于电影评论的情感分类（二分类）。

from datasets import load_dataset
raw_datasets = load_dataset("glue", "sst2")
raw_datasets

3. Pipeline流程

整个模型微调的流程可以概括为以下几个步骤：分词、将文本转化为向量、输入到模型、得到输出后再进行后处理操作。

4. 数据处理

在进行模型训练之前，需要对数据进行预处理，主要包括分词和编码。

from transformers import AutoTokenizer
checkpoint = "bert-base-uncased"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

其中，checkpoint参数指定了要使用的预训练模型。这里使用的是BERT的无cased版本，即在处理文本时会将所有字母转换为小写。每个预训练模型都有其特定的分词器（tokenizer），因此在使用时需要根据模型选择相应的tokenizer。

接下来，我们需要定义一个函数来对数据进行分词和编码：

def tokenize_function(example):
    return tokenizer(example["sentence"], truncation=True)
tokenized_datasets = raw_datasets.map(tokenize_function, batched=True)

这个函数会将数据集中的每个句子进行分词，并将结果存储在tokenized_datasets中。

最后，我们需要对数据进行一些格式上的调整，使其符合模型的输入要求：

from transformers import DefaultDataCollator
data_collator = DefaultDataCollator(return_tensors="pt")

这样，我们就完成了数据处理的全部流程，接下来就可以开始模型训练了。