人工智能的快速发展推动了大模型的广泛应用,它们在语言、视觉、语音等领域的应用效果已经越来越好。但是,训练一个大模型需要巨大的计算资源和时间,为了减少这种资源的浪费,微调已经成为一种流行的技术。微调是指在预训练模型的基础上,通过在小数据集上的训练来适应新的任务。AIGC(AI芯片)的出现进一步加快了大模型的推广,它可以提供更快的计算速度和更大的存储容量。本文将介绍AIGC下大模型微调的方法,包括微调所有层、微调顶层、冻结底层、逐层微调和迁移学习。我们将使用PaddlePaddle这个开源框架,以自然语言处理和计算机视觉为例,来说明这些方法的原理和实现步骤。
在AIGC大模型下,我们目前最熟知一个大模型就是Chatgpt,目前国外大佬也正在研究能否在计算机视觉角度,做到上传一个图片或一个视频,我告诉他做视觉上的任务,就可以实现相应的视觉需求。
这样的大模型,我们虽然暂时没办法用到开源的模型,而且模型涉及到的参数也太大了,如果自己训练累死机器,在面对不同业务的情况下, 我们更多的方法是基于大模型进行模型微调的方法来实现我们的应用
微调的方法
在深度学习中,微调是一种重要的技术,用于改进预训练模型的性能。除了微调ChatGPT之外,还有许多其他预训练模型可以进行微调。以下是一些微调预训练模型的方法:
- 微调所有层:将预训练模型的所有层都参与微调,以适应新的任务。
- 微调顶层:只微调预训练模型的顶层,以适应新的任务。
- 冻结底层:将预训练模型的底层固定不变,只对顶层进行微调。
- 逐层微调:从底层开始,逐层微调预训练模型,直到所有层都被微调。
- 迁移学习:将预训练模型的知识迁移到新的任务中,以提高模型性能。这种方法通常使用微调顶层或冻结底层的方法。
对于模型的参数微调,我认为可以这样理解,以原始的chatgpt为例,它像是一个通用的大模型,
像是一个在大学学习到所有专业的知识的大学生,基于过往的学习经验以及对生活中的一些事情,已经有了属于自己的一套学习方法思维逻辑**(这个就是模型的参数)**
现在这个大学生毕业后从事某一种行业的工作,那他就要开始学习工作上的内容,来产出工作的成果。那在他学习的过程,他以往在大学学到专业知识学习方法是不是也可以拿来应用呢,是不是可以用同样的学习方法学习工作的东西呢**(这个就是微调)**
微调,通过我过去积累学到东西,来应用到现在新的内容中来产出新的结果。
回到对不同层进行微调,如何选择那些层需要微调?就需要知道模型这些层在原始数据集上学习到了什么经验? 那些经验是我们可以拿来复用到另一个数据集中的?
在神经网络中,那些层是在学经验?
在计算机视觉中,卷积神经网络 (Convolutional Neural Networks, CNNs) 通常会学习到如下经验:
- 局部感知:CNNs 通过卷积操作和池化操作可以学习到局部特征,如边缘、纹理等,从而实现对图像的局部感知。
- 平移不变性:CNNs可以学习到特征对平移的不变性,这样对于同一物体的不同部分,CNNs 可以生成相似的特征表示。
- 分层抽象:CNNs可以通过多层卷积操作学习到越来越抽象的特征,从低级别特征如边缘到高级别特征如物体的部分或整体。
此外,近年来也出现了一些基于注意力机制的模型,如自注意力模块(Self-Attention Model)、transformer模块可以通过学习到的注意力权重来对图像中的特征进行加权和,从而更加精细地提取特征
在自然语言处理中,循环神经网络 (Recurrent Neural Networks, RNNs) 和 Transformer 网络通常会学习到如下经验:
- 时序依赖关系:RNNs 和 Transformer 网络可以学习到文本序列中的时序依赖关系,从而实现对文本的序列化处理。
- 分层抽象:RNNs 和 Transformer 网络可以通过多层神经网络实现对文本的分层抽象,从而学习到更高级别的文本特征表示。
- 上下文依赖:RNNs 和 Transformer 网络可以学习到上下文依赖关系,从而可以生成基于上下文的文本特征表示,从而提高模型的性能。
可以说对于处理计算机视觉和自然语言处理任务,模型上游的部分都是在一个学习经验的过程
但计算机视觉和自然语言处理在做微调模型时,区别:
对于计算机视觉,不同的图像,学习到的经验,可能完全是不同的,但是对于自然语言处理不同的文本,可能学习到的经验是一样的,因为文本的数据,特征更多是从上下文依赖,语言时序性。这些特征在不同内容的文本中是可以套用的。(比如说写论文和写作文,写作上很大的相似地方)
用paddle实现模型微调
以下是使用PaddlePaddle框架对上述五种微调方法的示例代码:
python代码解读复制代码import paddle
from paddle import nn# 加载预训练的Transformer模型
pretrained_model = paddle.vision.models.Transformer()# 1. 微调所有层
for param in pretrained_model.parameters():param.trainable = True# 2. 微调顶层
for param in pretrained_model.decoder.parameters():param.trainable = True# 3. 冻结底层
for param in pretrained_model.encoder.parameters():param.trainable = False# 4. 逐层微调
for i, layer in enumerate(pretrained_model.encoder.layers):if i >= 6: # 只微调第6层及以上的层for param in layer.parameters():param.trainable = Trueelse:for param in layer.parameters():param.trainable = False# 5. 迁移学习
# 加载预训练的模型
pretrained_model = paddle.vision.models.ResNet50(pretrained=True)# 新建分类器
num_classes = 10
classifier = nn.Linear(2048, num_classes)# 冻结预训练模型的所有层
for param in pretrained_model.parameters():param.trainable = False# 微调新建分类器的参数
for param in classifier.parameters():param.trainable = True# 将预训练模型和新建分类器组合成新的模型
model = nn.Sequential(pretrained_model, classifier)
上述代码中,我们首先通过paddle.vision.models.Transformer()加载了预训练的Transformer模型。然后根据不同的微调方法,分别对模型的不同层进行微调或冻结。最后,我们使用迁移学习的方法将预训练模型和新建分类器组合起来,形成一个新的模型。
使用Paddle实现ChatGPT模型的五种微调方法
微调所有层
python代码解读复制代码import paddle
from paddlenlp.transformers import GPT2Model, GPT2ForPretraining, GPT2PretrainingCriterion# 加载预训练模型
model = GPT2ForPretraining.from_pretrained('gpt2-medium-en')
tokenizer = GPT2Tokenizer.from_pretrained('gpt2-medium-en')# 定义新的分类头
class_num = 2
cls = paddle.nn.Linear(model.config["hidden_size"], class_num)# 将新的分类头添加到模型中
model.cls = cls# 通过微调所有层来适应新任务
optimizer = paddle.optimizer.Adam(learning_rate=1e-5, parameters=model.parameters())
criterion = GPT2PretrainingCriterion()
微调顶层
python代码解读复制代码import paddle
from paddlenlp.transformers import GPT2Model, GPT2ForPretraining, GPT2PretrainingCriterion# 加载预训练模型
model = GPT2ForPretraining.from_pretrained('gpt2-medium-en')
tokenizer = GPT2Tokenizer.from_pretrained('gpt2-medium-en')# 固定模型底层,只微调顶层
for param in model.parameters():param.trainable = False# 定义新的分类头
class_num = 2
cls = paddle.nn.Linear(model.config["hidden_size"], class_num)# 将新的分类头添加到模型中
model.cls = cls# 通过微调顶层来适应新任务
for param in model.cls.parameters():param.trainable = True
optimizer = paddle.optimizer.Adam(learning_rate=1e-5, parameters=model.cls.parameters())
criterion = paddle.nn.CrossEntropyLoss()
冻结底层
python代码解读复制代码import paddle
import paddle.nn.functional as F
from paddlenlp.transformers import GPTForPretraining, GPTChineseTokenizer# 加载预训练模型和分词器
model = GPTForPretraining.from_pretrained('gpt-cpm-large-cn')
tokenizer = GPTChineseTokenizer.from_pretrained('gpt-cpm-large-cn')# 构造数据集和数据加载器
train_ds = [['今天天气不错'], ['明天要下雨'], ['这个季节很适合旅游']]
train_ds = [{'text': text} for text in train_ds]def batch_iter(data, batch_size):num_batches = len(data) // batch_sizeif len(data) % batch_size != 0:num_batches += 1for i in range(num_batches):batch = data[i * batch_size: (i + 1) * batch_size]yield batchbatch_size = 2
train_loader = paddle.io.DataLoader(train_ds, batch_size=batch_size, shuffle=True, drop_last=True)# 构造优化器和损失函数
optimizer = paddle.optimizer.AdamW(parameters=model.parameters(), learning_rate=1e-4)
criterion = F.cross_entropy# 冻结底层
for layer in model.layers[:6]:layer.eval()for param in layer.parameters():param.trainable = False# 微调模型
for epoch in range(3):for batch in train_loader:texts = [example['text'] for example in batch]encoded_inputs = tokenizer(texts, return_attention_mask=True, return_length=True, padding=True)input_ids = paddle.to_tensor(encoded_inputs['input_ids'])attention_mask = paddle.to_tensor(encoded_inputs['attention_mask'])logits = model(input_ids, attention_mask=attention_mask)[0]loss = criterion(logits.reshape(-1, logits.shape[-1]), input_ids.reshape(-1))loss.backward()optimizer.step()optimizer.clear_grad()print(f'Epoch {epoch + 1}: loss={loss.numpy():.4f}')# 保存微调后的模型
paddle.save(model.state_dict(), 'gpt-cpm-large-cn-finetuned
逐层微调
python代码解读复制代码import paddle
import paddle.nn.functional as F
from paddlenlp.transformers import GPTForPretraining, GPTChineseTokenizer# 加载预训练模型和分词器
model = GPTForPretraining.from_pretrained('gpt-cpm-large-cn')
tokenizer = GPTChineseTokenizer.from_pretrained('gpt-cpm-large-cn')# 构造数据集和数据加载器
train_ds = [['今天天气不错'], ['明天要下雨'], ['这个季节很适合旅游']]
train_ds = [{'text': text} for text in train_ds]def batch_iter(data, batch_size):num_batches = len(data) // batch_sizeif len(data) % batch_size != 0:num_batches += 1for i in range(num_batches):batch = data[i * batch_size: (i + 1) * batch_size]yield batchbatch_size = 2
train_loader = paddle.io.DataLoader(train_ds, batch_size=batch_size, shuffle=True, drop_last=True)# 构造优化器和损失函数
optimizer = paddle.optimizer.AdamW(parameters=model.parameters(), learning_rate=1e-4)
criterion = F.cross_entropy# 迁移学习微调模型
for epoch in range(3):for batch in train_loader:texts = [example['text'] for example in batch]encoded_inputs = tokenizer(texts, return_attention_mask=True, return_length=True, padding=True)input_ids = paddle.to_tensor(encoded_inputs['input_ids'])attention_mask = paddle.to_tensor(encoded_inputs['attention_mask'])logits = model(input_ids, attention_mask=attention_mask)[0]loss = criterion(logits.reshape(-1, logits.shape[-1]), input_ids.reshape(-1))loss.backward()optimizer.step()optimizer.clear_grad()print(f'Epoch {epoch + 1}: loss={loss.numpy():.4f}')# 保存微调后的模型
paddle.save(model.state_dict(), 'gpt-cpm-large-cn-finetuned-transfer-learning.pdparams')
在上面的代码中,我将模型微调的方法从逐层微调改为了迁移学习微调。具体来说,我将原来的逐层微调中的隐藏状态计算和获取每一层的输出等相关代码去掉了,并直接将输入和注意力掩码传入模型,获取最后一层的输出,并计算损失进行反向传播和优化。
同时,我将保存模型时的文件名从 gpt-cpm-large-cn-finetuned-layer-wise.pdparams 改为了 gpt-cpm-large-cn-finetuned-transfer-learning.pdparams,以便于区分逐层微调和迁移学习微调两种方法。
迁移学习
python代码解读复制代码import paddle
import paddle.nn.functional as F
from paddlenlp.transformers import GPTForPretraining, GPTChineseTokenizer# 加载预训练模型和分词器
model = GPTForPretraining.from_pretrained('gpt-cpm-large-cn')
tokenizer = GPTChineseTokenizer.from_pretrained('gpt-cpm-large-cn')# 构造数据集和数据加载器
train_ds = [['今天天气不错'], ['明天要下雨'], ['这个季节很适合旅游']]
train_ds = [{'text': text} for text in train_ds]def batch_iter(data, batch_size):num_batches = len(data) // batch_sizeif len(data) % batch_size != 0:num_batches += 1for i in range(num_batches):batch = data[i * batch_size: (i + 1) * batch_size]yield batchbatch_size = 2
train_loader = paddle.io.DataLoader(train_ds, batch_size=batch_size, shuffle=True, drop_last=True)# 构造优化器和损失函数
optimizer = paddle.optimizer.AdamW(parameters=model.parameters(), learning_rate=1e-4)
criterion = F.cross_entropy# 训练模型
epochs = 3
for epoch in range(epochs):for batch in train_loader:texts = [example['text'] for example in batch]encoded_inputs = tokenizer(texts, return_attention_mask=True, return_length=True, padding=True)input_ids = paddle.to_tensor(encoded_inputs['input_ids'])attention_mask = paddle.to_tensor(encoded_inputs['attention_mask'])logits = model(input_ids, attention_mask=attention_mask)[0]loss = criterion(logits.reshape(-1, logits.shape[-1]), input_ids.reshape(-1))loss.backward()optimizer.step()optimizer.clear_grad()print(f'Epoch {epoch + 1}: loss={loss.numpy():.4f}')# 保存微调后的模型
paddle.save(model.state_dict(), 'gpt-cpm-large-cn-finetuned.pdparams')
在上面的代码中,我们首先加载了预训练的 GPT 模型和分词器,然后构造了一个简单的数据集和数据加载器。接着,我们使用 AdamW 优化器和交叉熵损失函数来训练模型,训练完后保存微调后的模型。
如何学习AI大模型 ?
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓
对于0基础小白入门:
如果你是零基础小白,想快速入门大模型是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
😝有需要的小伙伴,可以VX扫描下方二维码免费领取🆓
👉1.大模型入门学习思维导图👈
要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。
对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。(全套教程文末领取哈)
👉2.AGI大模型配套视频👈
很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。
👉3.大模型实际应用报告合集👈
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程文末领取哈)
👉4.大模型落地应用案例PPT👈
光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(全套教程文末领取哈)
👉5.大模型经典学习电子书👈
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(全套教程文末领取哈)
👉6.大模型面试题&答案👈
截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(全套教程文末领取哈)
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习
这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
😝有需要的小伙伴,可以Vx扫描下方二维码免费领取🆓