第十八周：机器学习

摘要

abstract

一、BERT

1、应用场景

任务一：单句子分类任务

任务二：单句子标注任务

任务三：句子对分类任务

任务四：问答系统

2、pre-train model

3、fine tune微调

input&output

how to fine tune

二、总结

摘要

本周学习了BERT的基本使用场景、预训练模型的结构及其改进，以及微调的输入输出和微调的方式。在学习Bert的过程中，对seq2seq model进行了复习。Bert主要应用在GLUE任务中，它可以完成单句子分类任务、单句子标注任务、句子对分类任务和问答任务，这四种下游任务是基于不同的输入输出，其中不同任务的task specific layer也是不相同的。

abstract

This week, we have learned the basic usage scenarios of BERT, the structure of the pre-trained model and its improvement, as well as the inputs and outputs of fine-tuning and the ways of fine-tuning. In the process of learning Bert, the seq2seq model was reviewed.Bert is mainly used in GLUE tasks, which can accomplish single-sentence classification tasks, single-sentence labeling tasks, sentence-pair classification tasks, and question-and-answer tasks, which are four downstream tasks based on different inputs and outputs, where the task-specific layer of the different tasks are also different .

一、BERT

1、应用场景

GLUE任务

其中各个任务的得分结果如下：

如何在GLUE中使用BERT？

任务一：单句子分类任务

在上图任务中，BERT属于是一种semi-supervision的学习模型

典型的任务有文本二分类、情感分析等

举例：Bert进行文本分类

# 使用bert进行文本分类
from transformers import BertForSequenceClassification, BertTokenizer
import torchtokenizer = BertTokenizer.from_pretrained('E:\/bert\/bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('E:\/bert\/bert-base-uncased')text = "This movie was amazing!"
inputs = tokenizer(text, return_tensors='pt')
outputs = model(**inputs)
predictions = torch.argmax(outputs.logits, dim=1)
print(predictions)

预测结果如下：

任务二：单句子标注任务

输入一个句子，输出为一个长度相同的句子，类似于self-attention中的任务。输入的句子在bert中被分割为一个个token，每一个token都有一个对应的向量，每个向量分别去做对应的linear transform，最终每个词都得到相应的类别（也就是词性）。

需要有一部分已标注的资料，在bert中的pre-train中设定好了一组较好的初始化参数。

典型的任务有词性标注、实体识别

举例：使用Bert标记器对文本进行标记

# 使用BERT标记器对文本进行标记
from transformers import BertTokenizertokenizer = BertTokenizer.from_pretrained('E:\/bert\/bert-base-uncased')
text = "BERT preprocessing is essential."
tokens = tokenizer.tokenize(text)print(tokens)

标记结果如下：

任务三：句子对分类任务

输入两个句子，输出一个类别，一般都是判断给定两个句子的相似程度来得到对立、赞成、中立的态度。输入两个分隔开来的句子，在bert中处理之后会生成一组长度相同的向量，我们只取[CLS]中的向量来进行linear transform，最终得到一个类别（两个句子是否是矛盾对立的）

典型的任务有评论立场分析、自然语言推断

任务四：问答系统

输入被[SEP]分隔开的问题和文章，有两个随机初始化的向量。首先，将橙色的向量与输入文章的bert处理后的向量进行inner product，最后经过softmax函数后比较大小，得到的最大值的向量位置记为初始位置s；接着，相同操作，将蓝色的向量与输入文章的bert处理后的向量进行inner product，最后经过softmax函数后比较大小，得到的最大值的向量位置记为长度e。

简而言之，就是答案在文章当中，然后通过确定其起始位置和答案长度来确定输出。

典型的任务有QA