【学习笔记】自然语言处理实践（新闻文本分类）- 基于深度学习的文本分类Bert 自然语言处理

Datawhale零基础入门NLP赛事-Task6

Transformer
Bert模型
基于Bert的文本分类

本笔记是参加Datawhale零基础入门NLP赛事的学习笔记。
Transformer Transformer是在"Attention is All You Need"中提出的，模型的编码部分是一组编码器的堆叠（论文中依次堆叠六个编码器），模型的解码部分是由相同数量的解码器的堆叠。
Bert模型 BERT模型结构如下图所示，它是一个基于Transformer的多层Encoder，通过执行一系列预训练，进而得到深层的上下文表示。