【学习笔记】自然语言处理实践(新闻文本分类)- 基于深度学习的文本分类Bert


Datawhale零基础入门NLP赛事-Task6

    • Transformer
    • Bert模型
    • 基于Bert的文本分类

本笔记是参加Datawhale零基础入门NLP赛事的学习笔记。
Transformer Transformer是在"Attention is All You Need"中提出的,模型的编码部分是一组编码器的堆叠(论文中依次堆叠六个编码器),模型的解码部分是由相同数量的解码器的堆叠。
Bert模型 BERT模型结构如下图所示,它是一个基于Transformer的多层Encoder,通过执行一系列预训练,进而得到深层的上下文表示。
【学习笔记】自然语言处理实践(新闻文本分类)- 基于深度学习的文本分类Bert
文章图片

基于Bert的文本分类 源码
Bert Pretrain
(TBD)
【【学习笔记】自然语言处理实践(新闻文本分类)- 基于深度学习的文本分类Bert】Bert Finetune
(TBD)

    推荐阅读