Datawhale零基础入门NLP赛事-Task6
- Transformer
- Bert模型
- 基于Bert的文本分类
本笔记是参加Datawhale零基础入门NLP赛事的学习笔记。
Transformer Transformer是在"Attention is All You Need"中提出的,模型的编码部分是一组编码器的堆叠(论文中依次堆叠六个编码器),模型的解码部分是由相同数量的解码器的堆叠。
Bert模型 BERT模型结构如下图所示,它是一个基于Transformer的多层Encoder,通过执行一系列预训练,进而得到深层的上下文表示。
文章图片
基于Bert的文本分类 源码
Bert Pretrain
(TBD)
【【学习笔记】自然语言处理实践(新闻文本分类)- 基于深度学习的文本分类Bert】Bert Finetune
(TBD)
推荐阅读
- 人工智能|hugginface-introduction 案例介绍
- 中文分词预处理之N最短路径法小结(转)
- 深度学习|2019年CS224N课程笔记-Lecture 17:Multitask Learning
- 深度学习|2018年度总结和2019年度计划
- BERT微调做中文文本分类
- 【学习笔记】自然语言处理实践(新闻文本分类)- 基于深度学习的文本分类Word2Vec
- 自然语言处理|答案选择|语义匹配任务目前表现最好的几个模型
- 深度学习|NLP重铸篇之BERT如何微调文本分类
- NLP实践-Task1