【比赛报告】biendata_2021搜狐校园文本匹配算法大赛_解决方案
- 前言
- 一、赛题
- 二、模型设计
- 三、训练技巧和提升方案
- 四、总结
- 代码开源
前言
- 比赛网页
- 之前写过相关的赛题解读，想了解的朋友移步《语义匹配（二）搜狐文本匹配大赛BaseLine比较》
- 本次比赛成绩：初赛第4，复赛第9，决赛第8。虽然最后因为才发现了提交代码有bug，但还是分享一下自己的PPT方案。
文章图片
文章图片
二、模型设计
文章图片
文章图片
文章图片
三、训练技巧和提升方案
文章图片
文章图片
文章图片
文章图片
文章图片
四、总结
- 本次比赛主要是为了让自己多多尝试模型的改造与优化，对于数据的处理和洞察几乎没有怎么下功夫。导致在最后决赛上发现各个队伍都通过大量的数据处理加上简单的模型就可以达到比较高的分数。
- 总的来说听了其他选手的方案介绍，模型设计上没有做太多的创新，一般都是基于多任务学习的常规套路，给每个任务设置不同的头部组件拼接在bert上。
- 个人的收获是：自蒸馏不一定有用，大模型真的很难训。对抗训练、Muti-sample Dropout YYDS！数据预处理 YYDS！
- 对于这种不同颗粒度匹配的任务，在实际业务生产中，应该更多的手机可以用于对比学习的数据，让模型学习到颗粒度之间的明确区别。
- 因为只给出了PPT，有不少细节没有全部展现，有疑问的朋友欢迎留言，我会解答～
推荐阅读
- 深度学习|pytorch_YOLOX剪枝【附代码】
- 目标跟踪|[目标跟踪]传统算法--背景法【附代码】
- libtorch|YOLOv4 libtorch推理【附代码】
- 分类|手部关键点识别+分类综合项目应用[附代码]
- 深度学习|ReID行人重识别(训练+检测，附代码)，可做图像检索，陌生人检索等项目
- 搭建自己的目标检测|【搭建自己的目标检测网络】从零开始，搭建自己的基于VGG16的目标检测网络【附代码】
- 技术文章|早期肺结核检测
- 人工智能|【论文分享】脉冲神经网络之间的信息传递与类比学习，基于星形胶质细胞
- 算法学习|语音算法笔记（1）——基于深度学习的语音算法综述