点上方计算机视觉联盟获取更多干货
仅作学术分享，不代表本公众号立场，侵权联系删除
转载于：Sophia知乎
https://zhuanlan.zhihu.com/p/411259474
985人工智能博士笔记推荐
周志华《机器学习》手推笔记正式开源！附pdf下载链接，Github2500星！
这篇文章
@Sophia
刚看到时，也有点疑惑，不过看了以后觉得确实很有意思！本文是微软亚研院MSRA探索Transformer自注意力机制在目标检测的效果，它是否是Transformer在图像识别任务中取得优异性能的关键？构建了一种Attention-free的、基于MLP的sMLPNet。具体将MLP模块中的token-mixing替换为稀疏MLP(sparse MLP, sMLP)模块。2021年9月刚出来的文章
文章图片
论文地址：arxiv.org/pdf/2109.05422
摘要： 
文章图片
sMLPNet仅需24M参数即可在ImageNet数据及上取得81.9%top1精度，优于同等大小的CNN与Vision Transformer；当参数量扩大到66M，sMLPNet取得了83.4%top1精度，具有与Swin Transformer相当精度。
MLP和稀疏MLP 
文章图片
sMLPNet整体架构 
文章图片
sMLP block 
文章图片
算法流程 
文章图片
对比实验 
文章图片
文章图片
文章图片
文章图片
自注意力并非Transnformer取得优异性能的秘密武器，对此你们怎么看待？
-------------------
END
--------------------
我是王博Kings，985AI博士，华为云专家、CSDN博客专家（人工智能领域优质作者）。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容，欢迎一起交流学习、生活各方面的问题，一起加油进步！
我们微信交流群涵盖以下方向（但并不局限于以下内容）：人工智能，计算机视觉，自然语言处理，目标检测，语义分割，自动驾驶，GAN，强化学习，SLAM，人脸检测，最新算法，最新论文，OpenCV，TensorFlow，PyTorch，开源框架，学习方法...
这是我的私人微信，位置有限，一起进步！
文章图片
王博的公众号，欢迎关注，干货多多
【人工智能|自注意力机制不一定是灵丹妙药（？？基于MLP的sMLPNet！MSRA出品）】手推笔记：
思维导图|“模型评估与选择”|“线性模型”|“决策树”|“神经网络”|支持向量机（上）|支持向量机（下）|贝叶斯分类（上）|贝叶斯分类（下）|集成学习（上）|集成学习（下）|聚类|降维与度量学习|稀疏学习|计算学习理论|半监督学习|概率图模型|规则学习
增长见识：
博士毕业去高校难度大吗？|研读论文有哪些经验之谈？|聊聊跳槽这件事儿|聊聊互联网工资收入的组成|机器学习硕士、博士如何自救？|聊聊Top2计算机博士2021年就业选择|非科班出身怎么转行计算机？|有哪些相见恨晚的科研经验？|经验 | 计算机专业科班出身如何提高自己编程能力？|博士如何高效率阅读文献|有哪些越早知道越好的人生经验？|
其他学习笔记：
PyTorch张量Tensor|卷积神经网络CNN的架构|深度学习语义分割|深入理解Transformer|Scaled-YOLOv4！|PyTorch安装及入门|PyTorch神经网络箱|Numpy基础|10篇图像分类|CVPR 2020目标检测|神经网络的可视化解释|YOLOv4全文解读与翻译总结|
文章图片
点分享
文章图片
点收藏
文章图片
点点赞
文章图片
点在看
推荐阅读
- 资讯|中国 AI 的“黄埔军校”（MSRA 被曝停招“国防七子”及北邮学生）
- 虹膜识别|虹膜识别（三）（Hough变换检测内圆边缘）
- 机器学习目录|机器学习目录
- python|ViT模型关联的Layer Normalization研读（一）初学者
- open|opencv_createsamples和opencv_traincascade命令
- 算法【|0x01链表反转
- 神经网络|前馈神经网络与反向传播算法
- AI|神经网络的反向传播算法推导
- 深度学习|神经网络之BP（反向传播算法）的原理介绍