Transformer在CV上的应用-论文总结
创始人
2025-06-01 12:03:31
年份会议/期刊标题内容领域架构图
2017NIPSAttention is all you need(Transformer)贡献:提出了一种新的简单的网络架构Transformer，它完全基于注意力机制，完全不需要递归和卷积。
做法：Encoder and Decoder Stacks，self-attention，Masked Multi-Head Attention,		nlp
2020ECCVEnd-to-End Object Detection with Transformers
(DETR)		贡献:a set-based global loss that forces unique predictions via bipartite matching, and a transformer encoder-decoder architecture。
做法：Object detection set prediction loss（最优二分匹配匈牙利算法），CNN+transformer架构		目标检测
2021ICLRAN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE(Vit)贡献：直接将transformer应用于视觉，不做过多的修改
做法：
1. split an image into patches，每个patch是16x16，因此224x224的图片变成14x14的序列
2. 将每一个patch通过一个fc layer，获得一个linear embedding （将patch看成序列中的单词）
3. 有监督的训练方式		分类
2021ICCVSwin Transformer: Hierarchical Vision Transformer using Shifted Windows贡献：提出了一种基于VIT的计算机视觉的通用主干框架
做法：
1.通过分层结构来处理图片
2.window self-attention
3.采取移动窗口的方式，允许跨窗口连接。		cv backbone
2021MICCAICoTr: Efficiently Bridging CNN and Transformer for 3D Medical Image Segmentation1.我们第一个来探索Transformer 的3D医学图像分割，特别是在计算和空间上的效率方法。【transformer优化技巧：可变形注意力】
2.我们引入了可变形自注意力机制来减少Transformer的复杂性，因此使得我们的CoTr可以使用多尺度特征来建模长程依赖。
3 我们的CoTr在3D多器官分割任务上优于基于CNN的、基于Transformer、以及混合模型。		3D医学图像分割
2022WACVUNETR: Transformers for 3D Medical Image Segmentation利用纯Transformers作为编码器来学习输入量的序列表示并有效地捕获全局多尺度信息。同时也遵循了编码器和解码器的成功的“U型”网络设计,Transformers编码器通过不同分辨率的跳跃连接直接连接到解码器，以计算最终的语义分段输出。3D医学图像分割

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：散播知识储备么么四川麻将有外挂吗真有(辅助挂)，原来有人用挂（2025最新方法）

下一篇：牛牛房卡大厅代理客服,微信群玩炸金花房卡客服代理,!房卡充值详细教程

相关内容

热门资讯

2025新版教程“血战麻将算番... 您好，血战麻将算番器这款游戏可以开挂的，确实是有挂的，通过微信【8198015 】很多玩家在这款游戏...
传递经验!德扑之心辅助工具(透... 1、超多福利：超高返利，海量正版游戏，德扑之心系统规律，上线德扑之心黑科技等满足你不同需求； 2、...
2025新版教程“真人四川麻将... 2025新版教程“真人四川麻将到底是不是有挂”确实真的有挂(详细教程)，亲，有的，ai轻松简单，又可...
一分钟讲解“牛牛房卡微信链接房... 牛牛房卡微信链接是一款非常受欢迎的游戏，咨询房/卡添加微信:83404491许多玩家在游戏中会购买房...
传递经验!德扑之星网页版辅助工... 传递经验!德扑之星网页版辅助工具(透视)原来是有挂猫腻(2024已更新)(哔哩哔哩)是一款可以让一直...