论文阅读笔记 - Residual Attention Network
摘要
文章中提出了残差注意力网络，将注意力机制结合到残差网络当中。残差注意力网络通过堆叠注意力模块来组成，这些注意力模块可以产生注意力敏感的特征。来自不同模块的具有注意力敏感的特征可以自适应地改变。在每一个attention模型内部使用了自上而下和至下而上的前馈结构，将前馈和反馈注意力机制展开到单一的前馈处理当中。文章提出用残差注意力学习的方法可以训练非常深的网络，网络可以轻松扩展到100层以上。 通过这个机制可以让分类多0.6%的准确率。
简介
堆叠的网络结构
残差注意力网络是由多个注意力模块堆叠起来的，不同的注意力模块可以捕捉到不同类型的注意力形式。
注意力残差学习
残差学习可以让网络更深 自下而上又自上而下的前馈方式在人体姿态估计和图像分割上运用的很成功，文章里也借鉴了这种结构，这种结构可以在一个单一的处理过程中模拟至上而下和至下而上的注意力反馈
研究现状
pass
重点 attention module
代码实现
参考 https://github.com/tengshaofeng/ResidualAttentionNetwork-pytorch/tree/master/Residual-Attention-Network
上一篇：
JS实现多线程数据分片下载
下一篇：
Python_量化交易实战_量化交易基础