TransUNet:用于医学图像分割的Transformers强大编码器
同时具有Transformers和U-Net的优点,性能优于AttnUNet、V-Net等网络,代码刚刚开源!(按这样搞,TransVNet、TransYOLO应该也快来了,手动狗头)
TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation
医学图像分割是开发医疗保健系统(尤其是疾病诊断和治疗计划)的必要先决条件。在各种医学图像分割任务中,U形架构(也称为U-Net)已成为事实上的标准,并取得了巨大的成功。但是,由于卷积运算的固有局部性,U-Net通常在明确建模远程依赖关系方面显示出局限性。
设计用于序列到序列预测的transformer已经成为具有先天性全局自注意力机制的替代体系结构,但由于low-level细节不足,可能导致定位能力受到限制。
在本文中,我们提出了TransUNet,它同时具有Transformers和U-Net的优点,是医学图像分割的强大替代方案。 一方面,Transformer将来自卷积神经网络(CNN)特征图的标记化图像块编码为提取全局上下文的输入序列。另一方面,解码器对编码的特征进行上采样,然后将其与高分辨率的CNN特征图组合以实现精确的定位。
我们认为,借助U-Net的组合,通过恢复局部的空间信息,可以将Transformers用作医学图像分割任务的强大编码器。
实验结果
TransUNet在各种医疗应用(包括多器官分割和心脏分割)上均比各种竞争方法具有更高的性能。
