ICPR2022|3DUNet:卷积+胶囊强强联手,医学图像分割的新良方

作者丨Ziyang Li

编辑丨极市平台

写在前面的话

卷积神经网络(CNN)目前在医学图像分割领域应用广泛,然CNN。本文基于胶囊网络,设计了一种包含卷积与胶囊编码器的3DUNet架构并应用于医学图像分割,在减少推理时间的同时性能远优于以往UNet类架构。

论文地址:https://arxiv.org/abs/2205.09299

一、为什么要引入胶囊网络(Capsule Network)?

当MIS遇见CNN,火花最多的便是各种各样的UNet架构变体,然而:

  • CNN中的池化会丢失一部分空间信息(可以理解为池化操作后原来多个规律分布的特征值变为一个特征值,不仅特征表达量减少,且原特征值之间相对位置关系被打破)。
  • CNN对旋转和仿射变换敏感(CNN拥有良好的平移不变性,但若对象发生旋转,则原已训练好的权重矩阵将不再完美适用,此时要么人为干预数据,要么让CNN继续学习这种旋转不变性)。

有趣的是,这些问题都可以被胶囊网络所解决。尽管此前也有不少工作将胶囊网络与卷积相结合并应用于MSI领域,但或多或少都存在一些缺点:比如推断过程耗时长、2D的胶囊网络应用于含时间维度的3D数据时表现不佳、高度依赖于一些随机现象(如权重初始化)等等。

而本文基于3D-UCaps(MICCAI 2021)取得的巨大成功,也提出一种胶囊与卷积结合的3DUnet架构,称之为3DConvCaps。旨在通过胶囊网络获得对局部-整体关系的更好表达同时减少其推理时间。

二、胶囊网络预热

胶囊网络的概念始于2011年,正式提出并应用于2017年(详见论文:Dynamic Routing Between Capsules)。鉴于此前已有大量文献资料对胶囊网络进行了详细的分析与解读,此处仅作简要介绍:

胶囊网络与卷积神经网络的最大不同在于输出类型。前者为一组向量,向量中可以包含对目标的各种维度描述(见图1),如检测鸟时可分为:体型大小、羽毛颜色、鸟喙长度等等;而后者仅为对应特征值,该值即代表该鸟类。

PS:胶囊网络中这种对目标不同维度的表达与计算,可视为对目标进行部分-整体关系编码。也正是这种关系编码的存在,使得胶囊网络具备下述优势2。

ICPR2022|3DUNet:卷积+胶囊强强联手,医学图像分割的新良方

图1:胶囊网络应用于MNIST时可选取的不同维度。(图片取自https://www.youtube.com/watch?v=pPN8d0E3900)

一张32×32大小的特征图中,卷积神经网络仅仅包含32×32个特征点,然而胶囊网络则包含32×32组向量。

由于胶囊网络的向量形式,当目标发生旋转或放射变换时,向量仅需改变长度或角度即可适应这种变换。而卷积神经网络则没有这种特性(尽管对于分类任务来说似乎并不影响)。

因此当训练过程进行时,卷积神经网络在不断调整权重矩阵,以得到更有效的特征输出。而胶囊网络则不断更新每个向量的模长或角度。(值得注意的是,胶囊网络中,因为模长代表目标存在于对应位置的概率,故其值将不超过1)

另外胶囊网络还具有以下优势及缺点:

  1. 需求更少的训练数据但训练较为缓慢(归咎于原论文中的routing by agreement算法)。
  2. 非常适用于处理密集/拥挤的场景但较难识别靠得近且类型相同的目标(如检测人眼睛和鼻子非常轻松,但检测左眼和右眼则不容易)。

三、3DConvCaps剖析

ICPR2022|3DUNet:卷积+胶囊强强联手,医学图像分割的新良方

图2:3DConvCaps整体架构示意图。

如图2所示,3DConvCaps包含三个部分:视觉特征提取部分、ConvCaps特征编码器和Conv解码器。

图中左上角的白色方块部分即为视觉特征提取部分,由简单的5×5卷积组成,其扩张率分别为{1, 3, 3}。最后在进入编码器前的特征图尺寸为H×W×D×64。

编码器进一步提取特征,然而浅层特征捕捉到的多为短距离信息,因此作者等人首先使用卷积块来提取低级特征,再用胶囊层来捕获长距离信息(部分与整体的长距离依赖)。

在进入胶囊编码层前,特征图的尺寸被reshape为

ICPR2022|3DUNet:卷积+胶囊强强联手,医学图像分割的新良方

。在第一个胶囊层中,胶囊类型的数量为(8, 8),即8个尺寸为8的胶囊。而在最后一个胶囊层中,含有4个尺寸为64的胶囊。

进入解码器前最后一个胶囊层的输出被reshape为n_class,其值即为4.作者等人为了通过margin loss对模型进行监督学习,最后一个胶囊层中的胶囊类型数量等于分割中的类别数量。

在思考这部分方法的同时,笔者试着解释为什么浅层特征要使用卷积而非直接的胶囊层。却发现以卷积层→初级胶囊层→分类胶囊层为结构似乎是一个公认的既定事实。卷积层用于特征提取,同时为胶囊层生成合适的尺寸或通道。而在胶囊层中,利用一定的胶囊数来组合前一层的特征,继而进行相关计算。

同时在本文中,仅在网络最下面(即特征图相对最小)时使用胶囊层,一方面可相对减少参数量计算量,另一方面在解码时可不使用该层而只使用卷积层。这样相比以往的3D-UCaps可更显轻量化。

四、性能对比

ICPR2022|3DUNet:卷积+胶囊强强联手,医学图像分割的新良方

表1:在ISEG-2017数据集的性能对比结果。

如表1,本文方法在于过往应用于医学图像分割领域的胶囊网络相比较,性能表现出大幅度提升。

然而本文方法在细节部分也看重实际推理速度(如胶囊层不参与解码、仅在网络底部使用胶囊层),因此作者等人对模型推理速度进行对比测试,结果如下:

ICPR2022|3DUNet:卷积+胶囊强强联手,医学图像分割的新良方

表2:在ISEG数据集的性能和效率比较。

可见本文方法即使略逊色于纯卷积的3D-Unet,也远优于过往含胶囊网络的SOTA模型。

五、思考与总结

阅读完这篇文章,有些意犹未尽。胶囊网络具有诸多良好优点,其中最重要的,契合与医学图像分割的便是其向量的表示,可以很好的建模局部-整体关系。同时由于这种向量的表达,使得胶囊网络仅需在训练过程中找到合适的胶囊从而生成有用的预测即可,而不是像卷积神经网络那样去记住目标的特征形式。这也是为什么胶囊网络更适合训练较少的数据,当数据集过大反而性能下降的原因。

利用卷积去捕获局部特征,利用胶囊去捕获局部-整体关系。这样的思想在很多方法中都可以见到类似的影子,如MaxViT中利用Block Attention捕获局部信息,利用Grid Attention捕获全局信息;还有百度提出的MixFormer等等。

而在3DConvCaps是否可以将卷积与胶囊更好的结合甚至是融合值得思考,作者等人则希望在未来能进一步分析实际应用中3DConvCaps应对各种变换的鲁棒性。

最后也期待能尽早看到本文的开源代码,作为MIS领域中含胶囊操作的SOTA模型,一定有很多地方值得去学习和借鉴~

主题测试文章,只做测试使用。发布者:觉鸟网,转转请注明出处:https://www.jueniao.cn/n/20067.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年6月9日 16:11
下一篇 2022年6月9日 16:15

相关推荐

  • 爬满轩窗的三角梅

    此时的阳光温柔得可以照见出你快乐的容颜。蔚蓝的天空下,散步的、提篮去买菜的、挥扫路上枯叶的、在街边派送快件的,远看就像游走在城市各角落里的蜂蝶,迷离且充满生机。 眺过纵横交错的车水马龙,偶然抬头,就能望见高楼上那簇爬满轩窗的三角梅。那串火红得像炮仗似的三角梅绽放在阳台外的绿荫里,极像了一袭飘逸在空中的婚纱,温暖又浪漫。那幽幽的绿叶与嫣红的花悬挂在窗外,爬满阳…

    智能科技 2022年6月18日
    6500
  • 未来就在眼前——视涯科技推出最高分辨率硅基OLED显示屏幕

    声明:新闻稿非映维官方稿件,任何法律问题均与映维无关 视涯科技•未来就在眼前 2019年7月9日,在位于合肥新站高新区的自建工厂内,视涯科技(以下简称:视涯)作为一家半导体显示技术公司,公布开发中的两款硅基OLED显示屏同时点亮。其中一款是目前全球最大尺寸、最高分辨率的硅基OLED显示屏,该款显示屏的尺寸为1.03,分辨率为Real RGB 2.5K x 2…

    2022年6月28日
    2400
  • 近期互联网公司动态:疫情来袭,今天你居家办公了吗?

    图片来源于网络 薪资动态 【脉脉故事会】 华为员工:对我司感到失望,政府通知原则上不能堂食,在家办公。我们应该是没有原则的。(这条算是证实了,因为我的华为入职的朋友发了朋友圈…深圳的,还是去公司办公了) 微软员工:刚拿了阿里P7 offer 48k+400股,果断拒了,这年头还是躺在微软当个IC4舒服 阿里员工:硕5还没到P7是不是废了 腾讯员工:拼搏一百天…

    2022年6月27日
    2800
  • 中移智行网络科技有限公司揭牌

    新华网北京6月28日电 在2018世界移动大会•上海(简称MWC上海)举行期间,中国移动与华为、上汽集团联合举办2018MWC车联网生态峰会。会上,中国移动车联网战略规划发布,中移智行网络科技有限公司揭牌成立,全新的中移智行运营平台——OSCAR发布。 中移智行网络科技有限公司揭牌 资料图 中国移动政企分公司总经理、中移智行网络科技有限公司董事长戴忠介绍,O…

    2022年6月28日
    2600
  • 华为云桌面,政企数字化办公最佳合作伙伴

    近日,国际数据公司IDC发布 《2021年中国虚拟客户端计算软件市场跟踪报告》 报告显示,中国云桌面行业市场快速崛起 2021年整体市场规模同步增长25.2% 其中,华为云 在中国桌面云市场位居第一 这是自该报告2016年发布以来 华为连续六年领跑中国桌面云市场 成为政企数字化办公的最佳合作伙伴 近年来,各领域发布了数字化转型、数字经济和信息化的规划,推动软…

    2022年6月14日
    3200

发表回复

您的电子邮箱地址不会被公开。

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信