英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料

基于生物医学图像分割的卷积网络

摘要：我们认同的是训练成功的深度网络需要数以千计的带注释的训练样本，在这篇文章中，我们介绍了一种依赖于巨大数据增强的运用去更有效的分析可以的得到的带注释样本的网络和训练策略。该结构由一个能捕获信息的约定俗成的路径和一个能实现精确定位的可对称扩张的路径组成。我们表明，这样的网络可以在很小的图像上进行点对点的训练并且性能优于目前在ISBI挑战在电子显微神经堆栈结构的分割卷积网络最好的办法（一个滑动窗口卷积网络)。用这个训练了透射光显微镜图像（相村和DIC）相同网络,我们在这些类别中以绝对优势赢得了2015年度的ISBI细胞跟踪挑战。而且，这个网络运行很快，在一个最新的gpu上分割一个512*512的像只需要不到一秒。整个完整的实现（基于Caffe）和被训练的网络可在http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net.得到

介绍

在最近的两年，深度卷积网络在许多视觉识别工作做得比艺术领域要好。虽然卷积网络已经存在了很长时间，但由于可以得到的训练集和被考虑过的网络的大小导致他们的成功很局限。Krizhevsky的突破是由于基于带有一百万训练图像的图像网络数据集的一个8图层和数以万计参数的大型网络的监督训练。从那以后，哪怕更大或者更深度的网络还是会被训练的。

卷积网络的典型应用是在经典工作，在那里面图像的输出是一个单一的类标签。然而，在许多视觉工作中特别是在生物医学的图像处理方面，想要得到的输出应该包括局部化，也就说一个类标签被认为是归属于每一个像素。此外，数以千计的训练图像在生物医学工作中通常是找不到的。Hence, Ciresan和其他人在一个滑动窗口的设置上面通过将某个像素周围的局部区域作为输出去训练了一个网络去预测每一个像素的类标签。第一，这个网络能局部化。第二，根据补丁的训练数据是远大于训练图像的数量的。作为结果的这个网络在2012年的ISBI以巨大优势赢得了EM分割挑战。

图1：u-net 网络结构

比较明显的是，Ciresan和其他人的方法有两个弊端。第一，它确实非常慢因为这个网络必须对每个部分进行分开运行，并且由于重叠部分有许多的信息冗余。第二，在精确定位和内容的使用。当小型额补丁只允许这个网络看见很少的内容时，更大的补丁需要更多的大范围的图层来减少定位精度。更多最近的方法提出一个经典的输出将多层趋势考虑进去。好的局部化和内容的使用同时是可能的了。

在这篇文章中，我们建立了一个更加讲究的架构，也就说所谓的“完全的卷积网络”。我们修改并且扩大了这个架构以便于它工作当只有非常少的训练图像和更多精确分割产出。主要的想法是通过连续层去补充一个常规的收缩网络，在那里面合并的运算符被上行采样的运算符所代替。所以，这些图层增加了输出的分辨率。为了局部化，来自于收缩办法的高分辨率特征是被上行采样输出所组合。根据这个信息，一个成功的卷积图层能学习安装一个更加精确地输出。

图2： 图像无缝分割示意图

在我们的架构中一个重要的程序是在上行采样部分我们也有大量的特征通道，它允许网络去传播内容信息到更高的分辨率图层。举个例子，扩张的轨道或多或少对称于收缩的轨道，并且产生一个U字形的架构。这个网络没有完全连接的图层，并且仅使用了每个卷积的有效的一部分，也就说说分割地图仅包括像素，因为完整的内容可以在输入图像中得到。这种策略允许通过完全拼贴方法来随意的无缝切割大图像。为了预测图像边界地区的图层，丢失的内容能够通过修补输入图像来推测。这个类似贴砖的方法在将这种网络应用于大型图像方面很重要，虽说分辨率被GPU的内存所限制。

因为我们的工作可得到的训练数据非常少，所以我们用过多的可以互通的数据去代替可以得到的训练图像。这允许网络去学习不变到变形，并且不需要去看见这些转换在有注释的图像库。在生物医学分割中，这是格外重要的，由于变形过去是最常见的变异并且现实的变形可以被有效的模拟。在无人监督的特征学习领域里，对于学习不变形的数据增大的价值已经被Dosovitskiy和其他人展示出来。

在许多细胞分割工作中的另一个挑战是相同类的生动对象的分离。看Figure 3.为了达到这个目的，我们提出失重的使用，在功能损失方面，在生动细胞中间的分离的背景标签获得了一个大的增重。

这个得到的网络已经被应用在各种各样的生物医学分割问题上。这这篇文章里，我们展示了在EM上（一个在2012 ISBI上开始举办的比赛）神经元分割的结果，在这里我们要比Ciresan和其他人做的网络要好，我们展示了来自于2015 ISBI细胞跟踪挑战在高光学显微镜的细胞分割结果。

网络体系结构

网络架构在图1里被阐明。它由一个收缩的路径（左边）和一个扩张的路径（右边）组成。收缩的路径跟随一个卷及网络的典型结构。它由两个3*3的卷积(无铺垫卷积)的重复应用组成，每个都带有一个线性装置（ReLU）和一个2*2的具有2步降采样的完全化的运算。在每一个降采样步骤中，我们把特征轨道的数量加倍。扩张的路径的每一步由一个跟随一个减半特征轨道数量的2*2卷积（上卷积）的特征图谱的上采样，一个用来自于收缩轨迹相应的裁剪的特征图谱的串联和2个3*3的每个带有一个ReLU的卷积组成。这个裁剪是有必要的由于每个卷积边界像素的丢失。在最后的图层一个1*1的卷积是被用来映射每个64组的特征向量去得到想要得到的分类数。这个网络总计有23个卷积图层。

为了允许一个输出的分割地图的无缝拼接，选择输入拼贴的大小是很重要的以便于所有完全体的操作能够被应用于带有x和Y轴的图层中去。

训练

输入图像和他们相应的分割地图被用来训练Caffe的实现随机梯度下降的网络。由于无填补的卷积，输出图像要恒比输入图像要小一个边框宽度。为了削减开支和最大化利用GPU的内存，我们喜欢大批量比较大型的输入并且因此减少了单一图像的批次。因此我们我们使用了一个高的动量（0.99）以便于大量以前被看做训练样本去决定现在最优化步骤的更新。

图3.分割示意图

能量函数是被用来计算一个最终的特征图谱，该特征图谱由交叉熵损失函数组成。Soft-max被定义成这里表示在特征轨道k且像素位置,的激活。K表示类的数目而是近似于最大函数。也就是说对于k有最大激活的和对于所有其他的K。交叉熵不利于没每个位置的的偏差：

在这里是每个像素的正确标签并且是一个重量地图我们介绍它给一些像素使其在训练中更多重要性。

在训练数据集时候，我们先估计了对于每个地面实况分割的重量地图去补偿来自某一类的不同频率的像素，并且去迫使网络去学习我们在Figure 3c介绍的小的分割边界

这个分割边界是用形态学操作来计算的。这个权重图用这个公式来计算的

在这个公式里，是平衡类频率的权重图，，代表最近细胞边界的距离而是代表到第二近的距离。在我们实验中我们设和像素。

在带有大量卷积图层和不同轨迹的深度网络通过这个网络，一个好的重量的初始化是非常重要的。另外，这个网络的部分可能会给出大量的激活然而其他的部分可能从来不这样。理想上，最初的重量应该是合适的以便于这个网络的每一个特征图谱能近似于单位方差。对于带有我们架构的网络（卷积和ReLU图层交替）这个能被获得通过描绘来自于带有标准偏差高斯分布的最初的重量,这里N表示一个神经元进入节点的数量。举例来说，对于一个3*3的卷积和64的特征轨道在以前的图层上N=9.64=576.

3.1数据增强

数据增强是必不可少的对于网络去得到不变性和鲁棒性，当我们仅有少部分训练样本可以得到的时候。万一我们需要显微镜图像转动和旋转不变性，也要求变形鲁棒性和灰度值变化。特别是随机的弹性变形的训练样本似乎对训练一个带有非常少注释图像的分割网络是一个关键概念。我们使用在大概3*3的格子上的位移矢量去生成平滑变形。这个位移是取样来自于一个具有10像素误差的高斯分布。逐像素位移使用两次平方插入来计算的。在收缩路径的最后的丢失的图层执行更含蓄的数据展开。

实验设计

我们演示了u-net应用在三个不同分割工作的情况。第一个工作是在电子显微镜记录上的神经元结构的分割，一个例子的数据集和我能得到的分割被展示在Figure 2.我们提供了完整的结果在补充材料里。这个数据集是有开始于2012 ISBI的EM分割挑战并且仍然对新的文稿开放所提供。训练数据是一个含有512*512像素的30张来自于在第一次VNC上Drosophila的连续切片的透射电子显微镜法的图像的集。每一张由完全对应的带注释的地面实况的分割图谱对应白细胞和黑色细胞膜开始的。这个测试集可以公开得到的，但是他的分割图谱是保密的。一个评估可以得到的是发送预测膜的概率图谱给组织。这个评估是由二值化图谱以10个等级来做的和“扭曲误差”，“边缘误差”和“像素误差”计算的。

U-net（平均超过7个输入数据的轮换版本）没有任何进一步之前或过后处理得到了一个0.0003529的扭曲错误和一个0.0382的边缘错误。

表格4.1：第一个数据集结果

图a,“Phc-U373”数据集的一部分输入图像；图b, “Phc-U373”数据集的实验结果图；图c，“DIC-HeLa” 数据集的一部分输入图像；图d, “DIC-HeLa”数据集的实验结果图。

图4.2 u-net与2015 ISBI的分割结果比较

这是远好于Ciresan和其他人的滑动窗口的卷积网络的，他们的最好的意见有着0.000420的扭曲错误和0.0504的边缘错误。根据边缘错误在这个数据集更好的演示算法使用的是特别的后期处理的方法，该方法被应用在Ciresan和其他人的概率图中。

我们也将u-net应用在高精度的显微镜图像上的细胞分割工作中。这个分割工是2014和2015的ISBI细胞追踪挑战的一部分。第一个数据集“PhC-U373”包含恶性肿瘤U373细胞（被记录在相衬显微技术）。它包含了30张带有部分注释的训练图像。这里我们得到了平均的92%的IOU，这个要远好于第二好的83%的算法。第二个数据集“DIC-HeLa”是位于光滑玻璃的HeLa细胞，它被记录在DIC显微镜学中。它含有20个部分带有注释的训练图像。这里我们得到了平均77.5%的IOU，它要远好于第二好的46%的算法。

总结

U-net架构在不同的生物医学分割应用中获得了非常好的表现。幸亏了弹性变形的数据展开，它仅需要非常少的带注释的图像并且在英伟达巨人GPU（6GB）上只需要合理的10小时的训练时间。我们提供了全部的基于Caf

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[32104]，资料为PDF文档或Word文档，PDF文档可免费转换为Word