U-Net及其变种网络在图像分割领域的应用与演变,有哪些阅读心得?

2026-05-17 07:411阅读0评论SEO问题
  • 内容介绍
  • 文章标签
  • 相关推荐

本文共计1247个文字,预计阅读时间需要5分钟。

U-Net论文阅读笔记:U-Net简介及在生物医学领域的应用

U-Net是一种用于图像分割的神经网络,特别适用于小样本高精度图像语义分割。其整体网络结构呈U型,得名U-Net。本文将简要介绍U-Net及其在生物医学领域的应用。

U-Net网络结构:U-Net网络结构主要由编码器(Encoder)和解码器(Decoder)两部分组成。编码器部分采用卷积神经网络(CNN)进行特征提取,解码器部分则将编码器提取的特征进行上采样,并与编码器对应层的特征进行融合,最终输出分割结果。

U-Net在生物医学领域的应用:

1.小样本高精度图像语义分割:U-Net在网络结构上具有较好的特征提取和融合能力,适用于小样本数据下的图像分割任务。在生物医学领域,如病理图像分割、医学影像分割等,U-Net能够有效提高分割精度。

2.肿瘤分割:U-Net在肿瘤分割任务中表现出色,能够准确分割肿瘤区域,为临床诊断和治疗提供重要依据。

3.心脏分割:U-Net在心脏分割任务中具有较好的性能,能够准确分割心脏各个结构,为心脏疾病诊断提供有力支持。

4.眼底图像分割:U-Net在眼底图像分割任务中表现出色,能够有效分割视网膜、脉络膜等结构,为眼科疾病诊断提供帮助。

总结:

U-Net作为一种高效、实用的图像分割网络,在生物医学领域具有广泛的应用前景。其结构简单、易于实现,且在小样本数据下仍能保持较高的分割精度,为医学影像分析和诊断提供了有力工具。

U-Net系列论文阅读笔记 U-Net 图像分割网络及其衍生网络论文阅读笔记 U-Net 简介

“U-Net”原用于生物医学领域的小样本高精度图像语义分割,整个网络结构呈现U型而得名


U-Net 网络结构
网络结构

U-Net 类似于编码器和解码器的结构,整个流程为 U 型,左边的为下采样过程,右边为上采样过程,中间的灰色箭头是将特征图进行跳层联结,其原理和 Dense-Net 相同,即 concatenate ,torch.cat([x1,x2])。可以将浅层的定位信息和高层的像素分类判定信息进行融合,从而得到更佳的结果。

特点
  1. 通过使用 卷积层 Padding = 0 ,使特征图大小 -2的同时增加通道数,同时可以减小显存开销;
  2. 在图像的边缘采用 对称镜像Padding 的方式补充分割,减小边缘像素信息损失和错误拼接信息输入(见下图);

U-Net 图像边缘补齐
  1. 下采样使用 max-pooling,上采样使用步长为 2 的反卷积

  2. 迫使网络学习在接触的单元之间引入的小分离边界(这一部分不是很清楚)


分离边界学习

分割边界是使用形态学操作计算出来的。然后,权重图被计算为:

\[\omega \left( x \right) =\omega _c\left( x \right) +\omega _0\cdot \exp \left( -\frac{\left( d_1\left( x \right) +d_2\left( x \right) \right) ^2}{2\sigma ^2} \right) \]

U-Net++ 简介

U-Net++,一个基于嵌套和密集跳过连接的新分割架构。架构背后的基本假设是,当来自编码器网络的高分辨率特征图在与来自解码器网络的相应的语义丰富的特征图融合之前,该模型可以更有效地捕获前景目标的细微细节。(感觉和残差结构非常类似)

特点
  1. U-Net的多次次下采样会使得特征图所表达的信息更加抽象(从基本的线条到更抽象的信息),这会使得浅层的边缘信息被更抽象的信息覆盖,与严格的分割要求不符。因此采用密集ji卷积块(dense convolutional blocks)在融合之前弥补编码器和解码器的特征图之间的语义差距

U-Net++ 深度卷积结构
  1. 在U-Net中,编码器的特征图直接在解码器中被重新接收;然而,在U-Net++中,它们要经过一个密集的卷积块,其卷积层的数量取决于金字塔级别(见上图)。
  2. 深度监督(Deep supervision)不是很理解,论文里面也没详细说
    1. 精确模式,即所有分割分支的输出都是平均的。
    2. 快速模式,即只从一个分割分支中选择最终的分割图,其选择决定了模型修剪的程度和速度增益。

本文共计1247个文字,预计阅读时间需要5分钟。

U-Net论文阅读笔记:U-Net简介及在生物医学领域的应用

U-Net是一种用于图像分割的神经网络,特别适用于小样本高精度图像语义分割。其整体网络结构呈U型,得名U-Net。本文将简要介绍U-Net及其在生物医学领域的应用。

U-Net网络结构:U-Net网络结构主要由编码器(Encoder)和解码器(Decoder)两部分组成。编码器部分采用卷积神经网络(CNN)进行特征提取,解码器部分则将编码器提取的特征进行上采样,并与编码器对应层的特征进行融合,最终输出分割结果。

U-Net在生物医学领域的应用:

1.小样本高精度图像语义分割:U-Net在网络结构上具有较好的特征提取和融合能力,适用于小样本数据下的图像分割任务。在生物医学领域,如病理图像分割、医学影像分割等,U-Net能够有效提高分割精度。

2.肿瘤分割:U-Net在肿瘤分割任务中表现出色,能够准确分割肿瘤区域,为临床诊断和治疗提供重要依据。

3.心脏分割:U-Net在心脏分割任务中具有较好的性能,能够准确分割心脏各个结构,为心脏疾病诊断提供有力支持。

4.眼底图像分割:U-Net在眼底图像分割任务中表现出色,能够有效分割视网膜、脉络膜等结构,为眼科疾病诊断提供帮助。

总结:

U-Net作为一种高效、实用的图像分割网络,在生物医学领域具有广泛的应用前景。其结构简单、易于实现,且在小样本数据下仍能保持较高的分割精度,为医学影像分析和诊断提供了有力工具。

U-Net系列论文阅读笔记 U-Net 图像分割网络及其衍生网络论文阅读笔记 U-Net 简介

“U-Net”原用于生物医学领域的小样本高精度图像语义分割,整个网络结构呈现U型而得名


U-Net 网络结构
网络结构

U-Net 类似于编码器和解码器的结构,整个流程为 U 型,左边的为下采样过程,右边为上采样过程,中间的灰色箭头是将特征图进行跳层联结,其原理和 Dense-Net 相同,即 concatenate ,torch.cat([x1,x2])。可以将浅层的定位信息和高层的像素分类判定信息进行融合,从而得到更佳的结果。

特点
  1. 通过使用 卷积层 Padding = 0 ,使特征图大小 -2的同时增加通道数,同时可以减小显存开销;
  2. 在图像的边缘采用 对称镜像Padding 的方式补充分割,减小边缘像素信息损失和错误拼接信息输入(见下图);

U-Net 图像边缘补齐
  1. 下采样使用 max-pooling,上采样使用步长为 2 的反卷积

  2. 迫使网络学习在接触的单元之间引入的小分离边界(这一部分不是很清楚)


分离边界学习

分割边界是使用形态学操作计算出来的。然后,权重图被计算为:

\[\omega \left( x \right) =\omega _c\left( x \right) +\omega _0\cdot \exp \left( -\frac{\left( d_1\left( x \right) +d_2\left( x \right) \right) ^2}{2\sigma ^2} \right) \]

U-Net++ 简介

U-Net++,一个基于嵌套和密集跳过连接的新分割架构。架构背后的基本假设是,当来自编码器网络的高分辨率特征图在与来自解码器网络的相应的语义丰富的特征图融合之前,该模型可以更有效地捕获前景目标的细微细节。(感觉和残差结构非常类似)

特点
  1. U-Net的多次次下采样会使得特征图所表达的信息更加抽象(从基本的线条到更抽象的信息),这会使得浅层的边缘信息被更抽象的信息覆盖,与严格的分割要求不符。因此采用密集ji卷积块(dense convolutional blocks)在融合之前弥补编码器和解码器的特征图之间的语义差距

U-Net++ 深度卷积结构
  1. 在U-Net中,编码器的特征图直接在解码器中被重新接收;然而,在U-Net++中,它们要经过一个密集的卷积块,其卷积层的数量取决于金字塔级别(见上图)。
  2. 深度监督(Deep supervision)不是很理解,论文里面也没详细说
    1. 精确模式,即所有分割分支的输出都是平均的。
    2. 快速模式,即只从一个分割分支中选择最终的分割图,其选择决定了模型修剪的程度和速度增益。