Joint segmentation and classification of skin lesions via a multi-task learning convolutional neural network

摘要

在皮肤病计算机辅助诊断中，皮肤病变的分割和分类是两项至关重要且相互关联的任务。联合执行这两个任务可以利用它们之间的相关性来获得性能提升，但这仍然是一个具有挑战性的主题。本文提出了一种端到端多任务学习卷积神经网络(MTL-CNN)用于关节皮肤病变的分割和分类，并引入边缘预测作为辅助任务。
MTL-CNN包括一个共享编码器，两个用于生成边缘和分割掩码的并行解码器，以及一个分类子网。
首先，使用共享编码器提取三个任务(即边缘预测、分割和分类)的特征。
然后，我们提出了两种简单而高效的模块来挖掘这三种任务之间的优势。
在编码器和分割解码器之间设计了多个边缘信息增强(EIE)模块，旨在引入边缘解码器的边缘信息作为强线索来增强分割特征的边缘部分。
这些增强的分割特征被发送到分割解码器进行更好的分割。
此外，我们在编码器和分类子网之间设计了多个病灶区域提取(LAE)模块，目的是利用分割结果过滤掉分类特征上的干扰。
将这些过滤后的分类特征输入到分类子网中，并以自下而上的方式逐步融合进行分类。
采用三阶段训练策略对MTL-CNN进行训练。在三个数据集上的大量实验证明了MTL-CNN优于最先进的分割、分类和其他多任务方法

本文方法

由于增加了边缘预测作为辅助任务，本文将边缘预测、分割和分类三个任务结合起来考虑。在本文提出的MTL-CNN中，边缘预测任务提高了分割性能，分割任务提高了分类性能。为了实现这三个任务，MTL-CNN包括四个组件:一个共享编码器，两个并行解码器(分割解码器和边缘解码器)和一个分类子网。如图1所示，给定一幅皮肤病变图像作为输入，首先使用共享编码器提取图像的深度特征。然后，将深度特征输入到分割和边缘解码器中，输出相应的预测图。注意，边缘预测映射被发送到eee模块，以改进分割特征上的边缘。接下来，分类子网融合LAE模块处理的多粒度分类特征，输出最终的疾病分类结果，如黑色素瘤、基底细胞癌、脂溢性角化病、痣等。

损失函数：



就是三个任务直接相加

实验结果