代码讲解系列-CV（五）——语义分割基础
文章目录
- 一、图像分割标注
- 1.1 Labelme标注
- 1.2 SAM辅助
- 1.3 json格式
- 二、数据解析
- 2.1 Dataset
- 2.2 train.py
- 2.2.1 取参
- 2.2.2 分割和数据集的读取
- 三、Unet网络搭建
- 3.1 Unet
- 3.2 Network
- 四、损失函数和指标
- 4.1 DICE系数
- 4.2 损失函数
- 4.3 半精度训练
- 五、SAM
- 六、作业
语义分割是图片下进行分割出所检测的目标，而实例分割就是更进一步，对分割出来的图像进行分组。
数据集：https://www.kaggle.com/competitions/carvana-image-masking-challenge/
是在kaggle上的数据集
一、图像分割标注
1.1 Labelme标注
与上一次一样
但是由于有些更精细的目标需要更精确的边界，所以需要SAM进行辅助。
1.2 SAM辅助
- edit-创建AI多边形
- 等待SAM模型下载完成
- 点击鼠标添加query点
- 保存
1.3 json格式
可以通过json里面的点，输出成mask。
就是像这样
二、数据解析
2.1 Dataset
读取image-mask对。总体就是对于，mask和image进行配对，并且对于image进项下采样，因为实际上，我们用不到这么高清晰度的情况（所以设置成scale）
下面这就是图像预处理
2.2 train.py
训练脚本
amp就是为了优化显存和速度
2.2.1 取参
2.2.2 分割和数据集的读取
三、Unet网络搭建
3.1 Unet
Unet是比较早做语义分割的
U-Net: Convolutional Networks for Biomedical Image Segmentation
https://arxiv.org/abs/1505.04597
下面就是根据图，复现Unet
tqdm就是进度条
3.2 Network
组件
模型
四、损失函数和指标
4.1 DICE系数
跟IOU很像
Dice 系数是一种衡量两个集合相似度的指标，在图像分割任务中用于评估分割结果与真实标签的相似程度
缺点：对边界噪声较敏感（边界不精确可能显著降低 Dice 系数）
4.2 损失函数
交叉熵损失+DICE损失
4.3 半精度训练
五、SAM
https://github.com/facebookresearch/segment-anything
六、作业
一、基于本课内容，搭建unet网络训练以下数据。
https://www.kaggle.com/competitions/carvana-image-masking-challenge/
二、尝试使用
SAM推理当前数据集。