前言：Deep Snake是一个比较经典结合了轮廓的深度学习分割方法，但是去实际运行Deep Snake项目的时候遇到了很多问题。这篇文章把Deep Snake从环境配置、训练到预测评估，都做了详细的教程，还补充了一些相关的知识点。
Deep Snake配置和运行
Deep Snake信息
文章：https://arxiv.org/abs/2001.01629
代码：https://github.com/zju3dv/snake
数据集
Deep Snake提供了三种数据集格式进行训练，分别是Cityscapes、COCO 和SBD 。
我原本数据的label都是mask掩膜数据，选择针对COCO进行转换。因为转COCO数据是三个里面我认为比较方便简单的。
COCO
既然要转成COCO数据集，那肯定要对COCO数据集有些理解。
COCO作用
COCO数据集，根据用途不同, 数据集分为目标检测, 目标分割( 对应的标注信息是 “bbox” 和 “segmentation”), 图像语义理解(“captions”), 人体关节点(“keypoints”)。
COCO标注格式
COCO的标注文件和之前mask作为标注文件不同。
因为我是做分割的，之前常用的分割数据都是原图作为input，然后mask数据作为label的。
但是COCO数据的特点，就是label标注文件是json构成的。
COCO的标注json文件通常会放在annotations文件夹下面。
COCO的标注json文件，包括几个部分：
- info：存放数据集的基本信息，例如年份、版本、描述、贡献者、URL和创建日期；
- licenses：数据集的许可信息，例如ID、名称和URL；
- images：包含多个image，每个image包含输入图片的ID、宽度、高度、文件名、许可证ID、Flickr URL、COCO URL和获取日期；
- annotations：包含多个标注信息（label），每个标注包含ID、图像ID、类别ID、边界框（bbox）、区域面积（area）、分割信息（segmentation）和是否拥挤（iscrowd）标志；
- categories：包含多个类别的信息，每个类别包含ID、名称和超类别；
总结来说，主要关注的就是images、annotations和categories。
直接去看COCO格式的话，images和categories都很好理解，有多少张图片和类别就照着写，但是annotations需要更详细理解一下。
"annotations": [
{
"segmentation": [[510.66,423.01,511.72,420.03,510.45,416.0,510...,423.01]],# 第一个点x，y坐标；第n个点x，y坐标；其精度均为小数点后两位
"area": 702.1057499999998,# 区域面积
"iscrowd": 0,
"image_id": 289343,# 对应图片ID
"bbox": [473.07,395.93,38.65,28.67],# 定位框，左上角的坐标和宽高度
"category_id": 18,# 类别ID
"id": 1768# 对象ID，因为每张图片不只有一个对象
},
Mask->COCO代码
因为我用的是掩膜数据集，需要代码转为COCO数据集。Mask转COCO的代码网上有很多，我参考了这篇博客Mask图像转化成COCO数据，主要是通过第一方法代码修改mask轮廓为COCO格式。
下面是对参考的代码做出一些注释解释，各位可以根据自己需求进行修改。
这是一个两个类别的转换代码，主要知道怎么修改数据来源地址、种类、大小就可以了。
import json
import numpy as np
from pycocotools import mask
from skimage import measure
import cv2
import os
import sys
if sys.version_info[0] >= 3:
unicode = str
__author__ = 'hcaesar'
import io
def maskToanno(ground_truth_binary_mask,ann_count,category_id):
fortran_ground_truth_binary_mask = np.asfortranarray(ground_truth_binary_mask)
encoded_ground_truth = mask.encode(fortran_ground_truth_binary_mask)
ground_truth_area = mask.area(encoded_ground_truth)
ground_truth_bounding_box = mask.toBbox(encoded_ground_truth)
contours = measure.find_contours(ground_truth_binary_mask, 0.5)
annotation = {
"segmentation": [],
"area": ground_truth_area.tolist(),
"iscrowd": 0,
"image_id": ann_count,
"bbox": ground_truth_bounding_box.tolist(),
"category_id": category_id,
"id": ann_count
}
for contour in contours:
contour = np.flip(contour, axis=1)
segmentation = contour.ravel().tolist()
annotation["segmentation"].append(segmentation)
return annotation
# 针对两个类别分别是block和mouse
# 如果你只有一个类别的话，可以删掉其中一个种类，把剩下一个改成自己的；注意后面生成json也要做相应的修改
block_mask_path="D:\\6Ddataset\\XieSegmentation\\1block\\block_mask_thresh"# mask图像地址
mouse_mask_path="D:\\6Ddataset\\XieSegmentation\\2mouse\\mouse_mask_thresh"
block_mask_image_files=os.listdir(block_mask_path)
mouse_mask_image_files=os.listdir(mouse_mask_path)
jsonPath="blockmouseAll.json&#