【DL学习笔记】常用数据集总结

一、如何找数据集

• paperswithcode，但好像没了

• AutoDL
  

• Roboflow
  

• Kaggle
  

• Hungging Face
  

• 百度飞浆PP AIStudio
  

二、目标检测数据集格式

常用数据集坐标格式

• MSCOCO ： 坐标格式（x，y，w，h），其中 x , y 是左上角的坐标
• Pascal VOC ：坐标格式（xmin，ymin，xmax，ymax），其中 (xmin, ymin) 是左上角的坐标，（ymin, ymax）是右下角的坐标
• YOLO 要求坐标格式为（cx，cy，w，h）， 其中 cx，cy 是 bbox 中心点的坐标

Pascal VOC

简介，官方

PASCAL 全称：Pattern Analysis, Statical Modeling and Computational Learning​

​PASCAL VOC（The PASCAL Visual Object Classes ）是一个经典的计算机视觉数据集，由牛津大学、马里兰大学和微软剑桥研究院的研究人员创建的。 该数据集于2005年首次发布，从那时起就被用于训练和评估目标检测算法。​ ​

PASCAL VOC 从 2005年开始举办挑战赛，每年的内容都有所不同，主要包括：​

• 图像分类（Classification ）​
• 目标检测（Detection）​
• 目标分割（Segmentation）​
• 人体布局（Human Layout）​
• 动作识别（Action Classification）​ ​

我们知道在 ImageNet挑战赛上涌现了一大批优秀的分类模型，而PASCAL挑战赛上则是涌现了一大批优秀的目标检测和分割模型，这项挑战赛已于2012年停止举办了，但是研究者仍然可以在其服务器上提交预测结果以评估模型的性能。​ ​

虽然近期的目标检测或分割模型更倾向于使用MS COCO数据集，但是这丝毫不影响 PASCAL VOC数据集的重要性，毕竟PASCAL对于目标检测或分割类型来说属于先驱者的地位。对于现在的研究者来说比较重要的两个年份的数据集是 PASCAL VOC 2007 与 PASCAL VOC 2012，这两个数据集频频在现在的一些检测或分割类的论文当中出现。

官网地址：http://host.robots.ox.ac.uk/pascal/VOC/​
官方文档 ： http://host.robots.ox.ac.uk/pascal/VOC/pubs/everingham10.pdf

MS COCO

简介、官网、论文

全称为Microsoft Common Objects in Context，是一个由微软公司创建的用于图像识别和物体检测的大型数据集。
官网地址：https://cocodataset.org/

点击Dataset下的Explore可以查相关类别的示例图。

论文地址：Microsoft COCO: Common Objects in Context，PDF下载

数据集特点

stuff是指没有明确边界的物体，比如天空、街道、草地等等。

版本，下载

MS COCO数据集有两个版本：MS COCO 2014和MS COCO 2017。这里介绍2017版本，2017版数据集是对2014版数据集的扩展和更新，2017版较2014版的变化有：

• 2017版和2014版使用完全相同的图像
• 2017版训练集/验证集的划分是118K/5K，而2014版是83K/41K
• 2017版中用于检测类任务 / 关键点检测的注释和2014版是一样的，但是增加了40K张训练图像（118K训练集中的子集）和所有验证集的stuff标注（后面有介绍stuff categories）
• 2017年的测试集只有两个部分(开发集/挑战集)，而2014版的测试集有四个部分(开发集/标准集/储备集/挑战集)。开发集用于比赛选手自己测试，挑战集用于竞赛。
• 2017版发布12万张来自COCO的无标记的图像，这些图像遵循与标记图像相同的类分布，可用于半监督学习。

数据结构

.
├── annotations
│   ├── captions_train2017.json          图像描述的 训练集标注文件
│   ├── captions_val2017.json            图像描述的 验证集标注文件
│   ├── instances_train2017.json         对应目标检测、分割任务的 训练集标注文件
│   ├── instances_val2017.json           目标检测、分割任务的 验证集标注文件
│   ├── person_keypoints_train2017.json  人体关键点检测的 训练集标注文件
│   └── person_keypoints_val2017.json    人体关键点检测的 验证集标注文件
├── train2017
│   ├── 000000000009.jpg
│   ├── 000000000025.jpg
│   ├── 000000000030.jpg
│   ├── 000000000034.jpg
│   ├── 000000000036.jpg
│   └── ... (共118287张图像)
└── val2017
    ├── 000000000139.jpg
    ├── 000000000285.jpg
    ├── 000000000632.jpg
    ├── 000000000724.jpg
    ├── 000000000776.jpg
    └── ... (共5000张图像)

ImageNet

CIFAR

Flowers

MNIST