论文地址：https://arxiv.org/pdf/2405.06283v1
代码地址： https://github.com/SSDUT-Caiyq/UFG-NCD
关注UP CV缝合怪，分享最计算机视觉新即插即用模块，并提供配套的论文资料与代码。
https://space.bilibili.com/473764881
摘要
本研究旨在解决超细粒度视觉分类（Ultra-FGVC）中存在的新类别发现问题。Ultra-FGVC 旨在区分细粒度对象中高度相似的子类别，例如不同的大豆品种。与传统的细粒度视觉分类相比，Ultra-FGVC 由于类间差异小和类内差异大而面临更多障碍。鉴于这些挑战，依靠人工标注进行 Ultra-FGVC 是不切实际的。为此，本研究引入了一个名为超细粒度新类别发现（UFG-NCD）的新任务，该任务利用部分标注的数据来识别 Ultra-FGVC 的未标注图像的新类别。为了解决这个问题，本研究设计了一个区域对齐代理学习（RAPL）框架，该框架包括一个通道式区域对齐（CRA）模块和一个半监督代理学习（SemiPL）策略。CRA 模块旨在提取和利用来自局部区域的判别性特征，促进从已标注类别到未标注类别的知识转移。此外，SemiPL 通过代理引导的监督学习和代理引导的对比学习来加强表征学习和知识转移。这些技术利用嵌入空间中的类别分布信息，改进对已标注和未标注的超细粒度类别之间细微差异的挖掘。广泛的实验表明，RAPL 在各种数据集上显著优于基线方法，表明其在处理 UFG-NCD 挑战方面的有效性。
引言
在计算机视觉领域，对视觉相似但类别不同的图像进行区分是一项极具挑战的任务。传统的细粒度视觉分类（FGVC）通过关注诸如鸟类头部或翅膀等显著区域特征，能够区分大类别下的子类别。然而，当类别差异变得更加细微时，FGVC 方法便显得力不从心。为了应对这一挑战，**超细粒度视觉分类（Ultra-FGVC）**应运而生，它专注于识别特定细粒度类别下的超细粒度（UFG）图像子类别，例如区分不同品种的大豆。Ultra-FGVC 在精准农业等实际应用中具有巨大的潜力，吸引了研究人员的广泛关注。
然而，Ultra-FGVC 面临着固有的难题：类间差异小和类内差异大。例如，即使是资深的植物学家也很难区分视觉上高度相似的叶片图像，更不用说对 UFG 图像实例进行完全标注了。由于标注成本高昂且不切实际，传统的监督学习范式在 Ultra-FGVC 领域受到了限制。
为了解决上述问题，近年来，一种名为“新类发现（NCD）”的新兴任务受到了越来越多的关注。NCD 旨在以半监督的方式，从大量未标注的实例中发现新的类别。NCD 的核心思想是从已标注的图像中学习先验知识，并将这些知识迁移到未标注的图像上。这意味着模型需要在已标注数据上进行预训练，学习到适用于未标注样本聚类的判别性表示。虽然现有的 NCD 方法在通用和细粒度 NCD 基准测试中取得了经验性的成功，但它们在学习 UFG 图像中难以察觉的线索方面受到了限制。
本研究着眼于解决 Ultra-FGVC 任务，而无需对所有图像进行完全标注。为此，本研究提出了一种名为 UFG-NCD（Ultra-Fine-Grained Novel Class Discovery） 的新任务设定。为了解决这一问题，本研究设计了一个简单而有效的框架，称为 区域对齐代理学习（RAPL）。该框架专门为 UFG-NCD 定制，包含一个 通道式区域对齐（CRA） 模块和一个 半监督代理学习（SemiPL） 策略。CRA 模块旨在提取和利用局部区域的判别性特征，促进从已标注类别到未标注类别的知识迁移。此外，SemiPL 通过代理引导的监督学习和代理引导的对比学习来加强表示学习和知识迁移。这些技术利用嵌入空间中的类分布信息，改进对已标注和未标注的超细粒度类别之间细微差异的挖掘。
论文创新点
本研究提出了一种名为 UFG-NCD 的新任务，旨在解决超细粒度图像的 Novel Class Discovery 问题。本研究的主要创新点包括：
💡 提出了一种新的任务设置 UFG-NCD：💡
- 首次探索了如何利用已标注的超细粒度图像来识别和分类不相交的未标注超细粒度图像，这在以前的研究中尚未涉及。
- 这种设置更贴近实际应用，无需完全标注所有图像。
🔍 提出了通道级区域对齐（CRA）模块：🔍
- 该模块通过将特征通道与特定的图像区域对齐，显式地学习局部细粒度特征。
- 这种方法能够揭示局部区域内的细微差异，从而促进了局部表征的学习和从已标注类别到未标注类别的知识迁移。
⚙️ 提出了半监督代理学习（SemiPL）框架：⚙️
- 该框架通过代理引导的监督学习（PSL）和代理引导的对比学习（PCL），利用类别指定的代理来建模特征嵌入空间中的全局结构，从而促进了表征学习。
- PSL 利用代理引导的分类和代理正则化来编码已标注实例的判别性和分布信息，而 PCL 则在代理的指导下，将从已标注图像中学习到的知识迁移到未标注图像，从而学习和发现新的类别。
📊 构建了五个UFG-NCD数据集：📊
- 为了支持对该任务的研究，本研究引入了五个超细粒度视觉分类数据集，并通过大量的实验证明了所提方法在处理 UFG-NCD 挑战方面的有效性。
论文实验
