文章目录
Intrapartum Ultrasound Image Segmentation of Pubic Symphysis and Fetal Head Using Dual Student-Teacher Framework with CNN-ViT Collaborative Learning
摘要
背景： 耻骨联合和胎头 （PSFH） 的分割是监测分娩进展和识别潜在分娩并发症的关键步骤。尽管深度学习取得了进步，但缺乏带注释的医学图像阻碍了分割的训练。传统的半监督学习方法主要利用基于卷积神经网络 （CNN） 的统一网络模型，并应用一致性正则化来减轻对大量注释数据的依赖。然而，这些方法在捕获未标记数据的判别特征和描绘超声图像中 PSFH 模糊边界所固有的长期依赖性方面往往不足。
目的： 为了解决这些限制，引入了一种新的框架，即 CNN 和 Transformer 相结合的双学生和教师 （DSTCT），它协同集成了 CNN 和 Transformer 的功能。
方法： 框架包括一个作为“老师”的 Vision Transformer （ViT） 和两个“学生”模型 - 一个 ViT 和一个 CNN。这种双学生设置通过生成硬伪标签和软伪标签来实现相互监督，并通过最小化分类器确定性差异来优化其预测的一致性。教师模型通过施加一致性正则化约束进一步加强了这种架构中的学习。为了增强方法的泛化能力，采用了数据和模型扰动技术的混合。
结果： 优于 10 种当代半监督分割方法。
代码地址
方法
双学生模型由一个 CNN 模型 UNet（即 student1）和一个 Transformer 模型 SwinUNet（SUNet，即 student2）组成，单教师模型使用相同的 Transformer 模型 SUNet。
分为五个部分：
监督学习 （Lsup）：训练学生模型，Dice和交叉熵损失
与硬伪标签 （Lh） 的交叉监督：使用 argmax（.） 函数另一个学生网络生成硬标签
使用软伪标签 （Ls） 的一致性学习：最大置信度生成的硬伪标签不可避免地会产生噪声。利用锐化函数生成软伪标签，这可以降低模型的预测不确定性：
分类器确定性差异最小化 （Lcdd） ：CNN 和 ViT 之间的结构差异引起的多样性可能会影响模型的性能。直接对齐预测之间的差异有点没有置信度。因此通过双分类器预测相关性矩阵来研究分类器差异。矩阵 A 中对角线元素的总和表示分类器预测的一致性，而非对角线元素反映了预测的不确定性。我们的目标是最大化前者，最小化后者
教师模型的一致性正则化约束 （Lcr）：教师架构旨在最大限度地减少在数据和网络扰动下双学生网络和教师网络的预测之间的差异。它们的输出概率之间的一致性损失定义如下
总损失：
实验结果
