【Arxiv 2025 预发行论文】重磅突破!STAR-DSSA 模块横空出世:显著性+拓扑双重加持,小目标、大场景统统拿下!

发布于:2025-09-06 ⋅ 阅读:(19) ⋅ 点赞:(0)

Bilibili:CV缝合救星

🌈 小伙伴们看过来~

写推文真的不容易,每一行字、每一张图都倾注了我们的心血💦 如果你觉得这篇内容对你有帮助、有启发,别忘了顺手点个赞、转发一下、或者点个“在看” 支持我们一下哈~✨

你的一点鼓励🌟,对我们来说就是超大的动力!

👀 小声提醒:用电脑打开阅读更舒服哟,排版清晰、体验更棒!谢谢大家~我们会继续努力产出优质内容,陪你一起进步呀✌️❤️

image.png

01 论文信息

论文题目:DSSAU-Net: U-Shaped Hybrid Network for Pubic Symphysis and Fetal Head Segmentation (Arxiv 2025 预发行论文)

中文题目:DSSAU-Net:用于耻骨联合与胎儿头部分割的U型混合网络

即插即用模块:双稀疏选择注意力机制 Dual Sparse Selection Attention (DSSA)

02 论文概要

Highlight

image.png

图 1. DSSAU-Net 的整体架构是一个 U 型的混合网络,它采用稀疏注意力机制——双稀疏选择注意力(DSSA)作为核心构建思想,用于分层设计编码器–解码器结构。此外,还引入了金字塔池化模块(PPM)来融合多尺度特征,从而有助于提升分割性能。(b):DSSA 模块的细节。

03 研究背景

    🌧️ 存在的问题(背景动因)

传统自注意力计算复杂度高:在像素层面显式构建完整注意力矩阵,计算和存储开销巨大,不利于在资源受限环境和实时分割任务中使用。

仅区域级稀疏选择不够鲁棒:已有方法(如 BRAU-Net)只在区域层面进行稀疏选择,容易保留噪声,对小目标和模糊边界表现不足。

下采样导致细节丢失:U 型网络在多次下采样过程中会丢失空间细节信息,影响胎儿头部与耻骨联合的精确分割。

多尺度特征融合不足:浅层特征虽含局部空间信息但缺乏语义,深层特征虽具全局语义但分辨率低,缺乏有效融合机制限制了分割性能。

    💡 解决思路(DSSA 核心贡献)

双稀疏选择注意力:提出 DSSA 机制,在区域级与像素级分别进行两次稀疏 token 选择,过滤掉无关特征并降低计算复杂度。

逐级堆叠构建 U 型结构:将 DSSA block 堆叠于对称的编码器–解码器中,逐层提取多尺度特征,实现高效建模。

局部上下文增强:在像素级选择后引入局部上下文增强项(如 5×5 深度卷积),补充边界与细粒度特征。

多尺度特征融合:结合金字塔池化模块,将不同尺度的特征在解码端进行融合,兼顾全局与局部信息,提高分割精度。

高效轻量与实用性:DSSA 在降低 FLOPs 与参数量的同时保持分割精度,在 MICCAI IUGC 2024 数据集上取得较优结果,验证了在医疗超声分割中的实用价值。

04 模块原理解读

📌 模块解析 | Dual Sparse Selection Attention 双稀疏选择注意力模块(DSSA 模块)

image.png

    图 2. 所提出的DSSA模块流程图  

    📌 DSSA 模块聚焦于“稀疏高效”与“多层次特征选择”的统一建模,其核心由以下三个关键特点构成:

区域级稀疏选择:首先在区域层面进行稀疏 token 筛选,利用区域级查询与键的相关性,只保留最相关的若干区域,有效过滤掉不相关区域,降低计算开销。

像素级稀疏选择:在区域稀疏的基础上,对像素级 token 进一步筛选,选取最相关的若干像素,并在筛选过程中隐式去除噪声特征,从而增强模型对细粒度结构的建模能力。

局部上下文增强:在像素选择后引入局部上下文增强项(5×5 深度卷积),补充边界和局部细节信息,使输出特征更适合像素级分割任务。

    🔍 该模块通过“区域级稀疏 + 像素级稀疏”的双层次选择机制,在显著降低计算复杂度的同时保留了最相关特征,并结合局部上下文增强,有效提升了对胎头与耻骨联合等低对比度目标的分割精度。

05 创新思路

CV缝合救星原创模块

    🧠 模块名称STAR-DSSA Block —— Saliency & Topology Aware Routed Dual-Selective Self-Attention(显著性与拓扑感知的双稀疏路由自注意力模块)

    💡 长按识别🔍,领取💾源码

image.png

    💡 设计动机:在医学超声等低对比细粒度场景中,单纯的区域级稀疏会保留噪声、对小目标与模糊边界不稳;同时,自注意力在像素层面显式全连接代价高且部署受限。STAR-DSSA 通过 显著性引导的区域池化 + 邻域拓扑偏置 + 区域/像素双稀疏选择 + 门控局部上下文增强,在控制复杂度的前提下强化边界与细节的稳健建模。

    📌 核心创新点

1. 显著性加权区域池化(创新点⭐)

 以轻量显著性分支生成区域内权重,对区域级 Query/Key 进行加权汇聚,弱化均值池化对噪声的敏感性,突出真正判别性的结构。

2. 邻域拓扑偏置路由(创新点⭐)
 在区域相似度上注入切比雪夫邻域先验,并以可学习权重自适应平衡“语义相似度/空间邻近性”,提升路由的空间一致性与稳定性。

3. 双层次稀疏选择(创新点⭐)
 先做区域级 top-k 路由,再在所选区域中对像素级 token 做二次稀疏,显著降低复杂度同时抑制无关与噪声 token,保留最相关细节。

4. 门控局部上下文增强(创新点⭐)
 以 5×5 深度可分卷积提取局部边界/纹理,再用 SE 通道门控抑制无关细节,避免无差别注入造成的信息噪声。

5. 端到端可插拔与轻量部署(创新点⭐)
 接口/形状对齐标准注意力层,可直接替换;显著性与拓扑偏置均为轻量分支,对显存与时延友好,适合资源受限场景。

    📌 输入输出

  • 输入
     x ∈ [B, C, H, W] (输入特征图)

  • 输出
     [B, C, H, W] (与输入同形状)

📌 过程步骤

Step 1:QKV 投影
 对输入做 1×1 卷积得到 Q/K/V,为后续路由与加权做准备。

Step 2:显著性加权区域池化
 用显著性分支产生区域内权重,对 Q/K 进行加权汇聚,形成鲁棒的区域级 token。

Step 3:邻域拓扑混合路由
 计算区域相似度并与邻域先验按可学习系数混合,获得更稳定的区域级路由分数。

Step 4:区域级 top-k 选择
 按混合分数为每个查询区域选择最相关的 k 个目标区域,构建稀疏区域图。

Step 5:像素级二次稀疏
 在选中区域内进行 token-to-token 注意力,并对像素级 token 再次 top-k 选择,压缩计算同时过滤噪声。

Step 6:门控局部增强与投影
 以 5×5 深度卷积提取局部上下文,并由 SE 门控调制后与注意力输出相加,最后经 1×1 投影得到结果。

  👉总结STAR-DSSA显著性引导 + 拓扑偏置 + 区域/像素双稀疏 + 门控局部增强 的协同设计,在保持轻量与可部署性的同时,显著提升对低对比、小目标与模糊边界的鲁棒建模能力,兼顾全局上下文与局部细节,非常适合医学分割等精细化场景。

06 模块适用任务

    🎯 DSSA 模块适用任务(Dual Sparse Selection Attention,双稀疏选择注意力)
1. 医学超声分割(胎头与耻骨联合):面向分娩期超声图像中胎儿头部与耻骨联合的精确分割,支撑 AoP 与 HSD 等关键参数计算与临床评估。
2. 低对比度与伪影场景:针对超声常见的散斑噪声、成像伪影与边界模糊,通过区域级与像素级双稀疏选择保留最相关特征,提升边界贴合度与稳定性。
3. 小目标与细粒度结构:在像素级二次稀疏选择与局部上下文增强的配合下,增强对细小目标与细薄结构的捕捉能力。
4. 多尺度上下文融合的分割任务:结合 U 形编码器–解码器与金字塔池化/多尺度特征融合,兼顾全局语义与局部细节的分割场景。
5. 资源受限与高效推理:双稀疏机制显著降低注意力计算与显存开销,适用于高效部署和快速验证(如竞赛测试集与临床工作流原型)。

    🎯 STAR-DSSA 模块适用任务(Saliency & Topology Aware Routed Dual-Selective Self-Attention,显著性与拓扑感知双稀疏路由自注意力)
1. 低对比细粒度医学影像:显著性加权的区域池化与门控局部增强,更适合超声、内镜等低对比、边界模糊且需精细刻画的分割任务。
2. 小目标/曲细结构识别:在区域/像素双稀疏的基础上引入拓扑邻域偏置,强化道路、血管、神经束等细长与曲折结构的连续性建模。
3. 多尺度复杂场景分割:显著性引导的关键上下文抽取与多尺度解码融合,适用于器官/病灶多尺度共存的复杂场景。
4. 实时与边缘侧应用:轻量分支与稀疏计算降低延迟,适合便携式设备与资源受限平台的实时推理。
5. 跨域稳健与可插拔集成:拓扑先验带来的空间一致性与显著性筛选的抗噪声能力,便于与现有 CNN/Transformer 主干无缝对接,用于分类、检测与分割多任务流水线。

    📌 总结对比
DSSA(原论文机制):面向分娩期超声分割与相关生物测量,突出区域级 + 像素级双稀疏与多尺度融合的高效分割范式;在低对比、伪影与小目标场景下兼顾精度与效率,适合资源受限部署与临床评估链路。
STAR-DSSA(增强版):在 DSSA 的高效稀疏框架上,加入显著性加权池化 + 邻域拓扑偏置 + 门控局部增强,进一步强化对边界细节/曲细结构/跨尺度复杂场景的稳健建模,同时保持轻量与可插拔集成能力。

07 运行结果与即插即用代码

运行结果

🎯 DSSA模块

image.png

 🎯STAR-DSSA模块

image.png

本文代码获取

立即加星标

每天看好文

image.png

image.png

扫码关注

福高照 祭灶神

扫尘土 贴窗花


网站公告

今日签到

点亮在社区的每一天
去签到