Bilibili:CV缝合救星
🌈 小伙伴们看过来~
写推文真的不容易,每一行字、每一张图都倾注了我们的心血💦 如果你觉得这篇内容对你有帮助、有启发,别忘了顺手点个赞、转发一下、或者点个“在看” 支持我们一下哈~✨
你的一点鼓励🌟,对我们来说就是超大的动力!
👀 小声提醒:用电脑打开阅读更舒服哟,排版清晰、体验更棒!谢谢大家~我们会继续努力产出优质内容,陪你一起进步呀✌️❤️
01 论文信息
论文题目:DSSAU-Net: U-Shaped Hybrid Network for Pubic Symphysis and Fetal Head Segmentation (Arxiv 2025 预发行论文)
中文题目:DSSAU-Net:用于耻骨联合与胎儿头部分割的U型混合网络
即插即用模块:双稀疏选择注意力机制 Dual Sparse Selection Attention (DSSA)
02 论文概要
Highlight
图 1. DSSAU-Net 的整体架构是一个 U 型的混合网络,它采用稀疏注意力机制——双稀疏选择注意力(DSSA)作为核心构建思想,用于分层设计编码器–解码器结构。此外,还引入了金字塔池化模块(PPM)来融合多尺度特征,从而有助于提升分割性能。(b):DSSA 模块的细节。
03 研究背景
🌧️ 存在的问题(背景动因)
① 传统自注意力计算复杂度高:在像素层面显式构建完整注意力矩阵,计算和存储开销巨大,不利于在资源受限环境和实时分割任务中使用。
② 仅区域级稀疏选择不够鲁棒:已有方法(如 BRAU-Net)只在区域层面进行稀疏选择,容易保留噪声,对小目标和模糊边界表现不足。
③ 下采样导致细节丢失:U 型网络在多次下采样过程中会丢失空间细节信息,影响胎儿头部与耻骨联合的精确分割。
④ 多尺度特征融合不足:浅层特征虽含局部空间信息但缺乏语义,深层特征虽具全局语义但分辨率低,缺乏有效融合机制限制了分割性能。
💡 解决思路(DSSA 核心贡献)
① 双稀疏选择注意力:提出 DSSA 机制,在区域级与像素级分别进行两次稀疏 token 选择,过滤掉无关特征并降低计算复杂度。
② 逐级堆叠构建 U 型结构:将 DSSA block 堆叠于对称的编码器–解码器中,逐层提取多尺度特征,实现高效建模。
③ 局部上下文增强:在像素级选择后引入局部上下文增强项(如 5×5 深度卷积),补充边界与细粒度特征。
④ 多尺度特征融合:结合金字塔池化模块,将不同尺度的特征在解码端进行融合,兼顾全局与局部信息,提高分割精度。
⑤ 高效轻量与实用性:DSSA 在降低 FLOPs 与参数量的同时保持分割精度,在 MICCAI IUGC 2024 数据集上取得较优结果,验证了在医疗超声分割中的实用价值。
04 模块原理解读
📌 模块解析 | Dual Sparse Selection Attention 双稀疏选择注意力模块(DSSA 模块)
图 2. 所提出的DSSA模块流程图
📌 DSSA 模块聚焦于“稀疏高效”与“多层次特征选择”的统一建模,其核心由以下三个关键特点构成:
① 区域级稀疏选择:首先在区域层面进行稀疏 token 筛选,利用区域级查询与键的相关性,只保留最相关的若干区域,有效过滤掉不相关区域,降低计算开销。
② 像素级稀疏选择:在区域稀疏的基础上,对像素级 token 进一步筛选,选取最相关的若干像素,并在筛选过程中隐式去除噪声特征,从而增强模型对细粒度结构的建模能力。
③ 局部上下文增强:在像素选择后引入局部上下文增强项(5×5 深度卷积),补充边界和局部细节信息,使输出特征更适合像素级分割任务。
🔍 该模块通过“区域级稀疏 + 像素级稀疏”的双层次选择机制,在显著降低计算复杂度的同时保留了最相关特征,并结合局部上下文增强,有效提升了对胎头与耻骨联合等低对比度目标的分割精度。
05 创新思路
CV缝合救星原创模块
🧠 模块名称:STAR-DSSA Block —— Saliency & Topology Aware Routed Dual-Selective Self-Attention(显著性与拓扑感知的双稀疏路由自注意力模块)
💡 长按识别🔍,领取💾源码
💡 设计动机:在医学超声等低对比细粒度场景中,单纯的区域级稀疏会保留噪声、对小目标与模糊边界不稳;同时,自注意力在像素层面显式全连接代价高且部署受限。STAR-DSSA 通过 显著性引导的区域池化 + 邻域拓扑偏置 + 区域/像素双稀疏选择 + 门控局部上下文增强,在控制复杂度的前提下强化边界与细节的稳健建模。
📌 核心创新点
1. 显著性加权区域池化(创新点⭐)
以轻量显著性分支生成区域内权重,对区域级 Query/Key 进行加权汇聚,弱化均值池化对噪声的敏感性,突出真正判别性的结构。
2. 邻域拓扑偏置路由(创新点⭐)
在区域相似度上注入切比雪夫邻域先验,并以可学习权重自适应平衡“语义相似度/空间邻近性”,提升路由的空间一致性与稳定性。
3. 双层次稀疏选择(创新点⭐)
先做区域级 top-k 路由,再在所选区域中对像素级 token 做二次稀疏,显著降低复杂度同时抑制无关与噪声 token,保留最相关细节。
4. 门控局部上下文增强(创新点⭐)
以 5×5 深度可分卷积提取局部边界/纹理,再用 SE 通道门控抑制无关细节,避免无差别注入造成的信息噪声。
5. 端到端可插拔与轻量部署(创新点⭐)
接口/形状对齐标准注意力层,可直接替换;显著性与拓扑偏置均为轻量分支,对显存与时延友好,适合资源受限场景。
📌 输入输出
输入:
x ∈ [B, C, H, W] (输入特征图)输出:
[B, C, H, W] (与输入同形状)
📌 过程步骤
Step 1:QKV 投影
对输入做 1×1 卷积得到 Q/K/V,为后续路由与加权做准备。
Step 2:显著性加权区域池化
用显著性分支产生区域内权重,对 Q/K 进行加权汇聚,形成鲁棒的区域级 token。
Step 3:邻域拓扑混合路由
计算区域相似度并与邻域先验按可学习系数混合,获得更稳定的区域级路由分数。
Step 4:区域级 top-k 选择
按混合分数为每个查询区域选择最相关的 k 个目标区域,构建稀疏区域图。
Step 5:像素级二次稀疏
在选中区域内进行 token-to-token 注意力,并对像素级 token 再次 top-k 选择,压缩计算同时过滤噪声。
Step 6:门控局部增强与投影
以 5×5 深度卷积提取局部上下文,并由 SE 门控调制后与注意力输出相加,最后经 1×1 投影得到结果。
👉总结:STAR-DSSA 以 显著性引导 + 拓扑偏置 + 区域/像素双稀疏 + 门控局部增强 的协同设计,在保持轻量与可部署性的同时,显著提升对低对比、小目标与模糊边界的鲁棒建模能力,兼顾全局上下文与局部细节,非常适合医学分割等精细化场景。
06 模块适用任务
🎯 DSSA 模块适用任务(Dual Sparse Selection Attention,双稀疏选择注意力)
1. 医学超声分割(胎头与耻骨联合):面向分娩期超声图像中胎儿头部与耻骨联合的精确分割,支撑 AoP 与 HSD 等关键参数计算与临床评估。
2. 低对比度与伪影场景:针对超声常见的散斑噪声、成像伪影与边界模糊,通过区域级与像素级双稀疏选择保留最相关特征,提升边界贴合度与稳定性。
3. 小目标与细粒度结构:在像素级二次稀疏选择与局部上下文增强的配合下,增强对细小目标与细薄结构的捕捉能力。
4. 多尺度上下文融合的分割任务:结合 U 形编码器–解码器与金字塔池化/多尺度特征融合,兼顾全局语义与局部细节的分割场景。
5. 资源受限与高效推理:双稀疏机制显著降低注意力计算与显存开销,适用于高效部署和快速验证(如竞赛测试集与临床工作流原型)。
🎯 STAR-DSSA 模块适用任务(Saliency & Topology Aware Routed Dual-Selective Self-Attention,显著性与拓扑感知双稀疏路由自注意力)
1. 低对比细粒度医学影像:显著性加权的区域池化与门控局部增强,更适合超声、内镜等低对比、边界模糊且需精细刻画的分割任务。
2. 小目标/曲细结构识别:在区域/像素双稀疏的基础上引入拓扑邻域偏置,强化道路、血管、神经束等细长与曲折结构的连续性建模。
3. 多尺度复杂场景分割:显著性引导的关键上下文抽取与多尺度解码融合,适用于器官/病灶多尺度共存的复杂场景。
4. 实时与边缘侧应用:轻量分支与稀疏计算降低延迟,适合便携式设备与资源受限平台的实时推理。
5. 跨域稳健与可插拔集成:拓扑先验带来的空间一致性与显著性筛选的抗噪声能力,便于与现有 CNN/Transformer 主干无缝对接,用于分类、检测与分割多任务流水线。
📌 总结对比
DSSA(原论文机制):面向分娩期超声分割与相关生物测量,突出区域级 + 像素级双稀疏与多尺度融合的高效分割范式;在低对比、伪影与小目标场景下兼顾精度与效率,适合资源受限部署与临床评估链路。
STAR-DSSA(增强版):在 DSSA 的高效稀疏框架上,加入显著性加权池化 + 邻域拓扑偏置 + 门控局部增强,进一步强化对边界细节/曲细结构/跨尺度复杂场景的稳健建模,同时保持轻量与可插拔集成能力。
07 运行结果与即插即用代码
运行结果
🎯 DSSA模块
🎯STAR-DSSA模块
本文代码获取
立即加星标
每天看好文
扫码关注
福高照 祭灶神
扫尘土 贴窗花