Title
题目
RED: Residual estimation diffusion for low-dose PET sinogram reconstruction
RED:用于低剂量 PET 正弦图重建的残差估计扩散模型
01
文献速递介绍
医学成像技术在现代医学疾病诊断中至关重要(Beyer等人,2000;Gunn等人,2015;Mahac,2005)。正电子发射断层成像(PET)是其中一种成像技术,它通过检测注入体内的示踪剂来揭示代谢活动和生化过程的变化。像FDG这样的示踪剂会随着时间在器官和病变部位积累。由于其放射性,减少注射剂量有助于减轻对人体的伤害,但这会给成像结果引入额外的噪声和伪影,影响诊断准确性(Cui等人,2023;Xu等人,2021)。当这些示踪剂与电子发生湮灭时,会产生成对的伽马光子,随后被PET扫描仪检测到以生成正弦图。 正弦图可以通过反投影算法转换到图像域。由于原始数据中存在随机噪声,PET重建是一个不适定的逆问题。大量研究已证明从正弦图重建图像的能力。滤波反投影(FBP)通过对滤波后的投影数据进行反投影来重建图像,实现快速图像重建,但其在高噪声条件下性能下降。相比之下,最大似然期望最大化(MLEM)通过迭代重建优化正弦图的似然性,但需要大量时间收敛。尽管有序子集期望最大化(OSEM)(Hudson和Larkin,1994)提高了迭代效率,但在低剂量情况下难以补偿缺失的信息。因此,寻找有效的方法来提高低剂量正弦图的质量成为一个关键研究领域。 随着机器学习的快速发展,越来越多基于深度学习的方法被应用于PET成像(Yang等人,2024;Wang等人,2024;Gong等人,2019;Gong等人,2022)。Cui等人提出了一种整合正弦图、图像和频率数据的方法来进行低剂量PET重建(Cui等人,2024)。Hong等人基于新型深度残差卷积神经网络开发了一种数据驱动的正弦图单图像超分辨率方法,增强了其在PET成像中的有效性(Hong等人,2018)。Whiteley和Gregor(2019)提出了一种正弦图修复网络,有效解决了块状探测器故障导致的数据缺失问题。同时,生成模型在医学成像中表现出强大的能力。生成对抗网络(GANs)(Goodfellow等人,2020)涉及生成网络和判别网络以提高生成质量,这些网络已在医学成像领域得到广泛应用(Cui等人,2024;Hu等人,2021;Gong等人,2021;Bera和Biswas,2024)。然而,GANs面临训练过程不稳定的挑战,容易导致训练失败(Arjovsky和Bottou,2017)。 最近,扩散模型已成为领先的生成模型(Ozbey等人,2023;Li等人,2024;Luo等人,2024;Zhang等人,2024;Dhariwal和Nichol,2021),它通过预测和去除噪声来重建图像(Yang等人,2023)。去噪扩散概率模型(DDPM)(Ho等人,2020)直接从噪声生成图像,该方法通过迭代生成高质量图像,而非单次预测。Guan等人(2024)提出了正弦图域生成建模(GMSD)方法,用多尺度噪声扰动正弦图并进行数据插值。Shen等人(2024)引入了一种新方法,在投影域添加高斯噪声以模拟PET噪声的形成。Huang等人(2024)预训练了一个编码网络,然后应用潜在扩散模型(Rombach等人,2022)来提高潜在嵌入的质量。由于DDPM需要大量迭代步骤,去噪扩散隐式模型(DDIM)(Song等人,2020)通过将DDPM推广到非马尔可夫过程显著提高了采样效率,这些改进使逆向过程能够用更少的采样步骤实现相似结果,且无需添加噪声。 传统扩散模型通过正向过程添加高斯噪声来侵蚀输入图像。尽管噪声机制有助于增强生成结果的多样性,但PET成像中过度的可变性会降低重建结果的保真度。此外,向正弦图添加高斯噪声在反投影到图像域后会产生伪影(Oehmigen等人,2014)。伪影和噪声可能导致误诊,进一步降低结果的可靠性。这种影响在低剂量正弦图中更为明显,因为添加的人工噪声使本已不完整的信息更难辨别。 为解决上述问题,本研究提出了一种称为残差估计扩散(RED)的扩散机制,该机制调整扩散过程以更适合低剂量PET正弦图重建。RED通过最小化低剂量和全剂量正弦图之间的残差来构建扩散过程。RED不向数据添加高斯噪声,而是直接将低剂量正弦图作为逆向过程的起点,全剂量正弦图作为终点。在这种情况下,低剂量正弦图可被视为全剂量正弦图的已侵蚀版本,无需添加高斯噪声。由于RED避免了以任何形式损害输入质量,逆向过程是一个确定性采样过程。尽管该过程减少了生成结果的不确定性,但预测误差的累积可能导致数据漂移。这种现象由不准确的预测引起,在非高斯噪声条件下更为显著。因此,RED采用级联估计来预测当前正弦图的残差,然后校正其累积误差。在采样训练数据时,RED不直接使用正弦图之间的实际残差,而是使用预测的残差来生成中间样本。该策略模拟了漂移的发生,提高了训练和重建过程中的数据一致性。本文的主要贡献可总结如下: • 残差估计扩散机制:与传统扩散模型相比,RED用低剂量和全剂量正弦图之间的残差替代高斯噪声,并通过最小化残差来重建正弦图。通过将低剂量和全剂量正弦图分别设置为重建的起点和终点,低剂量正弦图可视为向全剂量正弦图添加残差的结果,无需进一步退化。这种方法避免了额外的高斯噪声,从而提高了结果的可靠性。 • 漂移校正策略:为减轻数据漂移对重建结果的影响,本研究在逆向过程中引入了漂移校正机制。在重建过程中,级联估计模块(CEM)估计残差,然后校准中间正弦图。该模块采用分阶段训练:首先训练一个网络以预测准确的残差,然后使用预训练网络进行单步预测以获得漂移样本。这些样本有助于重现重建的中间结果,增强逆向过程中的数据一致性和稳定性。 本文其余部分的组织如下:第2节介绍低剂量PET正弦图和扩散模型的背景知识;第3节阐述RED的内部细节;第4节展示实验结果;第5节进行补充讨论;第6节得出最终结论。
Abatract
摘要
Recent advances in diffusion models have demonstrated exceptional performance in generative tasks across various fields. In positron emission tomography (PET), the reduction in tracer dose leads to information loss in sinograms. Using diffusion models to reconstruct missing information can improve imaging quality. Traditional diffusion models effectively use Gaussian noise for image reconstructions. However, in low-dose PET reconstruction, Gaussian noise can worsen the already sparse data by introducing artifacts and inconsistencies. To address this issue, we propose a diffusion model named residual estimation diffusion (RED). From the perspective of diffusion mechanism, RED uses the residual between sinograms to replace Gaussian noise in diffusion process, respectively sets the low-dose and full-dose sinograms as the starting point and endpoint of reconstruction. This mechanism helps preserve the original information in the low-dose sinogram, thereby enhancing reconstruction reliability. From the perspective of data consistency, RED introduces a drift correction strategy to reduce accumulated prediction errors during the reverse process. Calibrating the intermediate results of reverse iterations helps maintain the data consistency and enhances the stability of reconstruction process. In the experiments, RED achieved the best performance across all metrics. Specifically, the PSNR metric showed improvements of 2.75, 5.45, and 8.08 dB in DRF4, 20, and 100 respectively, compared to traditional methods.
近年来,扩散模型在各领域的生成任务中展现出卓越性能。在正电子发射断层成像(PET)中,示踪剂剂量的减少会导致正弦图出现信息丢失。利用扩散模型重建缺失信息可改善成像质量。传统扩散模型通过高斯噪声实现图像重建,但在低剂量PET重建中,高斯噪声会引入伪影和不一致性,进一步加剧数据稀疏性问题。 为解决这一挑战,我们提出了一种名为**残差估计扩散(RED)**的扩散模型。 - **从扩散机制角度**:RED利用正弦图之间的残差替代扩散过程中的高斯噪声,将低剂量正弦图和全剂量正弦图分别设为重建的起点和终点。该机制有助于保留低剂量正弦图中的原始信息,从而提升重建的可靠性。 - **从数据一致性角度**:RED引入漂移校正策略,以减少逆向过程中累积的预测误差。通过校准逆向迭代的中间结果,模型能够维持数据一致性,增强重建过程的稳定性。 实验表明,RED在所有评估指标中均表现最优。具体而言,与传统方法相比,其峰值信噪比(PSNR)在DRF4、20和100条件下分别提升了2.75、5.45和8.08分贝。
Conclusion
结论
This study introduced RED as a high-fidelity diffusion mechanism that minimized the residuals between sinograms. Unlike standard diffusion models, RED did not introduce extra noise to low-dose sinograms, thereby preserving the integrity of the original data. To reduce the impact of accumulated prediction error during the iterations, RED introduced a drift correction mechanism and employed estimated samples during training to enhance data consistency. Further exploration of combining RED with Gaussian noise demonstrated great potential for broader applications in other domains. This offered promising directions for future research to expand the application of RED in various medical imaging tasks and beyond.
本研究引入了残差估计扩散(RED)作为一种高保真度的扩散机制,通过最小化正弦图之间的残差来实现低剂量PET重建。与传统扩散模型不同,RED无需向低剂量正弦图引入额外噪声,从而保留了原始数据的完整性。为减少迭代过程中预测误差累积的影响,RED引入了漂移校正机制,并在训练中使用估计样本增强数据一致性。进一步探索RED与高斯噪声的结合表明,其在其他领域具有广泛应用的潜力。这为未来将RED扩展到各类医学成像任务及其他领域的研究提供了有前景的方向。
Figure
图
Fig. 1. The low-dose data (left) has worse quality compared to the full-dose data (right). Graininess and discontinuities increase as the lines in the sinogram become sparser in the projection domain.
图1. 低剂量数据(左)与全剂量数据(右)的质量对比 在投影域中,随着正弦图中的线条变得更稀疏,低剂量数据的颗粒感和不连续性增加,其质量明显低于全剂量数据。
Fig. 2. Illustration of data drift in the reverse process. Drift γt accumulates due to the imperfect prediction of residual, leading the final reconstruction result to deviate from expectations.
图2. 逆向过程中的数据漂移示意图 由于残差预测不完美,漂移量γt会逐步累积,导致最终重建结果偏离预期。
Fig. 3. The overall structure of RED. During the reverse process, REN first estimates the residual ϵt θ to calculate ̂xt− 1, where αt− 1 − αt denotes the hyperparameter for adjusting the residual. Then DCN predicts the drift correction term γt ϕ − 1 to refine ̂xt− 1, adjusted by hyperparameter βt− 1. Both REN and DCN use the same network architecture.
图3. RED的整体结构示意图 在逆向过程中,残差估计网络(REN)首先预测残差ϵt θ 以计算̂xt−1,其中αt−1−αt 为调整残差的超参数。随后,漂移校正网络(DCN)预测漂移校正项γt ϕ−1,对̂xt−1 进行优化,优化过程由超参数βt−1 调节。REN和DCN采用相同的网络架构。
Fig. 4. Comparison of reconstruction under DRF 4 using different methods. The first row illustrates the sinograms, the second row presents the reconstruction results, and the last row displays the residuals.
图4. 不同方法在DRF 4条件下的重建效果对比 第一行展示正弦图,第二行呈现重建结果,最后一行显示残差图。
Fig. 5. Comparison of reconstruction under DRF 20 using different methods. The first row illustrates the sinograms, the second row presents the reconstruction results, and the last row displays the residuals.
图5. 不同方法在DRF 20条件下的重建效果对比 第一行展示正弦图,第二行呈现重建结果,最后一行显示残差图。
Fig. 6. Comparison of reconstruction under DRF 100 using different methods. The first row illustrates the sinograms, the second row presents the reconstruction results, and the last row displays the residuals.
图6. 不同方法在DRF 100条件下的重建效果对比 第一行展示正弦图,第二行呈现重建结果,最后一行显示残差图。
Fig. 7. Illustration of the brain and lung regions under DRF 20. RED preserves more details while also producing smoother results.
图7. DRF 20条件下脑部与肺部区域的重建效果示意图 RED在保留更多细节的同时,生成了更平滑的结果。
Fig. 8. The box plots for the brain and lungs under DRF20, with the maximum and minimum values marked by dots.
图8. DRF20条件下脑部与肺部区域的箱线图,最大值和最小值以圆点标注。
Fig. 9. The profile lines of each model after normalization. The result shows that the recovery values of RED are closest to the real data.
图9. 归一化后各模型的剖面线图 结果显示,RED的恢复值最接近真实数据。
Fig. 10. Comparison of the reconstruction results using Patient Dataset, where RED outperforms the other comparison schemes in detail addition, showing better continuity.
图10. 患者数据集的重建结果对比 RED在细节补充方面优于其他对比方案,表现出更好的连续性。
Fig. 11. Comparison of the reverse process under DRF 20. The first column is the full-dose reference image, and the others represent the intermediate results of different diffusion mechanisms.
图11. DRF 20条件下逆向过程对比 第一列为全剂量参考图像,其余列表示不同扩散机制的中间结果。
Fig. 12. The intermediate results of RED after adding Gaussian noise to inputs. RED effectively removes the added noise during the iterative process.
图12. 输入添加高斯噪声后RED的中间结果 RED在迭代过程中有效去除了添加的噪声。
Table
表
Table 1 Average Quantitative Reconstruction Quality of Different Methods at DRF 4, 20, 100
表1 不同方法在DRF 4、20、100下的平均定量重建质量
Table 2 Average Quantitative Quality of Sinogram at DRF 20.
表2 DRF 20条件下正弦图的平均定量质量
Table 3 Average Quantitative Quality at Critical Area.
表3 关键区域的平均定量质量
Table 4 Impact of Different Components at DRF 20.
表4 DRF 20条件下不同组件的影响
Table 5 Average Quantitative Quality on Patient Dataset.
表5 患者数据集上的平均定量质量
Table 6 Effective Comparisons of Mixed Gaussian Noise at DRF 20
表6 DRF 20条件下混合高斯噪声的有效性对比