【技术追踪】心脏生理学知识驱动的扩散模型用于无对比剂心肌梗死增强（MICCAI-2024）

  扩散模型消除造影剂！

论文：Cardiac Physiology Knowledge-driven Diffusion Model for Contrast-free Synthesis Myocardial Infarction Enhancement

0、摘要

  无对比剂 AI 心肌梗死增强（MIE）合成技术由于能够消除当前MI诊断中的造影剂（CA）给药，因此对临床具有重大影响。（研究意义）

  本文提出了一种新颖的心脏生理学知识驱动扩散模型（cardiac physiology knowledge driven diffusion model，CPKDM），首次将心脏生理学知识整合到心脏 MR 数据中，以指导高质量 MIE 的合成，从而提高 MIE 合成的泛化性能。这种组合有助于模型理解非增强图像输入和增强图像输出之间的数据映射，告知模型如何以及为什么合成 MIE。

  CPKDM 利用心脏力学知识和 MR 成像图谱知识分别指导 CINE 序列中的运动学特征学习和 T1 序列中的形态学特征学习。此外，CPKDM 提出了一种运动学-形态学扩散整合模型，以逐步融合运动学和形态学特征，实现精确的心肌梗死（MIE）合成。

  在包括慢性心肌梗死（MI）患者和正常对照组的 195 名患者中进行评估时，CPKDM 与五种最新的最先进方法相比，显著提高了性能（SSIM 至少提高了4%）。这些结果表明，本文的 CPKDM 显示出优越性，并为临床诊断提供了一个有前景的替代方案。

1、引言

1.1、研究意义与当前挑战

  （1）无对比剂 MIE 消除了使用造影剂的高风险，特别是对于肾功能不全的患者。此外，通过减少多次扫描的需求，简化了临床工作流程，节省了成本并保护了临床资源；
  （2）当前的生成方法纯粹是数据驱动的，仅仅建立了非增强图像输入和增强图像输出之间的映射关系。这种简单的映射可以在机械层面上指导模型如何操作，但缺乏理解输入和输出之间复杂关联的深度，在面对高度可变的个体时仍然难以表现出良好的性能；

  
Figure 1 | 无对比剂人工智能心肌梗死（MIE）合成技术是一种安全、快速且成本效益高的临床替代方案：

1.2、本文贡献

  （1）首次提出了一种知识与数据驱动的方法，用于无对比剂的心肌梗死（MIE）图像合成，旨在消除与使用对比剂相关的健康风险并简化临床工作流程；
  （2）提出了一种新颖的心脏运动学和形态学双流框架，利用心肌应变和心肌成像信号模式分别指导异常运动和结构细节的学习；
  （3）在无对比剂 MI 图像合成领域达到了新的最先进性能，并对设计选择和模型变体进行了详细分析；
  
Figure 2 | 提出了一种新颖的知识和数据驱动的无对比度 MIE 图像合成方法：

2、方法

  CPKDM 由心脏力学引导的运动学解释（CM-KMI）模块、磁共振增强光谱形态感知（MRESMP）模块和运动学-形态学扩散整合（KMDI）模型组成。
  
Figure 3 | CPKDM 集成了 CM-KMI 模块、SA-CMMP 模块和 KMDI 模型：通过结合心脏生理学知识，CM-KMI 从 CINE 序列中学习运动特征，而 MR-ESMP 则从 T1 序列中学习形态特征，KMDI 逐步融合运动和形态特征，最终合成 MIE 图像；

  CM-KMI 专注于通过 CINE 序列从心脏力学知识中学习运动学特征。它利用心脏力学方程分离心肌收缩和旋转特征，并将这些特征整合到运动学特征中，以解释异常的心肌运动；

  MRESMP 专注于通过 T1 序列从磁共振成像图谱知识中学习形态学特征。它利用基于心肌成像信号模式的聚类方法，从多期 T1 序列中分割心脏结构，并将这些聚类掩模整合起来，以识别敏感的结构特征和细微的异常；

  KMDI 专注于通过扩散学习过程融合运动学和形态学特征，以生成心肌梗死图像。它采用跨多个时间步的交叉注意力机制来迭代地优化特征整合，从而利用融合的特征精确合成 MIE 图像；

2.1、心脏力学引导的运动学解释模块

  CM-KMI 利用心脏周期中的心肌应变作为心脏力学知识，以指导从 CINE 序列中学习心肌运动模式。它使用心肌的周向和径向应变来区分时空维度中的心肌收缩和旋转特征，从而准确捕捉心脏动态细节。CM-KMI 包括基于亮度的光流跟踪、基于心脏力学的心肌应变计算，以及一个运动分析网络。

  光流跟踪技术能够分析 CINE 序列中像素亮度的变化。它利用相邻帧之间的亮度变化，准确估计心肌运动，从而生成光流场 $u$。应变计算则计算每个像素与其相邻像素在 $u$ 中的位移差异 $ϵ$ 。

  该过程量化相对变形，然后使用相应的心肌应变公式将相对变形分解为径向分量 ${ϵ}_{radi}$ 和周向分量 ${ϵ}_{circ}$，以获得周向和径向应变：

  ${ϵ}_{radi}(x,y)$ 的计算涉及位移向量 $v(x,y)$ 与心肌中心 $c$ 到点 $p$ 的向量的点积，并按该向量的大小进行归一化。${ϵ}_{circ}(x,y)$ 由 $v(x,y)$ 与径向方向垂直的单位向量 $e_{radi}$ 的点积确定。

  ${ϵ}_{circ}$ 反映了心肌壁沿其周长的缩短和增厚，而 $e_{radi}$ 代表了心肌壁的径向增厚和横向变形，两者对于评估心肌力学和功能都是至关重要的。它们通过编码器映射到特征向量 $F_{circ}$ 和 $F_{radi}$ 中，最后运动分析网络将 $F_{circ}$ 和 $F_{radi}$ 依次引入数据中的特征流 $F_{cine}$ 中，然后采用循环神经网络处理融合的特征，得到 $F_{kine}$。

2.2、MR 增强光谱形态感知模块

  MR-ESMP 利用多相 T1 序列中的心肌成像信号模式作为 MR 成像图谱知识，指导从 T1 序列学习心脏结构特征。它利用多相 T1 序列中不同时间点的信号变化来识别心脏组织的空间和时间特征，从而增强对心脏形态细节的捕捉。MR-ESMP 包括基于光谱聚类的形态分割和基于分割的形态增强网络。

  形态学分割根据 T1 信号的变化对 8 个原生 T1 反转恢复加权图像进行聚类，以实现空间紧凑的聚类，从而生成心脏聚类掩模。对于图像 $I$ 中的每个像素 $i$，给其视觉嵌入 $i$ 分配一个三维正弦位置编码向量，以捕捉同一位置在不同时间点 $t$ 上的信号变化。

  在形态学增强网络中，自编码器在聚类掩模的约束下生成一个形态学掩模，指导编码器专注于形态学特征 $F_{morp}$。同时，网络引入了一个边缘感知的判别器，该判别器专注于心脏结构的细节。

2.3、运动学-形态学扩散整合模型

  KMDI 通过一个包含交叉注意力机制的渐进扩散过程融合心脏形态和运动学特征，从而合成真实的图像形态并精确突出 MI 区域。KMDI 通过在引入心脏形态特征作为输入 $x_0$ 后添加 $T$ 步噪声，生成输入的噪声版本 $x_t$。合成过程使用条件去噪自编码器 ${ϵ}_{\theta }(x_t,t,y)$，其中 KMDI 将心脏运动特征作为条件输入 $y$。相应的目标可以简化为：

  $t$ 从 $1,...,T$ 中均匀采样。神经网络主干 ${ϵ}_{\theta }(◦,t,◦)$ 实现为具有交叉注意力机制的时间条件 UNet。合成过程的最终输出 $x$ 可以通过解码器一步解码到图像空间，生成心肌梗死（MIE）图像。同时，KMDI 引入了一个判别器，旨在区分最终生成的图像与真实图像，从而提高图像生成的整体质量。

3、实验与结果

3.1、数据集与实施细节

  （1）195 例心肌梗死病例，其中慢性心肌梗死（140例）和正常对照组（55例），CINE (14625 张图像）、T1 图像（4680 张图像）和 LGE (585 张图像）；
  （2）五折交叉验证进行训练和独立测试。采用 ADAM 优化器，batch size 大小为 1，学习率从 1e-4 开始 (0.95 衰减，从 [1e-3,1e-4,1e-5] 调整）。训练耗时 38 小时，平均测试图像大小为 128×128，在 4×Nvidia 3090ti 显卡上测试图像的平均时间仅为 0.24 秒。（好像也不在隐空间域扩散，为什么那么快呢）

3.2、对比方法与评价指标

  （1）对比方法：1）两种最近的无对比剂心肌梗死（MIE）合成技术，PSCGAN 和 VNE；2）计算机视觉中的三种标准合成方法（Pix2Pix，BicycleGAN 和 ResVit）；
  （2）评价指标：SSIM、PSNR、LPIPS 和 MSE；评估了心肌瘢痕的视觉空间分布和透壁一致性；

3.3、MIE 合成性能

  
Figure 4 | CPKDM 在实验中取得了最佳的视觉效果：

  
Table 1 | CPKDM 在对比实验和消融实验中，通过四个广泛认可的指标，实现了最佳的整体性能：

  
Table 2 | CPKDM 在区域级别上也实现了最佳的整体性能：

  
Figure 5 | 在患者 A 中，MIE 显示出右冠状动脉区域的心肌瘢痕；在患者 B 中，显示出左旋支动脉区域的心肌瘢痕；所有这些 MIE 图像与 LGE 揭示的信号都非常吻合：

  感觉写的不是太清楚哎…