稳态视觉诱发电位 (SSVEP) 分类学习系列 (4) :Temporal-Spatial Transformer

论文地址：https://www.sciencedirect.com/science/article/abs/pii/S1746809423007929
论文题目：Temporal–spatial transformer based motor imagery classification for BCI using independent component analysis
论文代码：暂无

0. 引言

脑电图数据的复杂性、可变性和低信噪比在解码这些信号方面提出了重大挑战，尤其是在以与受试者无关的方式解码时。为了克服这些挑战，我们提出了一种基于transformer的方法，该方法采用自注意力过程来提取时间和空间域中的特征。为了在 MI EEG 通道之间建立空间相关性，自注意力模块通过平均所有通道的特征来定期更新每个通道。这种加权平均可提高分类准确性，并消除手动选择通道产生的伪影。此外，时间自注意力机制将全局顺序信息编码到每个采样时间步长的特征中，从而可以从MI EEG数据中提取时域中的高级时间属性。

总的来说：本文对于位置编码的应用有了新的理解，感兴趣的同学可以进行尝试来验证该策略的好坏。。。

1. 主要贡献

1. 该文提出一种基于Transformer编码器的具有注意力机制的神经网络。
2. 纳入了一种为特征通道分配权重的方法。
3. 对公共数据集 2a 和 2b 的验证表明，所提出的模型具有竞争力。

2. 提出的方法

2.1 解码的主要步骤

解码的主要步骤：

1. 数据预处理。进行ICA处理和Zscore标准化。
2. 时间变压器模块。普通transformer结构。
3. 空间变压器模块。与时间变压器模块相似，只不过加入了数据的空间位置信息（Positional embedding）。
4. 分类模块。

2.2 网络的主要结构

具体网络结构如下图所示：

3. 结果和讨论

3.1 在两个数据集下的分类效果

2a/2b 数据集的精度、召回率和 F1 分数

3.2 与基线模型的比较

3.3 消融实验

• 带 TT MSA 的 TST：仅对时间变压器 （TT） 层进行多自注意，无需添加 ICA 滤波器。
• TST：具有多自注意力机制的时间变压器（TT）和空间变压器（ST）层，无需ICA滤波器。
• TST-ICA：ICA滤波后具有多自注意力机制的时间变换器（TT）和空间变换器（ST）层。

3.4 t-SNE 可视化

t分布随机邻居嵌入（t-SNE）可视化技术将提取的脑电图特征转换为二维嵌入空间。

（a） 分类前的数据分配。（b） 时间变换块后的数据分布。（c） 空间变换块后的数据分布。（d） 分类后的数据分配。

4. 总结

到此，使用 稳态视觉诱发电位 (SSVEP) 分类学习系列 (4) :Temporal-Spatial Transformer 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。

如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦😄。

欢迎来稿

欢迎投稿合作，投稿请遵循科学严谨、内容清晰明了的原则！！！！ 有意者可以后台私信！！