R-GCN-Modeling Relational Data with GraphConvolutional Networks（论文笔记）-EW帮帮网

其中， $h_{i}^{(l)}$ 是第 $l$ 层节点 i 的隐藏状态 $N_{i}^{r}$ 表示通过关系 r 与节点 i 相连的所有邻居节点集合， $W_{r}^{l}$ 是关系 r 对应的权重矩阵， $\sigma$ 是激活函数（如ReLU）， $c_{i,r}$ 是归一化常数，用于调整不同关系类型的贡献度。

文章中为了应对大规模多关系数据中的参数快速增长问题，提出了两种正则化技术。

2.1基分解

基分解的主要目的是通过共享权重来减少模型的参数数量，从而降低过拟合的风险，并提高模型处理稀疏关系类型的能力。在基分解中，每个关系特定的变换矩阵 $W_{r}^{(l)}$ 被表示为一组基础变换矩阵的线性组合。

$W_{r}^{(l)} =\sum_{b=1}^{B} a_{rb}^{(l)} V_{b}^{(l)}$

其中：

$W_{r}^{(l)}$ 是第 l 层中关系 r 的变换矩阵。
$V_{b}^{(l)}$ 是第 l 层的基础变换矩阵，共有 B 个基础变换矩阵。
$a_{rb}^{(l)}$ 是系数，决定了如何将基础变换矩阵组合成关系特定的变换矩阵。

2.2块对角矩阵

块对角矩阵分解的目标是通过对权重矩阵施加结构约束来减少参数数量，同时保留模型的表达能力。在块对角矩阵分解中，每个关系特定的变换矩阵 $W_{r}^{(l)}$ 被定义为多个低维块矩阵的直接和。

$W_{r}^{(l)} = \bigoplus_{b=1}^{B}Q_{br}^{(l)}$

其中：

$Q_{br}^{(l)}$ 是第 l 层中关系 r 的第 b 个块矩阵。
$W_{r}^{(l)}$ 是一个块对角矩阵，形式为 $diag(Q_{1r}^{(l)},Q_{2r}^{(l)},...,Q_{Br}^{(l)})$ ，每个 $Q_{br}^{(l)}$ 是一个较小的子矩阵。

这两种正则化技术共同作用，帮助R-GCN在处理大规模、多关系数据时更加高效和稳定，同时避免了过拟合的问题。在实际应用中，可以根据具体任务的需求选择合适的正则化方法。

3.实体分类或链接预测

3.1实体分类

使用交叉熵损失函数模型可以学习到更好的参数，从而提高分类的准确性。

$\mathcal{L} = - \sum_{i \in \mathcal{Y}} \sum_{k=1}^{K} t_{ik} \ln h_{ik}^{(L)}$

其中：

$\mathcal{L}$ 表示损失函数
$i \in \mathcal{Y}$ 表示对于所有标签已知的实体 i 进行求和
K表示类别总数
 $t_{ik}$ 是一个二值变量，表示实体 i 是否属于类别 k。如果实体 i 属于类别 k，则  $t_{ik}$ =1；否则  $t_{ik}$ =0。
$h_{ik}^{(L)}$ 是模型预测实体 i 属于类别 k 的概率。

通过这种方式，模型能够逐步优化其参数，提高对实体分类的准确率。

3.2链接预测

编码器-解码器框架：采用了图自动编码器模型，其中包含一个用于生成实体向量表示的编码器（R-GCN）和一个用于评分潜在三元组的解码器（如DistMult）。
评分函数：使用了DistMult作为评分函数，这是一种简单而有效的因子分解方法，用于计算三元组的得分。
训练策略：利用负采样技术，并优化交叉熵损失，以提高模型区分正样本和负样本的能力。

评分函数：

$f(s,r,0) = e_s^TR_re_o$