Graph Attention Network (GAT)

大白话：在股票网络里，每只股票是一个节点，两只股票之间的相关性（或同行业、同因子暴露）是边。普通图神经网络给所有邻居一个固定的权重，图注意力网络 (GAT) 则给每条边学一个权重：某个邻居对这只股票这次预测有多大影响，由模型自己根据当前数据决定。

图注意力网络：一类带学习式边权重的图神经网络，股票 = 节点，相关性/行业/因子暴露 = 边。

定义

图注意力网络 (Graph Attention Network, Veličković et al. 2018) 是一种消息传递神经网络：对每条边 (i,j)，用一个学出来的注意力系数 \alpha_{ij}^{(h)}（第 h 个头）替换掉原始图卷积网络 (GCN) 中固定的聚合权重。每一层通过「关注自己的邻居」来更新节点的隐表示，注意力由节点特征、（在扩展变体中还有边属性）计算得到。

GAT 是 Fanshawe Masih Cameron 2025 THGNN Correlation Forecasting 中 时序异质图神经网络 (THGNN) 的关系编码器；同一套架构也用于 Transformer 时序编码器之后的股票网络传播步骤。

金融图上为什么需要注意力

固定权重的 GNN（即 GCN）把所有邻居看作信息量相同。在股票网络里这是错的：一只股票与能源板块的相关性，在油价决定市场状态的时期（2020 年油价崩盘、2022 年俄乌冲突）远比其它时期重要。GAT 学出来的注意力给了模型一种按市场状态动态给邻居重新加权的手段。

实证上，在金融任务中基于 GAT 的模型在夏普比率与排序类指标上优于 GCN 与 LSTM 基线（Xiang et al. 2023; Sawhney et al. 2021）。

核心机制 —— 边感知的多头注意力

对第 l 层的第 h 个头，节点 i 的更新通过对邻居做聚合得到

h_i^{(l+1, h)} = \sigma\!\left(\sum_{j \in \mathcal{N}(i)} \alpha_{ij}^{(l, h)} \, W^{(l, h)} h_j^{(l)}\right)

其中注意力系数本身以边状态、节点特征，以及（在 THGNN 中）边属性 a_{ij} 和一个离散关系类别 \tau_{ij} \in \{\text{neg}, \text{mid}, \text{pos}\} 为条件：

\alpha_{ij}^{(l, h)} = \text{softmax}_{j}\!\left(\text{LeakyReLU}\!\left(\mathbf{a}^{T}\!\left[W h_i | W h_j | g_{ij}^{(l)}\right]\right)\right)

其中边门控 g_{ij}^{(l)} 是边属性、板块 / 子行业标志，以及一个跨层传递的持久边状态的函数，后者负责把关系上下文沿层累加。各头的输出被拼接、投影、加上残差，再做层归一化。

面向金融场景的异质 / 边感知扩展

对 Fanshawe Masih Cameron 2025 THGNN Correlation Forecasting 这个应用来说，有三个扩展是关键的：

把边属性喂进注意力：基准相关性 \rho_{\text{base}}(i,j,t)、|\rho_{\text{base}}|、符号指示、板块 / 子行业归属。
关系类别路由：成对边的嵌入按离散化的关系类别（负 / 中 / 正）被分派到 k 个专家 MLP 头之一。正是这一点让模型学到：「弱相关股票」的动态与「强相关股票」的动态在类别上就不同。
持久边状态：e_{ij}^{(l)} 跨层携带信息，累积更高阶的关系信息（例如「股票 i 与 j 有两个共同邻居，且两者对 k 的注意力都很高」）。

THGNN 中的实际选择

Fanshawe–Masih–Cameron 的 GAT 用 L_g = 3 层、H = 4 个头、d = 512 维节点隐表示。在 GAT 里选更少但更宽的头（4 个头，而 Transformer 里是 8 个）是有意为之：每个节点的邻居都很密集，条件化所依赖的是边特征而不是时间，所以单个头的容量比头的数量更重要。

可解释性——以及它的边界

GAT 的注意力权重有一种 Transformer 注意力没有的内在可解释性：它们直接作用在最终的节点隐表示上，所以可以读成「邻居 j 对 i 的预测贡献了多少」。跨头平均再聚合到板块层面，就得到板块之间的注意力时间序列。THGNN 的板块注意力显示：

能源：持续关注金融、医疗保健、IT；疫情期间油价崩盘时，板块内部注意力从 0.05 冲到 0.35，几个月内回落。
金融：注意力分散，前 5 大板块合计 12%–16%；2020 年末特质波动率上升把注意力拉向 IT 与可选消费。
房地产：波动很大，峰值常超过 0.7，且常常指向医疗保健，却看不到明确的经济机制——很可能是一个市场状态切换的指示器。

注意事项 (Jain & Wallace 2019)：高注意力 ≠ 因果重要性，在深层多层架构中尤其如此。注意力是内部加权方式的信息性摘要，不是形式化的归因。

单靠 GAT 不够的时候

GAT 处理的是某个时点快照上的跨资产结构。它本身并不建模依赖关系的时间演化——而这恰恰是滚动窗口相关性的局限所在。THGNN 的贡献在于两者的联合堆叠：Transformer 先把每只股票 30 天的特征压缩成一个带上下文信息的 512 维嵌入，再由 GAT 把这些嵌入在股票网络上传播。单独任一组件都会欠拟合；两者合用则把 2.69 亿条样本外边上的 MAE 从 0.307（持续性基准）降到 0.230，Pearson r 从 0.310 提升到 0.778。

符号说明

符号	含义
h_i^{(l)}	节点 i 在第 l 层的隐表示
\alpha_{ij}^{(l,h)}	从 i 到 j 的注意力系数，第 h 个头、第 l 层
W^{(l,h)}	第 l 层中该头专属的线性投影
a_{ij}	边属性（基准相关性、符号、板块标志）
\tau_{ij}	离散关系类别 {neg, mid, pos}，用于专家路由
e_{ij}^{(l)}	持久边状态，跨层传播
g_{ij}^{(l)}	以边为条件的门控函数