Чем GAT (Graph Attention Network) отличается от GCN?

Graph Attention Network (GAT) отличается от Graph Convolutional Network (GCN) главным образом механизмом агрегации информации с соседних узлов графа.

В GCN агрегация происходит с использованием фиксированных весов, основанных на структуре графа (например, нормализация по степеням узлов), что означает, что все соседи вносят вклад с одинаковым или заранее определённым весом.

В GAT применяется механизм внимания (attention), который позволяет модели динамически вычислять веса для каждого соседа в зависимости от их признаков и контекста. Это даёт возможность выделять более важные связи и игнорировать менее значимые, улучшая качество представления узлов.

Примерно так выглядит вычисление внимания в GAT:

# Псевдокод для вычисления внимания между узлами i и j
attention_ij = LeakyReLU(a^T [W h_i || W h_j])
# где h_i, h_j - признаки узлов, W - обучаемая матрица, a - вектор внимания

Таким образом, GAT более гибок и способен лучше учитывать важность соседей, что особенно полезно на графах с неоднородными связями.