Что такое message passing в GNN?

Message passing в Graph Neural Networks (GNN) — это ключевой механизм обмена информацией между узлами графа для обновления их представлений (эмбеддингов).

Идея в том, что каждый узел собирает сообщения от своих соседей, агрегирует их и обновляет своё состояние на основе полученной информации. Это позволяет учитывать структуру графа и свойства соседних узлов при обучении.

Процесс обычно состоит из трёх шагов:

1. Сообщение (Message): каждый сосед отправляет сообщение, сформированное на основе его текущего состояния и, возможно, ребра между узлами.
2. Агрегация (Aggregation): все сообщения от соседей собираются вместе (например, суммируются, усредняются или берётся максимум).
3. Обновление (Update): узел обновляет своё состояние, используя агрегированное сообщение и своё предыдущее состояние.

Пример формулы:

[ \mathbf{h}_v^{(k)} = \text{UPDATE}^{(k)}\left(\mathbf{h}_v^{(k-1)}, \text{AGGREGATE}^{(k)}\left({\mathbf{h}_u^{(k-1)} : u \in \mathcal{N}(v)}\right)\right) ]

где (\mathbf{h}_v^{(k)}) — представление узла (v) на (k)-ом слое, (\mathcal{N}(v)) — множество соседей узла (v).

Таким образом, message passing позволяет эффективно распространять информацию по графу и обучать модели, учитывающие его структуру.