Wat is message passing in GNN?

Message passing in Graph Neural Networks (GNN) is een belangrijk mechanisme voor het uitwisselen van informatie tussen de knooppunten van de graaf om hun representaties (embeddings) bij te werken.

Het idee is dat elke knoop berichten verzamelt van zijn buren, deze aggregeert en zijn toestand bijwerkt op basis van de ontvangen informatie. Dit maakt het mogelijk om de structuur van de graaf en de eigenschappen van de naburige knooppunten tijdens de training in overweging te nemen.

Het proces bestaat meestal uit drie stappen:

1. Bericht (Message): elke buur stuurt een bericht gebaseerd op zijn huidige toestand en mogelijk op de rand tussen de knooppunten.
2. Aggregatie (Aggregation): alle berichten van de buren worden samengevoegd (bijvoorbeeld opgeteld, gemiddeld of het maximum genomen).
3. Bijwerking (Update): de knoop werkt zijn toestand bij met behulp van het geaggregeerde bericht en zijn vorige toestand.

Voorbeeld van een formule:

[ \mathbf{h}_v^{(k)} = \text{UPDATE}^{(k)}\left(\mathbf{h}_v^{(k-1)}, \text{AGGREGATE}^{(k)}\left({\mathbf{h}_u^{(k-1)} : u \in \mathcal{N}(v)}\right)\right) ]

waar (\mathbf{h}_v^{(k)}) de representatie van knoop (v) op laag (k) is, en (\mathcal{N}(v)) de verzameling buren van knoop (v) is.

Op deze manier maakt message passing het mogelijk om informatie effectief door de graaf te verspreiden en modellen te trainen die rekening houden met de structuur ervan.