Aké sú vlastnosti tréningu GNN na veľkých grafoch (mini-batch sampling, cluster-GCN)?

Tréning grafových neurónových sietí (GNN) na veľkých grafoch čelí problémom škálovateľnosti kvôli obrovskému počtu uzlov a hrán. Kompletné školenie na celom grafe je často nemožné kvôli obmedzeniam pamäte a výpočtových zdrojov. Na riešenie tohto problému sa používajú metódy vzorkovania mini-batch a klastrovania, ako napríklad Cluster-GCN.

Vzorkovanie mini-batch je prístup, pri ktorom sa z veľkého grafu vyberie malý podgraf (batch) na tréning. Je dôležité zachovať lokálnu štruktúru a spojenia, aby GNN mohla efektívne agregovať informácie. Existujú rôzne stratégie vzorkovania:

• Vzorkovanie susedov (neighbor sampling): pre každý uzol sa vyberie obmedzený počet susedov.
• Vzorkovanie po vrstvách (layer-wise sampling): vzorkovanie sa vykonáva v každej vrstve GNN samostatne.

Cluster-GCN je metóda, ktorá rozdeľuje veľký graf na niekoľko klastrov (podgrafov) s minimálnym počtom hrán medzi nimi. Tréning sa vykonáva na týchto klastroch ako na mini-batchoch. To umožňuje:

• Zachovať lokálnu štruktúru v rámci klastrov.
• Znížiť počet medzi-klastrových spojení, čím sa znižuje šum.
• Zvýšiť efektívnosť tréningu a znížiť požiadavky na pamäť.

Takto vyzerá myšlienka Cluster-GCN:

# Pseudokód
clusters = graph_partitioning(large_graph)
for epoch in epochs:
    for cluster in clusters:
        batch = extract_subgraph(cluster)
        output = gnn(batch)
        loss = compute_loss(output, labels)
        loss.backward()
        optimizer.step()

Týmto spôsobom umožňujú vzorkovanie mini-batch a Cluster-GCN škálovať tréning GNN na veľkých grafoch, pričom zachovávajú kvalitu a efektívnosť.