Quais são as características do treino de GNN em grafos grandes (amostragem mini-batch, cluster-GCN)?

O treino de redes neurais gráficas (GNN) em grafos grandes enfrenta o problema de escalabilidade devido ao enorme número de nós e arestas. Treinar completamente em todo o grafo muitas vezes não é possível devido a limitações de memória e recursos computacionais. Para resolver esse problema, são utilizados métodos de amostragem em mini-batch e clustering, como o Cluster-GCN.

Amostragem em mini-batch é uma abordagem na qual um subgrafo pequeno (batch) é selecionado de um grafo grande para o treino. É importante manter a estrutura local e as conexões para que a GNN possa agregar informações de forma eficiente. Existem diferentes estratégias de amostragem:

• Amostragem de vizinhos (neighbor sampling): para cada nó, um número limitado de vizinhos é selecionado.
• Amostragem por camada (layer-wise sampling): a amostragem ocorre em cada camada da GNN separadamente.

Cluster-GCN é um método que divide um grafo grande em vários clusters (subgrafos) com um número mínimo de arestas entre eles. O treino ocorre nesses clusters como em mini-batches. Isso permite:

• Manter a estrutura local dentro dos clusters.
• Reduzir o número de conexões interclusters, diminuindo o ruído.
• Aumentar a eficiência do treino e reduzir os requisitos de memória.

Assim é a ideia do Cluster-GCN:

# Pseudocódigo
clusters = graph_partitioning(large_graph)
for epoch in epochs:
    for cluster in clusters:
        batch = extract_subgraph(cluster)
        output = gnn(batch)
        loss = compute_loss(output, labels)
        loss.backward()
        optimizer.step()

Dessa forma, a amostragem em mini-batch e o Cluster-GCN permitem escalar o treino de GNN em grandes grafos, mantendo a qualidade e a eficiência.