Какие особенности обучения GNN на больших графах (mini-batch sampling, cluster-GCN)?

Обучение графовых нейронных сетей (GNN) на больших графах сталкивается с проблемой масштабируемости из-за огромного числа узлов и ребер. Полное обучение на всем графе часто невозможно из-за ограничений памяти и вычислительных ресурсов. Для решения этой проблемы применяются методы мини-батчевого сэмплинга и кластеризации, например, Cluster-GCN.

Mini-batch sampling — это подход, при котором для обучения выбирается небольшой подграф (батч) из большого графа. При этом важно сохранить локальную структуру и связи, чтобы GNN мог эффективно аггрегировать информацию. Существуют разные стратегии сэмплинга:

• Сэмплинг соседей (neighbor sampling): для каждого узла выбирается ограниченное число соседей.
• Layer-wise sampling: сэмплинг происходит на каждом слое GNN отдельно.

Cluster-GCN — метод, который разбивает большой граф на несколько кластеров (подграфов) с минимальным числом ребер между ними. Обучение происходит на этих кластерах как на мини-батчах. Это позволяет:

• Сохранять локальную структуру внутри кластеров.
• Уменьшить количество межкластерных связей, снижая шум.
• Повысить эффективность обучения и снизить требования к памяти.

Примерно так выглядит идея Cluster-GCN:

# Псевдокод
clusters = graph_partitioning(large_graph)
for epoch in epochs:
    for cluster in clusters:
        batch = extract_subgraph(cluster)
        output = gnn(batch)
        loss = compute_loss(output, labels)
        loss.backward()
        optimizer.step()

Таким образом, mini-batch sampling и Cluster-GCN позволяют масштабировать обучение GNN на больших графах, сохраняя при этом качество и эффективность.