Что хотят услышать интервьюеры:

Self-supervised pretraining для GNN — это предобучение графовой модели без ручных меток, когда она учится на вспомогательных задачах, извлекая общие представления из структуры графа и атрибутов узлов/рёбер. Такой подход помогает использовать большие неразмеченные графы и улучшает качество на целевой задаче, особенно при дефиците разметки. Обычно затем модель дообучают под конкретную downstream-задачу.

Определение:

Self-supervised pretraining для GNN — это этап обучения графовой нейросети на искусственно сформулированных задачах, где «разметка» генерируется из самого графа. Модель учится восстанавливать скрытые части графа, предсказывать свойства узлов по контексту, различать связанные и несвязанные элементы или сопоставлять разные представления одного и того же графа. Цель — выучить полезные структурные и семантические признаки до обучения на целевой задаче.

Пример использования:

Например, есть большой граф взаимодействий пользователей и товаров, но меток для покупок мало. Сначала GNN предобучают на задаче восстановления скрытых связей или предсказания замаскированных признаков узлов. Затем ту же модель дообучают для рекомендации товаров или классификации пользователей.

# Концептуальный пример, без привязки к конкретной библиотеке

# 1) Self-supervised pretraining
for batch in graph_batches:
    masked_graph = mask_some_nodes_or_edges(batch)
    predictions = gnn(masked_graph)
    loss = self_supervised_loss(predictions, original_hidden_parts=batch)
    loss.backward()
    optimizer.step()

# 2) Fine-tuning на целевой задаче
for batch in labeled_graph_batches:
    logits = gnn(batch)
    loss = supervised_loss(logits, labels)
    loss.backward()
    optimizer.step()

Пояснение кода:

Код показывает типичный двухэтапный сценарий. Сначала часть узлов, рёбер или признаков скрывается, и GNN учится восстанавливать пропущенное по остальному контексту графа. Это и есть self-supervised сигнал, который не требует ручной разметки. Затем модель переиспользуется на размеченной задаче, где уже оптимизируется конечный supervised loss.

Ключевые моменты:

Разметка не нужна на этапе предобучения: цель формируется из самого графа.
Основная польза — лучшее качество при малом числе меток и более устойчивые представления.
Частые self-supervised задачи для GNN: mask-and-reconstruct, contrastive learning, link prediction, context prediction.
Предобучение помогает модели выучить как локальную структуру, так и более глобальные зависимости.
После pretraining обычно делают fine-tuning под конкретную downstream-задачу.
Эффект особенно заметен на больших, шумных или слабо размеченных графах.

Что такое self-supervised pretraining для GNN?