Что такое over-squashing в GNN?

Over-squashing в графовых нейронных сетях (GNN) — это проблема, когда при агрегации информации из большого числа соседних узлов важные детали и различия «сжимаются» или теряются.

При многократном объединении сообщений от соседей в один вектор происходит сильное сжатие информации, из-за чего модель не может эффективно различать разные структуры или признаки, что ухудшает качество обучения и предсказаний.

Это особенно заметно в глубоких GNN, где количество агрегаций растёт, и сигнал от удалённых узлов становится слишком обобщённым.

Для борьбы с over-squashing применяют:

• Механизмы внимания (attention), чтобы выделять важные сообщения
• Архитектуры с пропускными связями (skip connections)
• Использование более локальных агрегаций или иерархических моделей

Таким образом, over-squashing — это потеря информации из-за чрезмерного сжатия при агрегации в GNN.