Что такое over-smoothing в глубоких GNN и как с ним бороться?

Over-smoothing в глубоких графовых нейронных сетях (GNN) — это явление, при котором при увеличении числа слоёв узлы графа начинают иметь слишком похожие (сглаженные) представления. В итоге различия между узлами теряются, и модель теряет способность различать их, что ухудшает качество обучения и предсказаний.

Причина в том, что каждый слой GNN агрегирует информацию от соседей, и при большом числе слоёв информация распространяется по всему графу, приводя к усреднению признаков.

Способы борьбы с over-smoothing:

• Использовать меньше слоёв GNN, чтобы ограничить степень агрегации.
• Добавлять резидуальные (skip) соединения, которые сохраняют исходные признаки узлов.
• Применять регуляризацию и нормализацию, например, BatchNorm или Dropout.
• Использовать методы, специально разработанные для борьбы с over-smoothing, например, Jumping Knowledge Networks, которые объединяют признаки с разных слоёв.
• Ограничивать радиус агрегации, чтобы не распространять информацию слишком далеко.

Таким образом, задача — сохранить баланс между агрегацией полезной информации и сохранением уникальности признаков узлов.