Koje metode regularizacije neuronskih mreža poznaješ?

Основные способы регуляризации нейронных сетей:

• Dropout — случайное "выключение" нейронов во время обучения, чтобы избежать переобучения.
• L1 и L2 регуляризация — добавление штрафа к функции потерь за большие веса (L1 способствует разреженности, L2 — сглаживанию).
• Раннее прекращение (Early stopping) — остановка обучения, когда качество на валидационном наборе перестаёт улучшаться.
• Batch Normalization — нормализация входов слоёв, что стабилизирует и ускоряет обучение.
• Аугментация данных — искусственное увеличение объёма обучающей выборки.

Пример L2 регуляризации в Keras:

from tensorflow.keras import layers, models, regularizers

model = models.Sequential([
    layers.Dense(64, activation='relu', kernel_regularizer=regularizers.l2(0.01)),
    layers.Dense(10, activation='softmax')
])