Какие виды регуляризации знаешь?

Основные виды регуляризации в машинном обучении:

• L1-регуляризация (Lasso): добавляет к функции потерь сумму абсолютных значений весов. Способствует разреженности модели, то есть занулению некоторых коэффициентов, что помогает в отборе признаков.

• L2-регуляризация (Ridge): добавляет сумму квадратов весов. Помогает уменьшить переобучение, заставляя веса быть меньшими по величине, но не зануляет их.

• Dropout: случайное отключение нейронов во время обучения нейросети, что предотвращает слишком сильную зависимость от отдельных нейронов.

• Early stopping: прекращение обучения, когда ошибка на валидационном наборе начинает расти, чтобы избежать переобучения.

• Data augmentation: искусственное увеличение объема данных, что косвенно помогает регуляризации.

• Batch normalization: нормализация входов слоев, что стабилизирует и ускоряет обучение, а также оказывает регуляризующий эффект.