Что такое label smoothing в классификации изображений?

Label smoothing — это техника регуляризации, используемая при обучении моделей классификации, в том числе для изображений. Вместо того чтобы использовать жёсткие метки (one-hot encoding), где правильный класс имеет метку 1, а все остальные 0, label smoothing слегка смягчает эти метки, присваивая правильному классу значение чуть меньше 1, а остальным — небольшое ненулевое значение.

Это помогает:

• Сделать модель менее уверенной в своих предсказаниях, что снижает переобучение.
• Улучшить обобщающую способность модели.
• Избежать проблем с градиентами при слишком уверенных метках.

Например, при smoothing=0.1 для класса из 5 возможных меток правильный класс может получить метку 0.9, а остальные — по 0.025.

Пример:

Класс	Метка без smoothing	Метка с smoothing (0.1)
1	1	0.9
2	0	0.025
3	0	0.025
4	0	0.025
5	0	0.025