Чем отличаются batch normalization и layer normalization? Когда какую использовать?

Batch Normalization (BN) и Layer Normalization (LN) — это методы нормализации, используемые для ускорения и стабилизации обучения нейросетей, но они отличаются по способу нормализации и применению.

Batch Normalization:

• Нормализует входы по батчу (пакету) данных, то есть вычисляет среднее и дисперсию для каждого признака по всем примерам в батче.
• Эффективна в сверточных и полносвязных сетях с большими батчами.
• Зависит от размера батча, при маленьких батчах или при онлайн-обучении может работать хуже.

Layer Normalization:

• Нормализует входы по всем признакам внутри одного примера, то есть вычисляет среднее и дисперсию по всем нейронам слоя для каждого отдельного примера.
• Независима от размера батча.
• Часто используется в рекуррентных нейросетях и трансформерах.

Когда использовать:

• Если у вас большие батчи и архитектура типа CNN или обычной MLP — лучше Batch Normalization.
• Если батчи маленькие, или используется RNN/Transformer, где важна независимость от размера батча — Layer Normalization.

Таким образом, выбор зависит от архитектуры модели и размера батча.