Que problemas surgem se a normalização em batch atualiza as estatísticas durante a validação?

Se a normalização por lotes atualiza as estatísticas (média e variância) durante a validação, isso levará a uma avaliação incorreta dos parâmetros de normalização nos dados de validação. Como resultado:

• O modelo usará estatísticas que dependem do lote de validação atual, o que viola o princípio de independência do conjunto de validação.
• O desempenho na validação pode tornar-se instável e não refletir a verdadeira capacidade de generalização do modelo.
• Isso pode levar ao sobreajuste, pois o modelo se adapta a lotes específicos de validação.

Portanto, durante a validação, geralmente fixamos as estatísticas acumuladas do treinamento e não as atualizamos, para garantir uma avaliação correta da qualidade do modelo.