Je potrebná normalizácia znakov pre modely BERT a rozhodovacie stromy?

Pre modelov BERT zvyčajne normalizácia vlastností nie je potrebná, pretože vstupné údaje sú tokeny, ktoré sa prevádzajú na vloženia pomocou predtrénovaného modelu. Tieto vloženia sú už v vhodnom priestore a ďalšia normalizácia nie je potrebná.

Pre rozhodovacie stromy (napríklad náhodné lesy alebo gradient boosting) tiež normalizácia vlastností nie je povinná. Stromy pracujú s prahmi rozdelenia a nezávisia od mierky vlastností, takže normalizácia neovplyvňuje kvalitu modelu.

Stručne povedané: normalizácia je dôležitá pre modely citlivé na mierku vlastností (napríklad lineárne modely, SVM, neurónové siete bez predtrénovaných vložení), ale nie je potrebná pre BERT a rozhodovacie stromy.