Cum funcționează pădurea aleatorie și cum sunt construite copacii în ansamblu?

Pădurea aleatorie este o metodă de învățare automată în ansamblu care construiește mai mulți arbori de decizie și combină predicțiile lor pentru a îmbunătăți acuratețea și robustețea modelului.

Cum sunt construiți arborii:

• Pentru fiecare arbore, se selectează aleatoriu o sub-eșantion de obiecte din eșantionul de antrenament (bootstrap).
• La construirea fiecărui nod, se alege un sub-ansamblu aleatoriu de caracteristici, dintre care se alege cea mai bună pentru divizare.
• Arborele se construiește până la o adâncime specificată sau până când se atinge un criteriu de oprire (de exemplu, numărul minim de obiecte într-un frunză).

Cum funcționează ansamblul:

• Pentru clasificare, decizia finală se ia prin majoritatea voturilor arborilor.
• Pentru regresie, se face media predicțiilor tuturor arborilor.

Această abordare reduce supraînvățarea, deoarece arborii sunt antrenați pe sub-eșantioane diferite și utilizează caracteristici diferite, ceea ce crește capacitatea de generalizare a modelului.