Jak działa las losowy i jak są budowane drzewa w zestawie?

Losowy las to metoda uczenia maszynowego zespołowego, która buduje wiele drzew decyzyjnych i łączy ich prognozy, aby poprawić dokładność i stabilność modelu.

Jak są budowane drzewa:

• Dla każdego drzewa losowo wybierana jest podpróbka obiektów z próbki treningowej z powrotem (bootstrap).
• Podczas budowy każdego węzła wybierany jest losowy podzbiór cech, spośród których wybierany jest najlepszy do podziału.
• Drzewo jest budowane do określonej głębokości lub do momentu spełnienia kryterium zatrzymania (np. minimalna liczba obiektów w liściu).

Jak działa ensemble:

• Dla klasyfikacji ostateczna decyzja jest podejmowana większością głosów drzew.
• Dla regresji, średnia z prognoz wszystkich drzew.

Takie podejście zmniejsza nadmierne dopasowanie, ponieważ drzewa uczą się na różnych podpróbkach i używają różnych cech, co zwiększa zdolność generalizacji modelu.