Как работи случаен лес и как се строят дърветата в ансамбъла?

Случаен лес е ансамблов метод за машинно обучение, който изгражда множество дървета на решения и комбинира техните прогнози за подобряване на точността и устойчивостта на модела.

Как се строят дърветата:

• За всяко дърво се избира случайна подвыборка от обекти от обучаващата извадка (bootstrap).
• При построяването на всеки възел се избира случайна подмножество от признаци, от които се избира най-добрият за разделяне.
• Дървото се строи до зададена дълбочина или докато не бъде достигнат критерий за спиране (например минимален брой обекти в листо).

Как работи ансамбълът:

• За класификация, крайното решение се взема чрез мнозинство от гласовете на дърветата.
• За регресия, се взема средната стойност на прогнозите на всички дървета.

Този подход намалява пренасочването, тъй като дърветата се обучават върху различни подвыборки и използват различни признаци, което увеличава обобщаващата способност на модела.