Czym są bias i wariancja, i co jest zmniejszane w lesie losowym?

W uczeniu maszynowym:

• Bias (stronniczość) — to błąd wynikający z zbyt prostego modelu, który nie jest w stanie dobrze aproksymować prawdziwej zależności. Wysoki bias prowadzi do niedouczania się.
• Wariancja — to wrażliwość modelu na zmiany w danych treningowych. Wysoka wariancja oznacza, że model jest zbyt dopasowany do szumu w danych, co prowadzi do przeuczenia.

Losowy las to zbiór drzew decyzyjnych zbudowanych na losowych podzbiorach danych i cech. Zmniejsza wariancję w porównaniu z pojedynczym drzewem, ponieważ uśrednianie prognoz zmniejsza wpływ losowych wahań w danych, podczas gdy bias pozostaje mniej więcej na poziomie pojedynczych drzew lub nieznacznie się zwiększa.

Przykład:

from sklearn.ensemble import RandomForestClassifier

# Losowy las zmniejsza wariancję przez uśrednianie
model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)