Mi az a bias és a variance?

A torzítás (elfogultság) és a variancia (szórás) két kulcsfontosságú fogalom a gépi tanulásban, amelyek a modell hibáit írják le:

• Torzítás (elfogultság) — egy szisztematikus hiba, amely a túl egyszerű modellfeltételekből ered. Magas torzítással rendelkező modell nem képes jól közelíteni a komplex függőségeket az adatokban, ami alulilleséshez (underfitting) vezet.

• Variancia (szórás) — a modell érzékenysége a tanulási adatok változásaira. Magas varianciájú modell túlzottan alkalmazkodik a zajhoz és az adathalmaz sajátosságaihoz, ami túlléptetést (overfitting) eredményez.

A torzítás és a variancia közötti egyensúly kompromisszum: a torzítás csökkentése általában növeli a varianciát, és fordítva. A cél az optimális egyensúly megtalálása, hogy a modell jól általánosítson új adatokon.

Példa:

• Egy egyszerű lineáris regresszió magas torzítással rendelkezhet, ha az adatok nem lineárisak.
• Egy összetettebb modell sok paraméterrel alacsony torzítással, de magas varianciával rendelkezhet.

Ennek az egyensúlynak a megértése segít a modellarchitektúra és a regularizációs módszerek kiválasztásában.