Какво е trade-off между пристрастия и вариация?

Търговията между bias и вариация е основна концепция в машинното обучение, която описва компромиса между двата вида грешки при обучението на модел:

• Bias (пристрастие) — грешка, произтичаща от прекалено прост модел, който не може добре да опише данните (подобучение).
• Вариация — грешка, свързана с това, че моделът е твърде чувствителен към шума в обучаващите данни и се обобщава зле към нови данни (преобучение).

Ако моделът е прекалено прост, ще има висок bias и ниска вариация. Ако е прекалено сложен, ще има нисък bias, но висока вариация.

Целта е да се намери баланс, при който моделът е достатъчно сложен, за да улови закономерностите, но не прекалено, за да не се адаптира към шума.

Пример: при обучение на регресия с ниско степен полиноми (линейна регресия), bias ще бъде висок, а вариацията — ниска; при висока степен на полинома — обратното.