Что такое калибровка вероятностей в машинном обучении и зачем она нужна?

Калибровка вероятностей в машинном обучении — это процесс корректировки предсказанных моделью вероятностей, чтобы они лучше отражали истинные вероятности событий.

Зачем нужна калибровка:

• Модель может выдавать вероятности, которые не соответствуют реальной частоте событий (например, модель говорит, что событие произойдет с вероятностью 0.9, но на самом деле оно происходит только в 70% случаев).
• Калибровка улучшает интерпретируемость и качество решений, основанных на вероятностях (например, в медицине или кредитном скоринге).

Пример методов калибровки:

• Platt Scaling — логистическая регрессия на выходах модели.
• Isotonic Regression — более гибкий метод, который не предполагает форму функции.

Пример: если модель предсказывает вероятность болезни 0.8 для группы пациентов, а реально болезнь проявляется у 60% из них, калибровка подстроит вероятности ближе к 0.6.