Что такое calibration и почему важна для fairness?

Calibration (калибровка) в машинном обучении — это свойство модели, при котором предсказанные вероятности соответствуют истинным вероятностям событий. Например, если модель говорит, что событие произойдет с вероятностью 0.7, то примерно в 70% таких случаев оно действительно происходит.

Калибровка важна для fairness (справедливости), потому что несбалансированные или некалиброванные вероятности могут приводить к систематическим ошибкам в разных группах пользователей. Если модель переоценивает вероятность для одной группы и недооценивает для другой, это может привести к несправедливому отношению, например, к дискриминации при принятии решений.

Таким образом, хорошая калибровка помогает обеспечить, что модель честно и объективно отражает риски или шансы для всех групп, что повышает доверие и справедливость в принятии решений.