Что такое deep ensembles как способ оценки uncertainty?

Deep ensembles — это метод оценки неопределённости в предсказаниях нейронных сетей, основанный на обучении нескольких моделей с разными инициализациями и/или разными подвыборками данных. Идея в том, что каждая модель в ансамбле обучается независимо, и итоговое предсказание получается усреднением результатов всех моделей.

Такой подход позволяет получить более надёжную оценку неопределённости, поскольку разброс предсказаний между моделями отражает степень уверенности в ответе. Если модели сильно расходятся, значит, модель не уверена в предсказании.

Пример:

• Обучаем 5 нейросетей с разными случайными инициализациями.
• Для нового входа получаем 5 предсказаний.
• Среднее значение — итоговое предсказание.
• Дисперсия предсказаний — мера неопределённости.

Это простой и эффективный способ, не требующий сложных байесовских вычислений, и часто превосходит по качеству более сложные методы, такие как вариационные байесовские нейросети.