В чем разница между семантической сегментацией, инстанс-сегментацией и детекцией объектов?

Что хотят услышать интервьюеры:

Нужно показать понимание трёх уровней задачи компьютерного зрения: где именно находится объект, к какому классу он относится и нужно ли различать отдельные экземпляры одного класса. Важно кратко и чётко объяснить, что детекция даёт рамки, семантическая сегментация — класс для каждого пикселя, а инстанс-сегментация — ещё и разделение объектов одного класса. Хороший ответ обычно сравнивает их по типу выхода модели и по тому, насколько точно определяется форма объекта.

Определение:

Детекция объектов — это задача найти объекты на изображении и выделить каждый из них ограничивающим прямоугольником, обычно с классом и confidence score. Она отвечает на вопрос: «что и где находится?».

Семантическая сегментация — это разметка каждого пикселя изображения по классу. Она отвечает на вопрос: «какому классу принадлежит каждый пиксель?», но не различает отдельные экземпляры одного класса.

Инстанс-сегментация — это более точная задача, где каждому пикселю назначается не только класс, но и конкретный экземпляр объекта. Она отвечает на вопрос: «где границы каждого отдельного объекта?».

Пример использования:

На изображении с тремя машинами на дороге:

• Детекция объектов: модель вернёт 3 прямоугольника вокруг машин.
• Семантическая сегментация: все пиксели машин будут помечены как car, но сами машины могут слиться в одну область.
• Инстанс-сегментация: каждая машина будет выделена отдельно, даже если они стоят рядом.

Детекция:          [car]     [car]     [car]
Семантическая:     car car car car car car
Инстанс:           car#1     car#2     car#3

Пояснение кода:

Код не требуется. Логика различия такая:

1. При детекции модель сначала находит кандидатов на объекты, затем для каждого предсказывает класс и координаты прямоугольника.
2. При семантической сегментации модель выдаёт карту классов размером с изображение, где каждый пиксель получает метку.
3. При инстанс-сегментации модель дополнительно разделяет пиксели по отдельным объектам, чтобы два соседних объекта одного класса не были объединены.

Ключевые моменты:

• Детекция отвечает на вопрос «что и где?», но границы объекта грубые.
• Семантическая сегментация даёт точную классификацию по пикселям, но не различает экземпляры.
• Инстанс-сегментация объединяет плюсы двух подходов: класс по пикселям и разделение объектов.
• Если объекты одного класса сильно перекрываются или стоят вплотную, инстанс-сегментация полезнее, чем семантическая.
• Если достаточно знать расположение объектов, обычно проще и быстрее использовать детекцию.
• Для задач вроде автономного вождения, медицины и робототехники выбор зависит от того, нужна ли точная форма объекта или только его положение.