Какие особенности обучения детекции на сильно overlapping объектах?

При обучении детекции объектов с сильным перекрытием (overlapping) возникают специфические сложности:

• Трудности с аннотацией: Точные границы объектов сложно разметить, особенно если объекты частично скрывают друг друга.
• Проблемы с NMS (Non-Maximum Suppression): Стандартный NMS может ошибочно подавлять объекты, которые на самом деле разные, но сильно перекрываются.
• Переобучение на фон: Модель может путать перекрывающиеся объекты с фоном или слиянием объектов.

Для решения этих проблем применяют:

• Использование более продвинутых методов подавления, например Soft-NMS, которые уменьшают вероятность удаления перекрывающихся объектов.
• Применение моделей с сегментацией (instance segmentation), которые лучше справляются с разделением перекрывающихся объектов.
• Аугментации данных, имитирующие перекрытия, чтобы модель лучше училась различать объекты.
• Использование более точных аннотаций и, возможно, дополнительных меток, например масок или ключевых точек.

Пример использования Soft-NMS:

# Псевдокод для Soft-NMS
for box in boxes:
    for other_box in boxes:
        if iou(box, other_box) > threshold:
            other_box.score *= exp(-(iou(box, other_box)**2) / sigma)