Что такое sliding-window inference и как сшивать предсказания?

Sliding-window inference — это метод, используемый в компьютерном зрении, особенно при обработке больших изображений или объемных данных (например, 3D-сегментация), когда модель не может обработать всю картинку целиком из-за ограничений памяти или архитектуры. Вместо этого изображение разбивается на перекрывающиеся окна (patches), каждое окно подается на модель для предсказания.

Для сшивания предсказаний с разных окон обычно применяют следующие подходы:

• Среднее значение (averaging): если окна перекрываются, для каждого пикселя усредняют предсказания из всех окон, в которых он присутствует. Это сглаживает границы между окнами.
• Взвешенное усреднение: применяют веса, уменьшающиеся к краям окна (например, гауссово окно), чтобы уменьшить влияние предсказаний на границах, где качество может быть хуже.
• Максимум или выбор наиболее уверенного предсказания: для каждого пикселя выбирают предсказание с максимальной уверенностью.

Пример псевдокода для сшивания с усреднением:

import numpy as np

# Инициализация массивов для суммирования предсказаний и подсчёта вкладов
prediction_sum = np.zeros(full_image_shape)
weight_sum = np.zeros(full_image_shape)

for window, coords in sliding_windows(image, window_size, stride):
    pred = model.predict(window)
    weight = gaussian_weight(window.shape)  # веса, уменьшающиеся к краям
    prediction_sum[coords] += pred * weight
    weight_sum[coords] += weight

final_prediction = prediction_sum / weight_sum

Таким образом, sliding-window inference позволяет эффективно обрабатывать большие изображения, а аккуратное сшивание предсказаний обеспечивает плавность и качество итогового результата.