Чем mean/max pooling отличаются от learnable pooling?

Mean pooling и max pooling — это фиксированные операции агрегации, которые применяются к входным данным (например, к признакам в сверточных нейронных сетях). Mean pooling вычисляет среднее значение элементов в окне, а max pooling — максимальное значение. Эти методы не имеют обучаемых параметров и служат для уменьшения размерности и выделения важных признаков.

Learnable pooling (обучаемый пулинг) — это подход, где операция агрегации параметризована и параметры обучаются вместе с остальной сетью. Например, это может быть взвешенное среднее с обучаемыми весами или более сложные механизмы, такие как attention pooling. Такой пулинг позволяет модели адаптироваться к данным и выделять более релевантные признаки.

Пример простого learnable pooling — параметрический взвешенный пулинг:

import torch
import torch.nn as nn

class LearnablePooling(nn.Module):
    def __init__(self, input_dim):
        super().__init__()
        self.weights = nn.Parameter(torch.randn(input_dim))

    def forward(self, x):
        # x shape: (batch, features)
        w = torch.softmax(self.weights, dim=0)
        return (x * w).sum(dim=1)

Таким образом, основное отличие — в том, что mean/max pooling фиксированы и не обучаются, а learnable pooling имеет параметры, которые оптимизируются во время обучения модели.