Что такое ConvNeXt и почему он догнал по качеству ViT?

ConvNeXt — это архитектура свёрточной нейронной сети, разработанная с целью модернизации классических CNN, чтобы они могли конкурировать с трансформерами, такими как ViT (Vision Transformer), по качеству и эффективности.

Основные причины, почему ConvNeXt догнал ViT по качеству:

• Современные архитектурные решения: ConvNeXt использует идеи из трансформеров, например, большие размеры ядер свёрток, нормализацию LayerNorm вместо BatchNorm, упрощённые блоки и улучшенную структуру, что повышает выразительность модели.
• Оптимизация под современные задачи: В ConvNeXt применены лучшие практики из трансформеров, но при этом сохранена эффективность свёрточных операций, что даёт баланс между производительностью и качеством.
• Обучение на больших данных: ConvNeXt обучается на больших датасетах с использованием современных техник оптимизации, что позволяет модели лучше обобщать.

Пример упрощённого блока ConvNeXt (PyTorch-подобный псевдокод):

class ConvNeXtBlock(nn.Module):
    def __init__(self, dim):
        super().__init__()
        self.dwconv = nn.Conv2d(dim, dim, kernel_size=7, padding=3, groups=dim)  # глубинная свёртка
        self.norm = nn.LayerNorm(dim)
        self.pwconv1 = nn.Linear(dim, 4 * dim)
        self.act = nn.GELU()
        self.pwconv2 = nn.Linear(4 * dim, dim)

    def forward(self, x):
        input = x
        x = self.dwconv(x)
        x = x.permute(0, 2, 3, 1)  # NCHW -> NHWC
        x = self.norm(x)
        x = self.pwconv1(x)
        x = self.act(x)
        x = self.pwconv2(x)
        x = x.permute(0, 3, 1, 2)  # NHWC -> NCHW
        return x + input

Таким образом, ConvNeXt сочетает в себе преимущества свёрточных сетей и современных архитектурных решений, что позволяет ему конкурировать с ViT по качеству.